当前位置:刘伯温心水图库本港台 > 软件性能 >

用了这款软件 AI推理性能将大大提升

  在之前,老黄在GTC2018上讲述了会议的几大部分,而现在到了AI推理。NVIDIA新发布的TensorRT推理软件对Kaldi的语音加速以及扩展对ONNX的支持;GPU推理速度现在比CPU快可高达190倍。

  除了推出新版的TensorRT推理软件,更是将TensorRT集成至谷歌的TensorFlow框架。NVIDIA还宣布,最受欢迎的语音识别框架Kaldi现已针对GPU进行了优化。NVIDIA与亚马逊、Facebook及微软等合作伙伴的紧密协作,让开发者更易于使用ONNX与WinML充分发挥GPU加速的优势。

  NVIDIA加速计算副总裁表示:即便是最大规模的神经网络,面向量产型深度学习推理的GPU加速也能够让其以最低成本实时运行。随着对更多智能应用及框架支持的快速扩展,我们现在能够提高深度学习的质量,并帮助降低3000万台超大规模服务器的成本。

  TensorRT4软件针对广泛的应用加速深度学习推理。TensorRT提供高度精确的INT8与FP16网络执行,最高可减少70%的数据中心成本。可用于快速优化、验证及部署在超大规模数据中心、嵌入式与汽车GPU平台中经过训练的神经网络。相比CPU,针对计算机视觉、神经网络机器翻译、自动语音识别、语音合成与推荐系统等常见应用,该软件最高可将深度学习推理的速度加快190倍。

  为了进一步精简开发,NVIDIA与谷歌的工程师已将TensorRT集成至TensorFlow1.7,使得在GPU上运行深度学习推理应用更加容易。NVIDIA优化了全球领先的语音框架Kaldi,以实现运行于GPU的更快性能。GPU语音加速意味着消费者将获得更加准确与实用的虚拟助手,并降低数据中心运营商的部署成本。

http://jeffcafone.com/ruanjianxingnen/289.html
点击次数:??更新时间2019-06-07??【打印此页】??【关闭
  • Copyright © 2002-2017 DEDECMS. 织梦科技 版权所有  
  • 点击这里给我发消息
在线交流 
客服咨询
【我们的专业】
【效果的保证】
【百度百科】
【因为有我】
【所以精彩】