新聞中心

EEPW首頁 > 智能計算 > 業界動態 > 英偉達打破實時對話AI的訓練和推理用時記錄

英偉達打破實時對話AI的訓練和推理用時記錄

作者:時間:2019-08-16來源:網易科技報道收藏

據國外媒體報道,Nvidia用于開發和運行可理解和響應請求的對話式的GPU強化平臺,已經達成了一些重要的里程碑,并打破了一些記錄。

本文引用地址:http://www.aejfsk.live/article/201908/403810.htm

這對任何基于其技術進行開發的人來說意義重大——當中包括大大小小的公司,因為將很多用于實現這些進步的代碼開源。那些代碼用PyTorch編寫,易于運行。

今天宣布的最大成果包括:BERT訓練用時打破記錄,進入1小時關口。BERT是世界上最先進的人工智能語言模型之一,也被廣泛認為是自然語言處理(NLP)標桿的先進模型。Nvidia的平臺僅僅需要53分鐘就能夠完成模型訓練,經過訓練的模型在短短2毫秒多一點的時間里(10毫秒在業內被認為是高水平線)就能夠成功地做出推理(即利用通過訓練學習到的能力得出結果)——又一個記錄。

的這些突破不僅僅是吹噓的資本——這些進步可為任何使用NLP對話式人工智能和GPU硬件的人提供切實的好處。Nvidia在它的其中一個SuperPOD系統上打破了訓練時間記錄,該SuperPOD系統由運行1472個V100 GPU的92個Nvidia DGX-2H系統組成;在運行Nvidia TensorRT的Nvidia T4 GPU上完成推理過程。Nvidia TensorRT在性能上超出高度優化的CPU許多個量級。不過,該公司將公開BERT訓練代碼和經過TensorRT優化的BERT樣本,讓所有人都可以通過GitHub利用。

除了這些里程碑以外,英偉達的研究部門還建立并訓練了有史以來最大的一個基于“Transformer”的語言模型。這也是BERT的技術基礎。該定制模型包含的參數多達83億個,規模是當前最大的核心BERT模型BERT-Large的24倍。英偉達將這個模型命名為“Megatron”,它也對外提供了用于訓練這個模型的PyTorch代碼,因而其他人能夠自行訓練出類似的基于“Transformer”的大型語言模型。 



關鍵詞: 英偉達 AI 實時對話

評論


相關推薦

技術專區

關閉
七星彩走势图综合版 梦幻西游上号不用管赚钱 现在卖祛痘产品还赚钱吗 在新疆投资什么赚钱 18年有什么赚钱的好项目 国标麻将幺九刻 现在加盟什么行业最赚钱吗 在市场卖什么好赚钱吗 广西山水麻将正版2019 做冻货的赚钱时间段 旺旺彩票安卓 篮球大小分赚钱吗 我赚钱了虾米音乐 外贸进出口 赚钱吗 女神异闻录5赚钱混乱 河南麻将必备的技巧 80到20的赚钱