色综合一区_免费av电影网站_久久这里有精品_超碰3_91麻豆精品国产91久久久久久_欧美一区免费

 
當前位置: 首頁 » 行業聚焦 » 科技前沿 » 正文

英偉達發布全球最強AI芯片,性能暴漲25倍


  來源: 每日經濟新聞 時間:2024-03-19 編輯:流川
分享到:

?


第二代Transformer引擎:結合了Blackwell Tensor Core技術和TensorRT-LLM和NeMo Megatron框架中的英偉達先進動態范圍管理算法,Blackwell將通過新的4位浮點AI支持雙倍的計算和模型大小推理能力。


第五代NVlink:為提高數萬億參數和混合專家AI模型的性能,最新一代英偉達NVlink為每個GPU提供了突破性的1.8TB/s雙向吞吐量,確保最復雜LLM之間多達576個GPU之間的無縫高速通信。


RAS引擎:Blackwell支持的GPU包含一個專用引擎,實現可靠性、可用性和服務性。此外,Blackwell架構還增加了芯片級功能,利用基于AI的預防性維護進行診斷和預測可靠性問題。這可以最大限度地延長系統正常運行時間,并提高大部署規模AI的彈性,使其能連續運行數周甚至數月,并降低運營成本。


安全人工智能:先進的機密計算功能可在不影響性能的情況下保護AI模型和客戶數據,并支持新的本機接口加密協議,這對于醫療保健和金融服務等隱私敏感行業至關重要。


解壓縮引擎:專用解壓縮引擎支持最新格式,加快數據庫查詢,提供數據分析和數據科學的最高性能。未來幾年,在企業每年花費數百億美元的數據處理方面,將越來越多地由GPU加速。


Blackwell GPU體積龐大,將兩個單獨制造的晶粒組合成一個由臺積電制造的芯片。它還將作為一款名為GB200 NVlink 2的整個服務器提供,該服務器結合了72個Blackwell GPU和其他旨在訓練AI模型的英偉達部件。


亞馬遜、谷歌、微軟和甲骨文將通過云服務提供對GB200的訪問。GB200將兩個B200 Blackwell GPU與一個基于Arm的Grace CPU配對。英偉達表示,亞馬遜網絡服務將構建一個包含20000個GB200芯片的服務器集群。


英偉達沒有提供新款GB200或其使用系統的成本。據分析師估計,英偉達基于Hopper的H100芯片成本在2.5萬至4萬美元之間,而整個系統的成本高達20萬美元。


英偉達推理微服務


英偉達還宣布,將在其英偉達企業軟件訂閱中添加一款名為NIM(英偉達推理微服務)的新產品。NIM讓使用較舊的英偉達GPU進行推理(或運行AI軟件的過程)變得更加簡單,并允許公司繼續使用其已經擁有的數億個英偉達GPU。與新AI模型的初始訓練相比,推理所需的計算能力較少。對于那些希望運行自己的AI模型,而不是從OpenAI等公司購買AI結果作為服務的企業來說,NIM無疑是他們的得力助手。


英偉達的策略是吸引購買基于英偉達的服務器的客戶注冊英偉達企業版,每個GPU每年的許可費為4500美元。


英偉達將與微軟或Hugging Face等AI公司合作,確保他們的AI模型能夠在所有兼容的英偉達芯片上運行。隨后,開發者可以使用NIM在自有服務器或基于云端的英偉達服務器上高效運行模型,無需繁瑣的配置過程。


“在我原本調用OpenAI的代碼中,我只需替換一行代碼,將其指向從英偉達獲取的NIM即可。”Das說道。


英偉達表示,該軟件還將助力AI在配備GPU的筆記本電腦上運行,而非僅限于云端服務器。

關鍵詞:    瀏覽量:12751

聲明:凡本網注明"來源:儀商網"的所有作品,版權均屬于儀商網,未經本網授權不得轉載、摘編使用。
經本網授權使用,并注明"來源:儀商網"。違反上述聲明者,本網將追究其相關法律責任。
本網轉載并注明自其它來源的作品,歸原版權所有人所有。目的在于傳遞更多信息,并不代表本網贊同其觀點或證實其內容的真實性,不承擔此類作品侵權行為的直接責任及連帶責任。如有作品的內容、版權以及其它問題的,請在作品發表之日起一周內與本網聯系,否則視為放棄相關權利。
本網轉載自其它媒體或授權刊載,如有作品內容、版權以及其它問題的,請聯系我們。相關合作、投稿、轉載授權等事宜,請聯系本網。
QQ:2268148259、3050252122。


讓制造業不缺測試測量工程師

最新發布
行業動態
行業聚焦
國際資訊
儀商專題
按分類瀏覽
Copyright ? 2023- 861718.com All rights reserved 版權所有 ?廣州德祿訊信息科技有限公司
本站轉載或引用文章涉及版權問題請與我們聯系。電話:020-34224268 傳真: 020-34113782

粵公網安備 44010502000033號

粵ICP備16022018號-4
主站蜘蛛池模板: 99精品一区二区三区 | 日韩电影二区 | 久久久免费视频播放 | www.国产.com| 日日操av | 我要看黄色一级大片 | 国产精品久久久久久久久晋中 | 亚洲成人一区二区在线观看 | 日韩精品三区 | 黄色国产免费看 | 亚洲国产精品一区 | 亚色网站 | 99在线视频播放 | 啵啵羞羞影院 | 成人黄网在线观看 | 在线中文字幕视频 | 久久久久久综合 | 在线中文字幕av | 国产精品免费视频观看 | 在线观看免费黄色 | 久久九| 成人精品视频 | 日本在线播放 | 色爽| 午夜精品久久久久久久久 | 免费一区 | 香蕉久久久久久 | 欧美一区二区三区在线看 | 国产精品国产三级国产aⅴ中文 | 国产精品亚洲视频 | 91黄视频| 日韩精品av一区二区三区 | 久久精品久久久 | 午夜免费 | 日韩高清中文字幕 | 午夜激情视频在线观看 | 成人免费黄色片 | 精品国产一区二区三区久久久蜜月 | 成人a在线| 日本久久久久久久久久久久 | 欧美成人免费在线 |