通過與NVIDIA NVSwitch完全連接，第三代NVIDIA NVSwitch基于NVLink的高級通信功能，為計算密集型工作負(fù)載提供了更高的帶寬和更短的延遲。每個NVSwitch配備了64個NVLink端口，支持NVIDIA可擴(kuò)展分層聚合減少協(xié)議(SHARP)的引擎，用于網(wǎng)絡(luò)內(nèi)減少和多播加速。
利用NVLink交換機(jī)系統(tǒng)的擴(kuò)展性，可以按比例放大以訓(xùn)練萬億參數(shù)模型。通過NVSwitch，NVLink連接可以跨節(jié)點(diǎn)擴(kuò)展，創(chuàng)造出高帶寬、多節(jié)點(diǎn)GPU集群，實(shí)現(xiàn)了無縫連接，使得數(shù)據(jù)中心大小的GPU集成成為可能。通過在服務(wù)器外部添加第二層NVLink交換機(jī)，未來的NVLink交換機(jī)系統(tǒng)可以連接多達(dá)256個GPU，提供高達(dá)57.6TB/s的所有到所有帶寬，從而使得快速處理甚至最大的人工智能作業(yè)成為可能。
通過 NVIDIA H100 Tensor Core GPU，在每個工作負(fù)載中實(shí)現(xiàn)出色性能、可擴(kuò)展性和安全性。使用 NVIDIA? NVLink? Switch 系統(tǒng)，可連接多達(dá) 256 個 H100 來加速百億億級 (Exascale) 工作負(fù)載，另外可通過專用的 Transformer 引擎來處理萬億參數(shù)語言模型。與上一代產(chǎn)品相比，H100 的綜合技術(shù)創(chuàng)新可以將大型語言模型的速度提高 30 倍，從而提供業(yè)界領(lǐng)先的對話式 AI。
A800 是整個 NVIDIA 數(shù)據(jù)中心解決方案的一部分，該解決方案由硬件、網(wǎng)絡(luò)、軟件、庫以及 NGC? 中經(jīng)優(yōu)化的 AI 模型和應(yīng)用等疊加而成。它為數(shù)據(jù)中心提供了強(qiáng)大的端到端 AI 和 HPC 平臺，讓研究人員能夠快速交付真實(shí)的結(jié)果，并且大規(guī)模地將解決方案部署到生產(chǎn)環(huán)境中。
