借助 NVIDIA A30 Tensor Core GPU 為各種企業工作負載帶來加速性能。借助 NVIDIA Ampere 架構 Tensor Core 和多實例 GPU (MIG),它可以安全加速各種工作負載,其中包括大規模 AI 推理和高性能計算 (HPC) 應用程序。具有 PCIe 外形規格(非常適合主流服務器)的 A30 集快速顯存帶寬與低功耗于一體,不僅能實現彈性數據中心,還能為企業帶來更大價值。
深度學習訓練
為應對對話式 AI 等新型挑戰而訓練 AI 模型需要強大的計算能力與可擴展性。
NVIDIA A30 Tensor Core 具備 Tensor Float (TF32) 精度,可提供比 NVIDIA T4 高 10 倍之多的性能,并且無需更改代碼;若使用自動混合精度和 FP16,性能可進一步提升 2 倍,綜合起來可將吞吐量提高 20 倍。與 NVIDIA? NVLink?、PCIe Gen4、NVIDIA Mellanox? 網絡和 NVIDIA Magnum IO? SDK 配合使用時,可以擴展到數千個 GPU。
Tensor Core 和 MIG 使 A30 全天都能夠動態地用于工作負載。它可以在需求高峰時段用于生產推理,并且部分 GPU 可以在非高峰時段改用于快速重新訓練同一批模型。
NVIDIA 在行業級 AI 訓練基準測試 MLPerf 中取得多項性能佳績。對于具有龐大數據表的超大型模型(例如深度學習推薦模型 [DLRM]),A800 80GB 可為每個節點提供高達 1.3TB 的統一顯存,而且吞吐量比 A800 40GB 多高達 3 倍。
NVIDIA 的領先地位在MLPerf這個行業級 AI 訓練基準測試中得到印證,創下多項性能紀錄。
深度學習推理
A30 引入了突破性的功能來優化推理工作負載。它能在從 FP64 到 TF32 和 INT4 的整個精度范圍內進行加速。A30 每個 GPU 支持多達 4 個 MIG,允許多個網絡在安全的硬件分區中同時運行,同時保證服務質量 (QoS)。在 A30 其他推理性能增益的基礎之上,僅結構化稀疏支持一項就能帶來高達兩倍的性能提升。
NVIDIA 產品的出色 AI 性能在 MLPerf 推理測試中得到驗證。通過與可以輕松地大規模部署 AI 的 NVIDIA Triton? 推理服務器配合使用,A30 能為不同企業帶來此突破性性能。
高性能計算
為了獲得新一代的發現成果,科學家們希望通過仿真來更好地了解我們周圍的世界。
NVIDIA A30 采用 FP64 NVIDIA Ampere 架構 Tensor Core,提供自 GPU 推出以來幅度非常大的 HPC 性能飛躍。配合 24 GB 的 GPU 顯存和 933 GB/s 的帶寬,可讓研究人員快速解決雙精度計算問題。HPC 應用程序還可以利用 TF32 提高單精度、密集矩陣乘法運算的吞吐量。
FP64 Tensor Core 與 MIG 的結合能讓科研機構安全地對 GPU 進行分區,以允許多位研究人員訪問計算資源,同時確保 QoS 和更高的 GPU 利用率。部署 AI 的企業可以在需求高峰時段使用 A30 的推理功能,然后在非高峰時段將同一批計算服務器改用于處理 HPC 和 AI 訓練工作負載。
高性能數據分析
數據科學家需要能夠分析和可視化龐大的數據集,并將其轉化為寶貴見解。但是,由于數據集分散在多臺服務器上,橫向擴展解決方案往往會陷入困境。
搭載 A30 的加速服務器可以提供必需的計算能力,并能利用大容量 HBM2 顯存、933 GB/s 的顯存帶寬和通過 NVLink 實現的可擴展性妥善處理這些工作負載。通過結合 InfiniBand、NVIDIA Magnum IO 和 RAPIDS? 開源庫套件(包括 RAPIDS Accelerator for Apache Spark),NVIDIA 數據中心平臺能夠加速這些大型工作負載,并實現超高的性能和效率水平。
企業就緒,高效利用
A30 結合 MIG 技術可以更大限度地提高 GPU 加速的基礎設施的利用率。借助 MIG,A30 GPU 可劃分為多達 4 個獨立實例,讓多個用戶都能使用 GPU 加速功能。
MIG 與 Kubernetes、容器和基于 Hypervisor 的服務器虛擬化配合使用。MIG 可讓基礎設施管理者為每項作業提供大小合適的 GPU,同時確保 QoS,從而擴大加速計算資源的影響范圍,以覆蓋每位用戶。
NVIDIA AI Enterprise
NVIDIA AI Enterprise 是一套端到端云原生 AI 和數據分析軟件,經認證可在基于服務器虛擬化平臺的虛擬基礎設施(帶有 VMware vSphere)中的 A30 上運行。這允許在混合云環境中管理和擴展 AI 工作負載。
注:與 NVIDIA 產品相關的圖片或視頻(完整或部分)的版權均歸 NVIDIA Corporation 所有。