【每秒110萬個token！微軟(MSFT.US)和英偉達(NVDA.US)聯手刷新AI推理紀錄】

【每秒110万个token！微软(MSFT.US)和英伟达(NVDA.US)联手刷新AI推理纪录】智通财经APP获悉，微软(MSFT.US)宣布，其Azure ND GB300v6虚拟机在Meta的Llama270B模型上实现了每秒推理速度达110万token的行业新纪录。据悉，Azure ND GB300虚拟机采用英伟达(NVDA.US)的Blackwell Ultra GPU，具体为NVIDIA GB300NVL72系统，配置72个NVIDIA Blackwell Ultra GPU和36个NVIDIA Grace CPU，采用单机架构设计。这款虚拟机专为推理工作负载优化，具有50%的GPU内存提升和16%的热设计功率(TDP)提高。