Secondo quanto annunciato recentemente, Intel ha annunciato oggi la disponibilità generale dei suoi ultimi acceleratori di intelligenza artificiale Gaudi 3, che inizieranno a essere distribuiti il mese prossimo. L’Intel Gaudi 3 PCIe CEM è stato descritto nei dettagli nell’annuncio di oggi e porterà fino a 1835 TFLOPS di capacità di calcolo FP8 (di picco) insieme a 128 GB di memoria HBM2e, un TDP di 600 W, 8 motori di moltiplicazione matriciale, 64 TPC 22 NIC RDMA da 200 GbE, il tutto in una soluzione dual-slot a tutta altezza da 10,5”. La soluzione OAM sarà dotata di 96 MB di SRAM in due stack di SRAM da 48 MB con una larghezza di banda HBM totale di 3,67 TB/s e una larghezza di banda SRAM on-die (L2) totale di 19,2 TB/s.
In termini di prestazioni, l’acceleratore Intel Gaudi 3 AI offrirà un incremento dell’inferenza fino al 9% nei modelli LLaMA 3 8B, garantendo al contempo prestazioni migliori dell’80% per $ rispetto all’H100. In LLaMA 70B, l’acceleratore Gaudi 3 AI offrirà un throughput di inferenza migliore del 19% e prestazioni per $ 2 volte superiori rispetto all’H100. Inoltre, Intel sta collaborando con diversi partner per l’ecosistema Gaudi, tra cui Dell Technologies, HPE e Supermicro come fornitori di sistemi e IBM, LUMEN, Infosys, Naver e molti altri come fornitori di software.
