Secondo quanto annunciato recentemente, la piattaforma di CPU Intel Lunar Lake sta dimostrando prestazioni impressionanti nell’inferenza AI con i più recenti modelli Meta LLaMA 3.2. Intel ha pubblicato un articolo che spiega i guadagni di prestazioni che LLaMA 3.2 ottiene con l’hardware Intel AI, come gli acceleratori Intel Gaudi AI, i processori Intel eo, le CPU Intel Core Ultra “Lunar Lake” e la grafica Intel Arc. In un post su LinkedIn, Robert Hallock, vicepresidente e direttore generale di Client AI e Technical Marketing di Intel, ha affermato che i processori Intel Lunar Lake Core Ultra stanno ottenendo ottime prestazioni con LaLaMA 3.2.
Secondo le affermazioni, la CPU di punta Intel Core Ultra 9 288V “Lunar Lake” è in grado di raggiungere una latenza bassissima di soli 28,5 ms per 32 token di input e 31,4 ms per 1024 token di input per il modello 3B. Ciò si traduce in circa 32-35 token al secondo, una prestazione impressionante nell’inferenza dell’intelligenza artificiale.
Intel sta lavorando al suo framework di inferenza AI chiamato OpenVINO, il quale ottimizza le prestazioni sull’hardware Intel per migliorare sia le prestazioni che l’efficienza su PC e dispositivi edge.
