NVIDIA ha ulteriormente incrementato le prestazioni AI delle sue GPU GeForce RTX e delle piattaforme PC RTX AI con l’ultima release del driver R555. Durante la Microsoft Build di oggi, NVIDIA ha annunciato una serie di nuove ottimizzazioni delle prestazioni AI che sono ora disponibili sulla piattaforma RTX, che comprende GPU GeForce RTX, workstation e PC. Le nuove ottimizzazioni sono specificamente mirate a una serie di LLM (Large Language Models) che alimentano le piรน recenti esperienze di IA generativa. Utilizzando i piรน recenti driver R555, le GPU RTX di NVIDIA e le piattaforme AI PC offrono ora prestazioni AI fino a tre volte superiori con ONNX Runtime (ORT) e DirectML. Questi due strumenti sono utilizzati per eseguire modelli di IA in locale sui PC Windows. Inoltre, anche WebNN รจ stato accelerato con RTX tramite DirectML. Si tratta di un’interfaccia di programmazione delle applicazioni che consente agli sviluppatori web di distribuire nuovi modelli di intelligenza artificiale. Microsoft sta collaborando con NVIDIA per accelerare ulteriormente le prestazioni delle GPU RTX, aggiungendo il supporto DirectML a PyTorch. Segue un elenco completo delle funzionalitร che i nuovi driver R555 offrono alle GPU GeForce RTX e ai PC RTX:
- Supporto del metacomando DQ-GEMM per gestire la quantizzazione INT4 di solo peso per gli LLM.
- Nuovi metodi di normalizzazione RMSNorm per i modelli Llama 2, Llama 3, Mistral e Phi-3
- Meccanismi di attenzione di gruppo e multi-query, e attenzione a finestra scorrevole per supportare Mistral
- Aggiornamenti KV in-place per migliorare le prestazioni dell’attenzione
- Supporto per GEMM di tensori non multipli di 8 per migliorare le prestazioni della fase di contesto
Nei benchmark delle prestazioni di ORT, un’estensione dell’IA generativa rilasciata da Microsoft, NVIDIA ha mostrato guadagni su tutta la linea in entrambi i tipi di dati INT4 e FP16. I miglioramenti delle prestazioni sono fino a 3 volte grazie alle tecniche di ottimizzazione aggiunte in queste estensioni per LLM come Phi-3, Llama 3, Gemma e Mistral. Oltre a questi miglioramenti, NVIDIA รจ stata leader nello spazio dei PC AI per i consumatori con le sue potenti suite TensorRT e TensorRT-LLM. L’azienda offre anche una vasta gamma di soluzioni basate sull’hardware AI incorporato nelle sue GPU, come i Tensor Cores.
Clicca sulla copertina per leggere
