Dell ha esteso la sua collaborazione con AMD, offrendo ora gli acceleratori di AI Instinct MI300X di Team Red di fascia alta nei suoi server all’avanguardia insieme a nuove soluzioni di AI generativa. Con la rapida evoluzione dell’IA, la fusione di tecnologie open-source e accelerazione hardware all’avanguardia sta guidando l’innovazione del settore. Dell Technologies e AMD sono all’avanguardia e offrono soluzioni infrastrutturali on-premise che sono fino al 75% piรน convenienti rispetto al cloud pubblico IaaS e sono state concepite per potenziare le applicazioni di IA generativa in azienda.
Il PowerEdge XE9680 con acceleratori AMD Instinct MI300X offre funzionalitร ad alte prestazioni progettate per le aziende che sfruttano l’IA generativa e dispone di otto acceleratori MI300X, 1,5 TB di memoria HBM3 e 42 petaFLOPS di picco di prestazioni teoriche FP8 con precisione di sparsitร .
Questa potente configurazione consente un addestramento e un’inferenza piรน rapidi di modelli linguistici di grandi dimensioni, aiutando le organizzazioni a fornire approfondimenti guidati dall’IA e applicazioni innovative in modo piรน efficiente. Recenti test su una configurazione a singolo nodo hanno mostrato un valore di costo totale di proprietร leader del settore:
- Distribuzione del modello di parametri Llama 2 70B su un singolo acceleratore AMD Instinct MI300X su un server Dell PowerEdge XE9680.
- Distribuzione di otto istanze contemporanee del modello utilizzando tutti gli otto acceleratori AMD Instinct MI300X disponibili sul server Dell PowerEdge XE9680.
- Messa a punto del modello di parametri Llama 2 70B con precisione FP16 su un server Dell PowerEdge XE9680 con otto acceleratori AMD Instinct MI300X.
Grazie all’implementazione semplificata tramite Dell OpenManage Enterprise, all’automazione intelligente tramite il software APEX AIOps e alla sicurezza migliorata grazie al cyber recovery integrato e all’approccio Zero Trust, il server XE9680 consente alle aziende di implementare e scalare rapidamente le proprie soluzioni GenAI mantenendo una solida postura di sicurezza. Annunciato a maggio e disponibile da oggi, il Dell Validated Design for Generative AI with AMD รจ il passo successivo delle soluzioni Dell Generative AI che facilitano l’implementazione di GenAI affidabili da parte delle aziende. Questa guida alla progettazione fornisce alle organizzazioni e agli sviluppatori indicazioni complete per implementare l’inferenza LLM e la personalizzazione dei modelli, oltre a tecniche avanzate come il fine-tuning e la retrieval augmented generation (RAG). Basandosi su standard aperti e riducendo la necessitร di suite software di intelligenza artificiale proprietarie, gli sviluppatori possono semplificare lo sviluppo e personalizzare liberamente i flussi di lavoro con modelli LLM open-source di partner come Hugging Face e Meta.
Accelerazione dei carichi di lavoro moderni. Innovazione e scalabilitร che consentono aziende e risultati efficienti e agili.
- Grazie agli acceleratori AMD Instinct MI300X, il Dell Validated Design consente una scalabilitร quasi lineare e una formazione e inferenza GenAI distribuita a bassa latenza.
- PowerScale F710 offre un time-to-air piรน rapido grazie a un enorme aumento delle prestazioni di streaming che accelerano tutte le fasi della pipeline AI.
- Dell PowerSwitch Z9664F-ON, con 64 porte da 400 GbE, offre tessuti Ethernet a bassa latenza ed elevato throughput per i moderni cluster AI.
- La scheda NIC Broadcom Thor2 ottimizzata per l’AI offre 400G, interconnettendo gli acceleratori MI300X con i requisiti energetici piรน bassi del settore.
