Gli ultimi benchmark mostrano che i sistemi Supermicro con NVIDIA B200 hanno surclassato la precedente generazione di sistemi con una velocità di generazione di token al secondo tripla
SAN JOSE, California, 3 aprile 2025 -- Super Micro Computer, Inc. (SMCI), impresa che sviluppa soluzioni IT complete per IA/ML, HPC, Cloud, Storage e 5G/Edge, annuncia i primi sistemi sul mercato all'avanguardia in relazione a diversi benchmark MLPerf Inference v5.0, grazie ai sistemi NVIDIA HGX™ B200 a 8 GPU. I sistemi 4U raffreddati a liquido e 10U raffreddati ad aria hanno ottenuto le migliori prestazioni in determinati benchmark. Supermicro ha dimostrato una velocità di generazione di token al secondo (token/s) oltre che tripla per i benchmark Llama2-70B e Llama3.1-405B rispetto ai sistemi H200 a 8 GPU.
"Supermicro rimane un leader nel settore dell'IA, come dimostrano i primi nuovi benchmark pubblicati da MLCommons nel 2025", afferma Charles Liang, presidente e Ceo di Supermicro. "La nostra architettura modulare ci consente di essere i primi sul mercato con una vasta gamma di sistemi ottimizzati per vari carichi di lavoro. Continuiamo a collaborare con NVIDIA per perfezionare i nostri sistemi e assicurarci una posizione di prestigio riguardo ai carichi di lavoro IA".
Per saperne di più sui nuovi benchmark di inferenza MLPerf v5.0 visitare https://mlcommons.org/benchmarks/inference-datacenter/
Supermicro è l'unico produttore di sistemi a pubblicare prestazioni di inferenza MLPerf record (su determinati benchmark) per i sistemi NVIDIA HGX™ B200 a 8 GPU raffreddati ad aria e a liquido. Sia gli uni che gli altri erano operativi prima della data di inizio del benchmark MLCommons. Gli ingegneri Supermicro hanno ottimizzato i sistemi e il software per ottenere prestazioni straordinarie. Nell'ambito del margine operativo, il sistema Supermicro B200 raffreddato ad aria ha mostrato lo stesso livello di prestazioni del sistema B200 raffreddato a liquido. Supermicro ha consegnato questi sistemi ai clienti mentre venivano condotti i benchmark.
MLCommons sottolinea che tutti i risultati devono essere riproducibili, che i prodotti devono essere disponibili e che i risultati possono essere verificati da altri membri MLCommons. Gli ingegneri Supermicro hanno ottimizzato i sistemi e il software, come consentito dalle regole MLCommons.
I modelli SYS-421GE-NBRT-LCC (8x NVIDIA B200-SXM-180GB) e SYS-A21GE-NBRT (8x NVIDIA B200-SXM-180GB) hanno dimostrato prestazioni superiori eseguendo i benchmark Mixtral 8x7B Inference, Mixture of Experts con 129.000 token/secondo. Il sistema Supermicro raffreddato ad aria e a liquido basato su NVIDIA B200 ha fornito un'inferenza di oltre 1.000 token/secondo per il modello di grandi dimensioni Llama3.1-405b, mentre le generazioni precedenti di sistemi GPU hanno ottenuto risultati molto inferiori. Per attività di inferenza di minore entità, utilizzando il benchmark LLAMA2-70b, un sistema Supermicro con NVIDIA B200 SXM-180GB installato mostra le prestazioni più elevate tra i fornitori di sistemi di livello 1.
Nello specifico:
- Stable Diffusion XL (server)
SYS-A21GE-NBRT (8x B200-SXM-180GB)
n. 1 per query/s, 28,92 - llama2-70b-interactive-99 (server)
SYS-A21GE-NBRT (8x B200-SXM-180GB)
n. 1 per token/s, 62.265,70 - Llama3.1-405b (offline)
SYS-421GE-NBRT-LCC (8xB200-SXM-180GB)
n. 1 per token/s 1521,74 - Llama3.1-405b (server)
SYS-A21GE-NBRT (8x B200-SXNM-180GB)
n. 1 per token/s, 1080.31 (per un nodo a 8 GPU) - mixtral-8x7b (server)
SYS-421GE-NBRT-LCC (8x B200-SXM-180GB)
n. 1 per token/s, 129.047,00 - mixtral-8x7b (offline)
SYS-421GE-NBRT-LCC (8x B200-SXM-180GB)
n. 1 per token/s, 128.795,00
"MLCommons si congratula con Supermicro per la sua partecipazione al benchmark MLPerf Inference v5.0. Siamo lieti di vedere che i loro risultati evidenziano significativi miglioramenti delle prestazioni rispetto alle generazioni precedenti di sistemi", commenta David Kanter, responsabile di MLPerf presso MLCommons. "I clienti saranno soddisfatti dei miglioramenti delle prestazioni ottenuti, convalidati dai risultati MLPerf neutrali, rappresentativi e riproducibili".
Supermicro offre un portafoglio completo di soluzioni IA con oltre 100 sistemi ottimizzati per GPU, raffreddati sia ad aria che a liquido, con una scelta di CPU che spazia dai sistemi ottimizzati single-socket ai sistemi multiprocessore a 8 vie. I sistemi rack-scale Supermicro includono componenti di elaborazione, archiviazione e rete, il che riduce il tempo necessario per installarli una volta consegnati al cliente.
I sistemi NVIDIA HGX B200 a 8 GPU di Supermicro sfruttano la tecnologia di raffreddamento a liquido e ad aria di nuova generazione. Le piastre di raffreddamento di nuova concezione e la nuova unità di distribuzione del refrigerante (CDU) da 250 kW più che raddoppiano la capacità di raffreddamento della generazione precedente nello stesso fattore di forma 4U. Disponibile nelle configurazioni 42U, 48U o 52U, l'esecuzione rack-scale con i nuovi collettori di distribuzione del refrigerante verticali (CDM) non occupa più preziose unità rack. Ciò consente di avere otto sistemi, composti da 64 GPU NVIDIA Blackwell in un rack 42U, e fino a 12 sistemi con 96 GPU NVIDIA Blackwell in un rack 52U.
Il nuovo sistema NVIDIA HGX B200 10U raffreddato ad aria è dotato di uno chassis riprogettato con maggiore headroom termico per ospitare otto GPU Blackwell da 1000 W TDP. È possibile installare fino a quattro nuovi sistemi raffreddati ad aria 10U e integrarli completamente in un rack, con la stessa densità della generazione precedente, garantendo prestazioni di inferenza fino a 15 volte superiori e prestazioni di formazione fino a 3 volte superiori.
Informazioni su Super Micro Computer, Inc.
Supermicro (NASDAQ: SMCI) è una delle principali imprese mondiali nello sviluppo di soluzioni IT complete ottimizzate per le applicazioni. Azienda fondata e operativa a San Jose, in California, Supermicro è impegnata a offrire innovazioni per il mercato delle infrastrutture aziendali, del cloud, dell'IA e IT per il 5G telco/edge. Siamo un fornitore di soluzioni IT totali con server, AI, storage, IoT, sistemi di commutazione, software e servizi di assistenza. Il know-how di Supermicro nella progettazione di schede madri, sistemi di alimentazione e chassis supporta ulteriormente le attività di sviluppo e produzione, consentendo l'innovazione di prossima generazione dal cloud all'edge per i clienti in tutto il mondo. Le nostre soluzioni sono progettate e realizzate internamente (negli Stati Uniti, a Taiwan e nei Paesi Bassi), sfruttando operazioni globali per generare scalabilità ed efficienza, e ottimizzate per migliorare il TCO e ridurre l'impatto ambientale (green computing). Il premiato portafoglio Server Building Block Solutions® consente ai clienti di selezionare l'ottimizzazione maggiormente in linea con i requisiti specifici dei loro carichi di lavoro e applicazioni, scegliendo all'interno di una vasta famiglia di sistemi realizzati con i nostri 'blocchi costruttivi' flessibili e riutilizzabili che supportano una serie completa di fattori di forma, processori, memorie, GPU, storage, reti, sistemi di alimentazione e soluzioni per il raffreddamento (ad aria condizionata, ad aria libera o a liquido).
Supermicro, Server Building Block Solutions e We Keep IT Green sono marchi di fabbrica e/o marchi di fabbrica registrati di Super Micro Computer, Inc.
Tutti gli altri marchi, nomi e marchi di fabbrica sono di proprietà dei rispettivi titolari.
Foto - https://mma.prnewswire.com/media/2656893/Super_Micro_Computer_MLPerf.jpg
This News is brought to you by Qube Mark, your trusted source for the latest updates and insights in marketing technology. Stay tuned for more groundbreaking innovations in the world of technology.
