Meta Google TPU invece di Nvidia: spiegazione
La notizia che Meta starebbe negoziando l'utilizzo delle Tensor Processing Units (TPU) di Google ha influenzato i prezzi delle azioni di Nvidia, Alphabet e Meta. Ciò suggerisce uno spostamento nel mercato degli acceleratori AI, poiché Google sta recuperando terreno nella competizione con Nvidia.
Fonte: Illustrazione propria
Accordo Meta & Google TPU
Meta starebbe negoziando con Google un accordo pluriennale miliardario per le Tensor Processing Units (TPU), che potrebbero anche essere utilizzate nei data center di Meta a partire dal 2027. Questo è quanto riportato da una fonte di Reuters Finora, le TPU di Google erano disponibili principalmente tramite Google Cloud come capacità affittata. Ora si ipotizza che Google stia portando i suoi chip AI per la prima volta come "Customer Premise Hardware" nei data center hyperscale di terzi, come riportato da SwingTradeBot riporta. Investor’s Business Daily aggiunge che Google sta discutendo con Meta e altri clienti per l'utilizzo dei suoi chip Tensor, mettendo sotto pressione Nvidia e AMD nel mercato dopo la chiusura delle contrattazioni.
Se Meta, un importante acquirente di GPU Nvidia per modelli come Llama, sposterà parte della sua futura capacità su TPU di Google, Nvidia perderà parte del suo status nel segmento AI di fascia alta, secondo datacentremagazine.com. Contemporaneamente, Meta ha già concluso un contratto cloud di sei anni con Google Cloud per oltre 10 miliardi di dollari per ottenere ulteriore infrastruttura AI ( datacentremagazine.com). Poche settimane dopo, Meta ha annunciato che investirà almeno 600 miliardi di dollari in data center ottimizzati per l'AI, progetti energetici e programmi locali entro il 2028 ( datacentremagazine.com). Meta non vuole che il suo massiccio programma di investimenti AI si basi su un unico fornitore di chip, e Google coglie l'occasione per introdurre le sue TPU sul mercato.
TPU vs GPU
Nvidia domina attualmente l'addestramento di modelli linguistici di grandi dimensioni con GPU come le serie A100 e H100 ( Google Cloud Documentation). Google persegue un approccio diverso con le Tensor Processing Units (TPU). Le TPU sono chip ASIC specializzati, ottimizzati esclusivamente per calcoli Tensoriali nei carichi di lavoro di Machine Learning ( Google Cloud Documentation). La documentazione ufficiale di Google descrive le TPU come acceleratori su misura, particolarmente adatti per grandi operazioni matriciali in modelli come le reti Transformer (
Un post del blog di Google riassume la differenza: le CPU sono tuttofare universali, le GPU sono acceleratori massicciamente paralleli per grafica e AI, e le TPU sono ancora più focalizzate sui calcoli AI e funzionano nei data center di Google per servizi come Search, YouTube e modelli DeepMind ( blog.google). Dal punto di vista tecnico, i benchmark mostrano che i pod TPU di Google raggiungono un'elevata efficienza per watt e per dollaro in determinati carichi di lavoro di addestramento ( YouTube). Queste metriche sono cruciali per attori come Meta, che devono scalare una flotta di sistemi AI per miliardi di utenti ( datacentremagazine.com).
Fonte: note.com
Le TPU (Tensor Processing Units) di Google e le GPU (Graphics Processing Units) di NVIDIA sono le architetture leader per i carichi di lavoro AI, ognuna con punti di forza specifici.
L'attuale generazione di punta di Google per l'addestramento, la Cloud TPU v5p, è progettata come un cluster fino a 8.960 chip per pod e offre molta più memoria HBM per chip rispetto alla generazione precedente (95 GB HBM rispetto a 32 GB nella v4), come descritto da Google nella sua documentazione cloud ( Google Cloud Documentation). Un TechRadar-Artikel conclude che la TPU v5p è fino a 2,8 volte più veloce nell'addestramento rispetto alla TPU v4 e potrebbe essere alla pari o superiore alla H100 di Nvidia nei confronti grezzi. Secondo l'azienda, la H100 di Nvidia è fino a quattro volte più veloce della generazione A100 nell'addestramento e offre fino a 80 GB di memoria HBM3 per GPU per carichi di lavoro AI ( Google Cloud Documentation).
La domanda su quale chip AI sia migliore dipende dal contesto. Per le aziende che fanno forte affidamento sull'ecosistema Nvidia, la H100 rimane la scelta ovvia ( Google Cloud Documentation). Per i carichi di lavoro ottimizzati per TensorFlow e JAX che vengono eseguiti su Google Cloud, la TPU v5p può offrire vantaggi in termini di throughput e costo per epoca di addestramento ( Wikipedia). Google ottimizza interi data center attorno ai pod TPU, inclusi rete, storage e scheduling, sottolineando l'intero concetto di "supercomputer AI" ( YouTube).
Fonte: YouTube
Scarsità di chip AI
Un rapporto di Bain & Company avverte che il boom dell'AI potrebbe nuovamente destabilizzare le catene di approvvigionamento dei semiconduttori. Sourceability descrive come la "domanda AI incontrollata" insieme a capacità produttiva limitata e nuove barriere commerciali stia portando a una carenza permanente di determinati componenti rilevanti per l'AI e ne stia facendo aumentare i prezzi. Per i gestori di data center, ciò significa che la capacità non è solo una questione di budget, ma anche di tempi di consegna, tariffe e rischi geopolitici ( sourceability.com).
Meta pianifica investimenti per almeno 600 miliardi di dollari in data center AI entro il 2028, ma sta anche vendendo asset di data center per circa 2 miliardi di dollari per utilizzare modelli di finanziamento più flessibili per l'infrastruttura AI ( datacentremagazine.com). La motivazione: la costruzione di data center AI è così ad alta intensità di capitale che anche i giganti della tecnologia devono fare maggiore affidamento su leasing, co-locazione e partnership cloud ( datacentremagazine.com). Un accordo Meta per le TPU di Google si inserisce in questo quadro. Invece di acquistare esclusivamente GPU Nvidia, Meta potrà in futuro assicurarsi capacità aggiuntiva tramite le TPU di Google, ammortizzando così picchi di fornitura e prezzi ( Investors).
Impatto sulle aziende
Per le aziende che stanno pensando alla propria infrastruttura AI, la mossa Meta-Google sposta i parametri. Una grande azienda che finora si è concentrata esclusivamente su GPU Nvidia in una regione hyperscale, può in futuro pianificare un modello di molti fornitori: addestramento di modelli di grandi dimensioni su TPU in Google Cloud, inferenza su GPU in un'altra cloud o on-premise, combinato con un classico calcolo CPU per carichi di lavoro meno sensibili al tempo ( Google Cloud Documentation). In particolare per i settori fortemente regolamentati, le TPU on-premise diventeranno un'opzione aggiuntiva se Google realizzerà i suoi piani ( Reuters).
Fonte: gigazine.net
La decisione di OpenAI di utilizzare le TPU di Google sottolinea la crescente importanza delle alternative alle GPU NVIDIA e la diversificazione delle catene di approvvigionamento hardware per l'AI.
Le startup soffrono in particolare della carenza di GPU. Una maggiore concorrenza tra GPU Nvidia, TPU Google e altri chip specializzati come AWS Trainium o AMD Instinct potrebbe ridurre la pressione sui prezzi nel medio termine ( Medium). Per la pratica degli sviluppatori, il passo delle TPU Meta-Google significa anche: più team saranno costretti a mantenere i propri stack portatili. Chi costruisce in modo coerente modelli e pipeline tramite framework come PyTorch/XLA, JAX o livelli di serving ben astratti, può passare tra backend GPU e TPU senza dover riscrivere tutto ( Google Cloud Documentation).
Dimensione strategica
Il video "AI Hypercomputer with Cloud TPU v5p | Google Gemini" chiarisce come Google stia concentrando la propria energia AI sulle TPU e stia ora aprendo gradualmente questa piattaforma ai clienti ( YouTube). Parallelamente, formati come "NVIDIA vs Big Tech : Who Wins The AI Chip War?" analizzano la crescente concorrenza da parte degli hyperscaler, che sviluppano i propri chip e cercano così di sottrarre quote di mercato a Nvidia nel lungo termine ( YouTube).
Fonte: user-added
L'hardware AI moderno come le TPU e le GPU richiede sistemi di raffreddamento sofisticati per dissipare l'enorme calore residuo dei chip ad alte prestazioni.
Dal punto di vista dell'intero ecosistema AI, l'accordo TPU Meta-Google è un ulteriore passo lontano da un mondo in cui un produttore determina da solo le regole per l'hardware, i prezzi e le roadmap. Google rafforza il suo ruolo di fornitore completo di infrastrutture, Meta aumenta il suo potere negoziale e riduce le dipendenze, e altri attori come AWS, AMD o produttori ASIC specializzati dovranno confrontarsi con questa nuova realtà ( Medium).
La combinazione degli investimenti di Meta di centinaia di miliardi di dollari per data center AI e la mossa strategica di Google di non utilizzare più le TPU esclusivamente per uso interno, segna un punto di svolta nella corsa ai chip AI ( datacentremagazine.com). Per Nvidia, ciò non significa la fine, ma la fine della fase di monopolio confortevole. Per Google si apre l'opportunità di affermare il proprio hardware AI come una vera alternativa sul mercato. Per Meta e altri hyperscaler, è una leva per gestire meglio la carenza di chip, il fabbisogno energetico e i costi di capitale ( CIO).
Per aziende, startup e sviluppatori, ciò significa: la domanda su quale chip AI sia migliore sarà risposta meno spesso con un solo nome - e sempre più spesso con una scelta di architettura e strategia. Chi si adatta precocemente a un setup ibrido e portatile avrà molte più opzioni in questo mondo multipolare di hardware AI di quanto la realtà dominata dall'attuale H100 possa far pensare.