L'esperimento di Dota 2 di Elon Musk: Come OpenAI Five ha rivoluzionato gli eSport
Per anni, l'intelligenza artificiale ha costantemente spinto i confini dei giochi di strategia, dal monumentale trionfo di Deep Blue negli scacchi alla sofisticata maestria di AlphaGo nel Go. Tuttavia, questi giochi classici, nonostante la loro profondità strategica, operano su una scacchiera prevedibile con informazioni complete e trasparenti. Il mondo reale, tuttavia, è un'arena molto più disordinata e imprevedibile, definita da informazioni incomplete, azioni continue e interazioni intricate, spesso caotiche.
È proprio qui che OpenAI è intervenuta con OpenAI Five, un progetto ambizioso che ha sfidato giocatori professionisti umani nell'universo altamente complesso e caotico di Dota 2. Il suo notevole viaggio, da un bot rudimentale a una squadra formidabile, ha offerto profonde intuizioni sulla crescente capacità dell'IA di affrontare vere sfide del mondo reale.
Breve riassunto di OpenAI Five
- Obiettivo del Progetto: Sviluppare bot di IA in grado di giocare al complesso gioco di strategia in tempo reale Dota 2, rispecchiando l'imprevedibilità del mondo reale.
- Metodo di Apprendimento: Principalmente apprendimento per rinforzo attraverso un'ampia auto-partita, senza dati umani.
- Tappe fondamentali:
- Agosto 2017: un singolo bot ha sconfitto il giocatore professionista Dendi in una partita 1 contro 1.
- Giugno 2018: la squadra di cinque bot ha costantemente battuto giocatori dilettanti e semi-professionisti.
- Aprile 2019: ha sconfitto i campioni di The International 2018, OG, in una serie al meglio delle tre.
- Maestria Tecnica: Ha utilizzato 256 GPU e 128.000 core CPU, accumulando quotidianamente 180 anni di esperienza di addestramento.
- Impatto: Ha dimostrato il potenziale dell'IA in complessi ambienti multi-agente, informando la robotica e la logistica.
Evoluzione dei Bot OpenAI Five
OpenAI ha iniziato a creare gli algoritmi che avrebbero alimentato i suoi bot di Dota 2 nel novembre 2016. Il loro obiettivo principale era costruire sistemi generali di risoluzione dei problemi immergendoli in un gioco come Dota 2, che rispecchiava l'imprevedibilità e il flusso continuo intrinseci del mondo reale. Il gioco si è rivelato una scelta ideale, non solo per la sua enorme popolarità su Twitch, ma anche per il suo supporto bot integrato e la sua API accessibile.
Il primo assaggio pubblico di un bot di OpenAI è emerso nell'agosto 2017 a The International, il torneo principale di Dota 2. Qui, il rinomato giocatore professionista ucraino Dendi si è ritrovato superato in astuzia in una partita uno contro uno contro un singolo bot di OpenAI.

Fonte: transfermarkt.co.uk
A The International 2017, il giocatore professionista Dendi ha perso una partita uno contro uno contro un singolo bot di OpenAI.
Il CTO di OpenAI ha successivamente rivelato che questo singolo bot aveva acquisito le sue abilità attraverso sole due settimane di incessante auto-partita, dimostrando potentemente il potenziale di tali software di apprendimento per compiti intricati, anche complessi come la chirurgia.
Nel giugno 2018, i bot si erano evoluti significativamente, non solo capaci di operare come una squadra coesa di cinque giocatori, ma anche di battere costantemente sia giocatori umani dilettanti che semi-professionisti. Sono entrati in The International 2018, affrontando avversari formidabili come paiN Gaming e una squadra composta da ex giocatori professionisti cinesi. Sebbene OpenAI Five abbia infine perso entrambe le partite, l'organizzazione ha considerato queste sconfitte un successo, poiché hanno fornito dati inestimabili per l'analisi e il perfezionamento degli algoritmi.
La finale delle esibizioni pubbliche dei bot nell'aprile 2019 ha segnato un risultato straordinario: hanno sconfitto in modo convincente OG, i campioni in carica di The International 2018, in una serie al meglio delle tre.

Fonte: clipground.com
Nella loro finale dimostrazione pubblica, i bot hanno sconfitto OG, i campioni in carica di The International 2018.
Durante un'emozionante evento online di quattro giorni nello stesso mese, il pubblico è stato invitato a giocare contro i bot. In un sorprendente totale di 42.729 partite pubbliche, OpenAI Five ha ottenuto uno straordinario tasso di vittoria del 99,4%.
Come OpenAI Five ha imparato e giocato
OpenAI Five ha sfruttato una sofisticata tecnica chiamata apprendimento per rinforzo. In questo metodo, i bot imparavano giocando centinaia di partite ogni singolo giorno, per diversi mesi, perfezionando incessantemente le loro strategie. Ricevevano ricompense predeterminate per azioni di successo, come eliminare avversari o distruggere torri. Ogni bot era essenzialmente una rete neurale, dotata di un singolo livello e 4096 unità, che osservava lo stato del gioco direttamente tramite l'API degli sviluppatori di Dota. Ciò significava elaborare il mondo di gioco come una lista completa contenente 20.000 numeri, per poi eseguire azioni tramite otto valori enumerati, completi di distinti "action heads" per elementi come ritardo, tipo di azione e coordinate.

Fonte: builtin.com
L'infrastruttura "Rapid" di OpenAI comprendeva migliaia di macchine, accumulando quotidianamente 180 anni di esperienza di addestramento.
Impiegava specificamente la Proximal Policy Optimization (PPO) come suo algoritmo critico di apprendimento per rinforzo.
La complessità di Dota 2 per l'IA
Dota 2 presentava un ambiente molto più intricato dei tradizionali giochi di strategia come gli scacchi o il Go. A differenza di questi, Dota 2 presenta diverse sfide uniche per l'IA:
- Spazio di Azione Continua: Le azioni non sono mosse discrete ma avvengono in tempo reale.
- Osservabilità Parziale: La "nebbia di guerra" significa che i giocatori (e i bot) non hanno informazioni complete sulla mappa.
- Alta Dimensionalità: Sia lo spazio delle azioni che quello di osservazione sono vasti. Un singolo eroe può avere 170.000 possibili azioni.
- Complessi set di regole in evoluzione: Il gioco si aggiorna frequentemente, introducendo nuovi eroi, oggetti e meccaniche.
Per metterlo in prospettiva:
| Gioco | Azioni Valide Medie per Tick | Durata Media della Partita |
|---|---|---|
| Scacchi | 35 | ~60 mosse |
| Go | 250 | ~200 mosse |
| Dota 2 | ~1,000 | 45 minuti (~80,000 tick) |
OpenAI Five osservava ogni quarto fotogramma, elaborando un impressionante numero di 20.000 mosse per partita.
Auto-partita e Sviluppo Strategico
Una caratteristica veramente distintiva del percorso di apprendimento di OpenAI Five è stata la sua incrollabile dipendenza dall'auto-partita. Partendo da parametri completamente casuali, e in particolare senza alcun dato generato dall'uomo o algoritmi di ricerca, i bot hanno organicamente generato le proprie strategie uniche. Per incoraggiare un'ampia esplorazione, gli agenti sono stati programmati per giocare l'80% delle loro partite contro se stessi e il 20% contro versioni leggermente più vecchie. Questo ingegnoso processo ha rapidamente portato allo sviluppo spontaneo di concetti fondamentali come "laning" e "farming", che poi si sono evoluti con grazia in strategie sofisticate come la "5-hero push" in soli pochi giorni.
Sfide e Critiche
Nonostante i suoi risultati indubbiamente impressionanti, OpenAI Five ha dovuto affrontare la sua quota di critiche, in particolare riguardo all'equità del suo approccio. I bot accedevano ai dati dello stato del gioco direttamente tramite API, piuttosto che elaborare laboriosamente informazioni visive come i giocatori umani. Questa differenza fondamentale ha portato alcuni critici a etichettare le sue vittorie come "imbrogli", soprattutto considerando il pool di eroi limitato dei bot e questo accesso diretto alle API. I critici hanno anche sottolineato che OpenAI Five ha lottato con la pianificazione strategica a lungo termine, mancando spesso di lungimiranza oltre un orizzonte di circa 14 minuti. A The International 2018, i bot hanno notevolmente dimostrato una marcata mancanza di adattabilità quando confrontati con strategie impreviste o improvvisi cambiamenti nello stato del gioco.
Dibattiti etici sono naturalmente sorti riguardo a questi vantaggi intrinseci. Mentre gli umani dovevano controllare manualmente posizioni, salute e inventario, OpenAI Five godeva di un accesso immediato e diretto a tutte queste informazioni. Anche il suo tempo di reazione medio di 80 millisecondi era significativamente più veloce di qualsiasi capacità umana. Elon Musk, co-fondatore di OpenAI, ha persino assicurato personalmente potenza di calcolo scontata per il progetto, salutando la vittoria del bot come la prima volta in assoluto che un'IA avesse mai sconfitto professionisti in un gioco eSport competitivo. Il pionieristico progetto di OpenAI ha indubbiamente posto delle solide basi per future applicazioni di IA cooperativa nei giochi.
❝ la prima volta che l'IA ha sconfitto professionisti in un gioco eSport competitivo ❞
Co-fondatore di OpenAI
Domande Frequenti
Cos'è OpenAI Five?
OpenAI Five era un progetto di OpenAI che ha sviluppato bot di machine learning per giocare al complesso videogioco Dota 2. Il suo obiettivo era creare sistemi di IA per la risoluzione generale dei problemi addestrandoli in un ambiente che imitasse l'imprevedibilità del mondo reale.
Come ha imparato a giocare a Dota 2 OpenAI Five?
I bot hanno imparato attraverso un processo chiamato apprendimento per rinforzo, in cui hanno giocato centinaia di partite contro se stessi al giorno. Hanno ricevuto ricompense per azioni di successo, come uccidere avversari o distruggere torri, e hanno perfezionato le loro strategie nel corso di mesi di auto-partita.
OpenAI Five aveva dei vantaggi rispetto ai giocatori umani?<
Sì, i bot avevano accesso diretto ai dati dello stato del gioco tramite API, a differenza degli umani che elaborano informazioni visive. Avevano anche un tempo di reazione significativamente più veloce (circa 80 ms) e potevano eseguire più azioni al minuto rispetto agli umani.
Quali sono state le principali critiche a OpenAI Five?
I critici hanno sostenuto che l'accesso diretto alle API dei bot costituisse "imbrogli". Hanno anche notato le difficoltà dei bot nella pianificazione strategica a lungo termine (oltre un orizzonte di 14 minuti) e la loro mancanza di adattabilità a strategie umane impreviste o a improvvisi cambiamenti dello stato del gioco.
Conclusione
Il progetto OpenAI Five è stato un esperimento monumentale nel campo dell'intelligenza artificiale, spingendo audacemente i confini di ciò che il machine learning poteva realizzare in ambienti complessi, in tempo reale e multi-agente. I suoi notevoli successi hanno vividamente evidenziato la pura potenza dell'apprendimento per rinforzo e della scala computazionale massiccia per sviluppare strategie altamente sofisticate attraverso un'auto-partita incessante. Anche i suoi riconosciuti limiti hanno offerto lezioni incredibilmente preziose, dimostrando chiaramente le aree in cui l'IA nei giochi e le applicazioni IA più ampie richiedono ancora ulteriori sviluppi in termini di adattabilità e profonda profondità strategica a lungo termine. L'eredità duratura del progetto si estende ben oltre i confini di Dota 2, informando attivamente lo sviluppo della robotica, dei sistemi logistici avanzati e delle interfacce collaborative uomo-IA, stabilendo così un precedente cruciale su come l'IA può affrontare le difficili imprevedibilità del mondo reale.
Fonte: YouTube
Fonte: YouTube