GPT3 ha 175 miliardi di parametri di machine learning. È stato addestrato su NVIDIA V100, ma i ricercatori hanno calcolato che l’utilizzo di A100 avrebbe richiesto 1.024 GPU, 34 giorni e 4,6 milioni di dollari per addestrare il modello. Sebbene il consumo di energia non sia stato reso noto, si stima che GPT-3 abbia consumato 936 MWh.
Secondo ChatGPT, 936 MWh di energia sarebbero sufficienti per alimentare circa 30.632 famiglie americane per un giorno o, poiché l’UE consuma meno, 97.396 famiglie europee medie per un giorno.
Google AI ha appena annunciato il Pathways Language Model con 540 miliardi di parametri. Man mano che i modelli diventano sempre più grandi per gestire attività più complesse, la domanda di server per elaborare i modelli cresce in modo esponenziale.
Al contrario, i nostri cervelli sono incredibilmente efficienti e consumano meno di 40 watt di potenza. Ancora una volta, sulla base dei dati ChatGPT, la potenza computazionale del cervello è stimata in circa 100 petaFLOPS, che è molto più veloce di qualsiasi supercomputer attuale.
