De gemiddelde AI-vraag bij Google verbruikt 0,24 wattuur. Dat blijkt uit een technisch rapport dat Google zelf vrijgaf over zijn zoekrobot Gemini, en waarover het Massachusetts Institute of Technology (MIT) bericht. De verbruikte stroom is ongeveer wat een gemiddelde microgolfoven nodig heeft om 1 seconde te draaien. Als er foto's en video's bij te pas komen, schiet het verbruik de hoogte in.
AI-vraag aan Gemini van Google verbruikt evenveel energie als microgolf die 1 seconde draait: "Lijkt weinig, maar tikt aan"
Michaël Torfs
Gepubliceerd:
In het kort:
Google maakt bekend dat een gemiddelde AI-vraag via zijn zoekrobot Gemini 0,24 wattuur verbruikt, vergelijkbaar met een microgolfoven die één seconde draait.
Het energieverbruik stijgt sterk bij prompts met foto's of video's. En de berekening omvat niet alleen de chips maar ook servers, back-up en koeling.
"0,24 wattuur lijkt weinig, maar het telt snel op omdat prompts constant worden ingegeven", zegt Pieter Jelle De Brue van het digitale bedrijf Statik.
Het is een van de eerste keren dat een internetgigant data vrijgeeft over hoeveel energie het ingeven van een prompt gebruikt - een tekstuele instructie of vraag aan een model van artificiële intelligentie (AI). MIT bericht erover in zijn magazine MIT Technology Review en omschrijft het zelf als "de meest transparante schatting tot nu toe van een van de grote AI-bedrijven".
Tot nu toe was het voor experts vooral gissen naar het energieverbruik van AI-vragen. Het is een onderwerp dat steeds meer aandacht krijgt, omdat AI enorm in de lift zit en veel energie verbruikt terwijl de wereld kampt met een klimaatprobleem. Veel energie komt (voorlopig) nog altijd van fossiele bronnen. Het was wachten op output van een bedrijf zelf, want onderzoekers kunnen zelf niet aan de data raken.
Het lijkt weinig, maar het is relatief en haalt de dingen uit de context
Pieter Jelle De Brue van Statik
"0,24 wattuur lijkt weinig. Je kan het inderdaad vergelijken met een seconde microgolfoven, of een elektrische auto die een paar meter rijdt, of enkele minuten Netflix kijken. Maar dat haalt de dingen soms wat uit de context. Het is heel relatief, en het is maar hoe je het bekijkt: prompts worden constant ingegeven door alle mensen tegelijk, een hele dag door. En dan begint dat op te tellen", vertelt Pieter Jelle De Brue van het Leuvense digitale bedrijf Statik.
Hij denkt dat het geen toeval is dat Google hiermee naar buiten komt. "Vroeger was het (energieverbruik, red.) een zwarte doos. Maar nu durven ze het zwart-op-wit zeggen, omdat het lijkt mee te vallen. Daarmee geven ze de boodschap aan de consument: 'doe maar, want het valt wel mee'."
De studie ging breed, en keek niet enkel naar de energie verbruikt door de chips. Alle infrastructuur die nodig is om de hardware te ondersteunen, is meegenomen in de berekening. De chips blijken slechts 58 procent van de energie te vragen.
25 procent gaat naar servers, 10 procent naar back-up en 7 procent naar overheadkosten voor het runnen van een datacenter, zoals de koeling.
Moeilijke vragen of foto en video verbruiken meer
De 0,24 wattuur is een gemiddelde score. Een moeilijke vraag zal meer energie verbruiken, bijvoorbeeld een prompt waarbij gevraagd wordt een analyse te maken van de inhoud van boeken. Of eentje waarbij de machine wordt gevraagd om echt na te denken en verbanden te leggen.
Bovendien gaan de data over tekstuele antwoorden. Als je vraagt om een beeld of video te genereren, kan dat veel meer energie vragen, zo bleek eerder dit jaar uit een berekening van MIT.
"Vergeet de training van de modellen niet"
Het goede nieuws is dan weer dat prompts steeds minder energie vragen. Volgens Google zou het in mei dit jaar zelfs om 33 keer minder gaan dan in mei vorig jaar, voor een gemiddelde prompt.
Dat heeft volgens De Brue te maken met een geoptimaliseerde hardware. Hij plaatst er wel een kanttekening bij: "Vergeet niet dat het vooral het trainen van de AI-modellen is dat veel energie vraagt. Eenmaal het model effectief gebruikt wordt, is de training gebeurd, en wordt het verbruik veel efficiënter."
"0,03 gram CO2 per prompt"
Google heeft overigens ook de impact op het klimaat berekend: volgens hen is de gemiddelde prompt goed voor 0,03 gram CO2. Let wel: Google heeft die berekening niet gemaakt aan de hand van gemiddelde data van het Amerikaanse netwerk, maar op basis van groene energie die het zelf koopt via groene projecten.
Google heeft volgens MIT deals getekend voor in totaal 22 gigawatt aan energie uit zon, wind, geothermie en nucleaire projecten. Ook de communicatie van de CO2-afdruk past dus in een goed uitgekiend strategisch plaatje.
