Datacenter met serverracks en vloeistofkoeling, illustratief voor nieuwe AI TPU-chips

    Google lanceert TPU 8t en TPU 8i, nieuwe AI chips voor het agentic tijdperk

    Google zet vandaag een nieuwe stap in de AI wapenwedloop. Tijdens Google Cloud Next presenteerde het bedrijf zijn achtste generatie Tensor Processing Units, de TPU 8t en TPU 8i, speciaal ontworpen voor het zogenaamde agentic tijdperk, waarin AI agents in zwermen samenwerken om taken autonoom uit te voeren. Een goede Engelstalige technische toelichting is te zien in deze video:

    Waar eerdere TPU generaties al de Gemini modellen aanstuurden, is deze generatie nadrukkelijk gebouwd rond twee verschillende typen workloads. TPU 8t richt zich op zware modeltraining op exascale niveau. TPU 8i is geoptimaliseerd voor razendsnelle inferentie, de fase waarin modellen in productie vragen beantwoorden en agents in realtime beslissingen nemen. Voor bedrijven die nu al kijken naar grootschalige AI implementaties is dit een directe indicatie welke richting de infrastructuurmarkt op beweegt.

    Wat Google precies lanceert, twee chips voor verschillende fases van AI

    De kern van de aankondiging is een splitsing in twee gespecialiseerde chips. TPU 8t wordt gepositioneerd als trainingsmotor voor frontier modellen, met een focus op maximale rekenkracht per pod en schaalbaarheid. TPU 8i is juist ontworpen als reasoning engine, met een architectuur die wachttijden in complexe agentworkflows minimaliseert.

    Volgens Google levert een enkele TPU 8t superpod tot 121 exaflops aan rekenkracht, met een cluster van 9.600 chips en ongeveer twee petabyte aan gedeeld high bandwidth memory. De interconnect bandbreedte is verdubbeld ten opzichte van de vorige generatie en opslagtoegang is tien keer sneller gemaakt via directe data ingest naar de TPU. Het doel is om de effectieve trainingstijd, de zogenaamde goodput, tot boven de 97 procent te duwen zodat vrijwel alle beschikbare compute ook daadwerkelijk aan training wordt besteed.

    TPU 8i pakt een ander knelpunt aan, de memory wall in grootschalige inferentie. De chip combineert 288 GB aan high bandwidth memory met 384 MB on chip SRAM, driemaal zoveel als de vorige generatie. Daarmee kan de actieve werkset van een model volledig op de chip blijven, inclusief KV cache voor grote reasoning modellen. Dit moet wachttijden bij agentic workloads sterk verminderen, juist wanneer tientallen of honderden agents parallel redeneren over dezelfde context.

    Technische architectuur, van Virgo netwerk tot Boardfly topologie

    Onder de motorkap zet Google verschillende nieuwe infrastructuurcomponenten in. Voor TPU 8t wordt het Virgo network fabric gebruikt, een megaschaal datacenter netwerk dat bedoeld is om vrijwel lineaire schaalbaarheid te bieden tot een miljoen chips in één logische cluster. In combinatie met softwarestacken als JAX en Pathways moeten ontwikkelaars modellen kunnen trainen die ver boven het biljoenen parameter bereik uitkomen.

    Aan de inferentiekant introduceert Google voor TPU 8i de Boardfly topologie. Deze architectuur halveert de maximale netwerkdiameter binnen een pod, waardoor de afstand in hops tussen chips afneemt en latentie in collectieve bewerkingen daalt. Tegelijkertijd verdubbelt de Inter Chip Interconnect bandbreedte tot 19,2 terabit per seconde, specifiek gericht op Mixture of Experts modellen die veel verkeer genereren tussen verschillende experts bij elke tokenstap.

    Een extra element is de Collectives Acceleration Engine op de chip, die globale operaties zoals all reduce en broadcast hardwarematig afhandelt. Google claimt daarmee tot vijf keer lagere latentie op deze collectives. Voor latencygevoelige toepassingen zoals interactieve agentic assistants is dat direct relevant, juist als meerdere agents tegelijk plannen, tools aanroepen en resultaten combineren.

    Efficiëntie, liquid cooling en de druk van energieschaarste

    De aankondiging is nadrukkelijk gepositioneerd tegen de achtergrond van energieschaarste in datacenters. Google stelt dat TPU 8t en TPU 8i samen tot een verdubbeling in performance per watt leveren ten opzichte van de vorige Ironwood generatie. Dat wordt bereikt door integratie van netwerkfunctionaliteit op dezelfde chip, dynamische vermogensregelaars en optimalisatie van het volledige pad van Axion host CPU tot accelerator en netwerk.

    De chips draaien in datacenters met vierde generatie vloeistofkoeling. Volgens Google leveren deze faciliteiten inmiddels zes keer meer rekenkracht per eenheid elektriciteit dan vijf jaar geleden. Voor Europese en Nederlandse organisaties die de fysieke grenzen van hun stroomcontracten beginnen te voelen, sluit dat aan bij eerder gesignaleerde trends in AI infrastructuur, zoals in de analyse van 800 volt AI datacenters in het artikel over Infineon en Nvidia op Itechnet.nl: Infineon en NVIDIA koppelen AI datacenters aan 800 volt, waarom dit de volgende infrastructuursprong is.

    Door nu al te investeren in efficiëntere architecturen probeert Google zich te positioneren als alternatief voor GPU gebaseerde infrastructuur, waar energie en koeling inmiddels minstens zo beperkend zijn als de beschikbaarheid van de chips zelf.

    Impact voor de AI markt, concurrentie met Nvidia en implicaties voor organisaties

    Strategisch gezien is deze lancering een direct antwoord op de dominantie van Nvidia in AI accelerators. Door een gespecialiseerde trainingschip en een aparte inferentiechip te introduceren, verbreedt Google het portfolio waarmee het hyperscalers, grote enterprises en modelbouwers wil bedienen. TPU 8t richt zich op frontier training, waar nieuwe modellen met biljoenen parameters worden ontwikkeld. TPU 8i moet juist kosten per request verlagen bij massale uitrol van AI agents en reasoning systemen in productie.

    Voor Nederlandse organisaties en beleggers sluit dit aan bij een bredere verschuiving richting zogenaamde AI supercomputers en sovereign AI initiatieven, zoals eerder geschetst in het artikel over Zuid Korea en Nvidia op Itechnet.nl: Nvidia en Zuid Korea versnellen naar gigawatt schaal, zo bouwt Seoul zijn soevereine AI infrastructuur op Nvidia hardware. Waar die case laat zien hoe een land zijn infrastructuur rond één GPU leverancier organiseert, laat Google nu zien hoe een alternatieve stack eruit kan zien, inclusief eigen Axion CPU hosts, eigen netwerkarchitectuur en een geïntegreerde liquid cooling benadering.

    Bedrijven die nu keuzes maken voor hun langetermijn AI infrastructuurstrategie krijgen hiermee een extra as in de vendorafweging: een open standaard GPU ecosysteem met Nvidia, AMD en partners, of een meer verticaal geïntegreerde aanpak via cloudplatforms die eigen accelerators leveren, zoals TPUs bij Google en alternatieve chips bij andere hyperscalers.

    Praktische relevantie voor Nederlandse bedrijven, van kosten per request tot risicobeheer

    Voor veel Nederlandse organisaties is de directe vraag niet of zij zelf TPU 8t pods gaan uitrollen, maar hoe deze generatie chips doorwerkt in de cloud diensten die zij afnemen. Google positioneert TPU 8t en 8i als onderdeel van de AI Hypercomputer stack, waarin compute, opslag, netwerk, frameworks en consumptiemodellen gecombineerd worden. Dit kan doorwerken in lagere kosten per token en per request, hogere throughput per dollar en mogelijk nieuwe SLA niveaus rond latency en beschikbaarheid.

    Tegelijkertijd verandert het risicobeeld. Naarmate meer kritische processen draaien op agentic systemen die gebruikmaken van dergelijke infrastructuur, wordt de afhankelijkheid van een beperkt aantal hyperscalers groter. Dit sluit aan bij eerdere waarschuwingen op Itechnet.nl over concentratierisico en vendor lock in in de AI markt, bijvoorbeeld in de analyse van de AI boom en economische risico’s: AI boom stuwt de wereldeconomie, maar wat als de motor hapert?.

    Voor CIO’s, CISO’s en beleggers zijn drie vragen nu concreet:

    1. Hoe veranderen de unit economics van AI workloads als TPU 8t en 8i breed beschikbaar komen in managed diensten, vergeleken met huidige GPU gebaseerde oplossingen.
    2. Hoe borg je portabiliteit van modellen en workloads tussen verschillende infrastructuuraanbieders, nu hardwarearchitecturen verder divergeren.
    3. Hoe weeg je het voordeel van een strak gecoördineerde stack, inclusief Axion CPU hosts en Virgo of Boardfly netwerken, af tegen de afhankelijkheid van één leverancier.

    Antwoorden op die vragen bepalen in hoge mate of deze achtste generatie TPUs vooral een strategisch voordeel voor Google oplevert, of ook bredere kosten en risicoreductie voor gebruikers die niet volledig in de Google Cloud ecosystemen willen of kunnen opsluiten.

    FAQ

    Vraag 1: Wat is het belangrijkste verschil tussen TPU 8t en TPU 8i?
    Antwoord: TPU 8t is geoptimaliseerd voor grootschalige modeltraining met maximaal compute throughput en schaalbare shared memory, terwijl TPU 8i is ontworpen voor latencykritische inferentie en agentic workloads, met veel meer on chip geheugen en een netwerkarchitectuur die wachttijden in collectieve operaties minimaliseert.

    Vraag 2: Hoeveel rekenkracht levert een TPU 8t superpod?
    Antwoord: Een enkele TPU 8t superpod omvat tot 9.600 chips, ongeveer twee petabyte high bandwidth memory en levert volgens Google circa 121 exaflops aan rekenkracht, met verdubbelde interconnect bandbreedte ten opzichte van de vorige generatie.

    Vraag 3: Welke rol speelt de Boardfly topologie bij TPU 8i?
    Antwoord: Boardfly is de netwerkarchitectuur binnen TPU 8i pods die de maximale netwerkdiameter met meer dan 50 procent reduceert en de interconnect bandbreedte verdubbelt, specifiek gericht op het efficiënt uitvoeren van Mixture of Experts modellen en agentic workloads met veel communicatie tussen chips.

    Vraag 4: Wanneer worden TPU 8t en TPU 8i algemeen beschikbaar?
    Antwoord: Google geeft aan dat beide chips later dit jaar algemeen beschikbaar worden als onderdeel van de AI Hypercomputer stack, waarvoor klanten nu al interesse kunnen registreren.

    Vraag 5: Wat betekent de hogere energie-efficiëntie concreet voor gebruikers?
    Antwoord: Door tot twee keer betere performance per watt te leveren dan de vorige generatie en zes keer hogere rekenkracht per eenheid elektriciteit op datacenterniveau, kunnen providers meer AI capaciteit aanbieden binnen dezelfde stroomlimieten. Voor gebruikers vertaalt dit zich naar potentieel lagere kosten per token en meer schaalbare AI diensten, al blijven commerciële condities afhankelijk van marktstrategie en concurrentie.

    Bronnen

    Geef een reactie

    Je e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

    Terug naar boven