Project HiLumi LHC (5): Computers en netwerken die de CERN-versneller bijbenen

Het zijn duizelingwekkende getallen die een idee moeten geven van de computerkracht rond de versnellers op CERN. De ATLAS-detector, bijvoorbeeld, genereert in vol bedrijf ongeveer 60 Terabyte aan enen en nullen per seconde. Dat zijn zo’n duizend 4k blue-ray DVD’s vol die per seconde moeten worden afgehandeld, weggevoerd en opgeslagen.

Ook imposant: tussen CERN en Nikhef ligt een 400 Gigabit/s glasvezelverbinding. Die lijn is duizend keer breder dan een internetaansluiting thuis maar hij is niettemin geregeld overbezet met wetenschappelijke data van en naar CERN.

Let wel, zegt David Groep, hoofd Physics Data Processing op Nikhef, dat zijn nog maar de getallen voor de onlangs uitgeschakelde LHC. “Voor de komende high luminosity LHC is een enorme schaalvergroting aan de ICT-kant nodig, anders kunnen de computing en netwerken de versneller nooit bijbenen.”

Overal in de experimentele deeltjesfysica spelen computers een grote rol. Rekenmachines selecteren vlakbij de botsingen in de versneller de signalen in de detectoren die met elkaar samenhangen, ze transporteren die patronen naar databanken waar onderzoekers met computers uit de signalen deeltjessporen reconstrueren, waarmee fysische theorieën worden getest en nieuwe verschijnselen gezocht.

Probleem aan de komst van HiLumi LHC is de massaliteit van de signalen in de detectoren. Elke keer dat bundels kruisen zijn er zo’n 200 protonbotsingen die allemaal signalen in de detector geven. Om daarin samenhang te vinden worden snellere sensoren gebruikt, die de timing van de gebeurtenissen preciezer maken. Nikhef werkte eerder in het FASTER-programma al aan zulke sensorchips.

Om snel interessante patronen van toevallige achtergrond te scheiden, worden sinds enkele jaren grafische GPU-processoren ingezet, chips uit de gameindustrie die gemaakt zijn om talloze taken tegelijk uit te voeren. In de ALICE en LHCb detectoren worden die al toegepast in de zogeheten triggers, systemen die live relevante signaalpatronen opsporen en vastleggen. Nikhef was in LHCb een van de pioniers op GPU-gebied.

Met de komst van de enorme luminositeit in de CERN-versneller wordt grafisch rekenen de standaard, zeker in de triggers waarin nu nog klassieke CPU’s stap voor stap zwoegen. De Physics Data Processing-groep van Nikhef onderzoekt inmiddels intensief de beste inzet van hardware en software, onder meer met steun uit het FASTTRACK-roadmapprogramma.

Maar alles is een afweging, zegt Groep. “Je kunt de overlappende beelden van die 200 botsingen per keer te lijf gaan met heel veel rekenkracht aan het eind van de pijplijn, of met betere timing en slimmere signaalselectie voorin zorgen dat ze minder overlappen, en minder overlap zorgt dat er minder computing nodig is. Beide is een optie, beide is nodig, maar wij zoeken naar een optimale instelling van alle knoppen.”

De slimme selectie wordt daarbij meer en meer een zaak van kunstmatige intelligentie, maar hoe dat goed en betaalbaar moet is nog volop in onderzoek, ook op Nikhef. En ook aan het andere uiteinde van de pijplijn, bij het reconstrueren van deeltjessporen, is opnieuw kunstmatige intelligentie de manier om resultaten zowel sneller als ook beter te maken. En voor na de HiLumi? Dan kan mogelijk zelfs quantum computing een rol spelen, iets wat Nikhef nu ook alvast bekijkt.

Maar ook daar is de vraag wat het beste en het meest betaalbaar zal zijn; door de enorme chipvraag door AI zijn computers fors duurder in plaats van goedkoper zoals lang werd gedacht. En ook is de vraag of alle benodigde rekenkracht wel op tijd voorhanden zal zijn voor het HiLumi-tijdperk dat in 2030 begint en tien jaar zal duren, voegt Groep nog toe.

Binnenkort wordt op Nikhef een experimentele GPU-cluster opgebouwd om technieken en strategieën te ontwikkelen en testen, op zoek naar de optimale inzet voor de experimenten op CERN en elders.

En kort daarna al staat de eerste grote cluster voor analyse met AI gepland. Om het energieverbruik daar binnen de perken te houden zal voor het eerst worden gewerkt met vloeistofkoeling voor de apparatuur, iets waar Nikhef al enige tijd onderzoek naar doet. Dat is een kwart zuiniger dan de huidige luchtkoeling.

Het datacenter van Nikhef in Amsterdam is van oudsher een zogeheten Tier-1 centrum van het computing netwerk rond CERN in Genève, waar een kopie van heel veel onderzoeksdata uit de experimenten wordt onderhouden.

Dat is niet alleen veilig voor CERN, maar ook efficiënter voor Nederlandse deeltjesonderzoekers. In het kader van het onlangs gehonoreerde MERGE-programma gaan Nikhef en SURF die infrastructuur nog verder op de groeiende rekenbehoeften van de deeltjesfysici toerusten, met onder meer AI en supercomputing op de nationale Snellius computer.

Die groeiende oceaan aan experimentele data, zegt Groep, gaat binnenkort ook een rol spelen in het trainen van kunstmatige intelligentie voor deeltjesonderzoek. Nikhef heeft sinds begin dit jaar een speciale taskforce in oprichting die het gebruik van AI in het deeltjesonderzoek gaat stimuleren en faciliteren.

Geeft de komst van HiLumi een enorme tijdsdruk voor de computing rond de experimenten op CERN, over het datatransport maakt Groep zich minder zorgen. De huidige 400 Gigabit/s verbindingen met CERN worden al tot 800 Gigabit/s uitgebreid met betere glasvezel en slimmere protocollen. Maar inmiddels zijn er al tests gepland voor bandbreedtes tot 1,2 Terabit/s. “Veel meer dan wat we maximaal uit de HiLumi LHC verwachten. Een prettig idee.”

Dit is het vijfde en laatste deel van een zomerserie over werkzaamheden aan de HiLumi LHC versneller.