LHC Computing Centres bundelen kracht voor Global Grid

LHC-computercentra bundelen krachten
voor wereldwijde Grid-uitdaging
Amsterdam, 25 april 2005 – Vandaag is een belangrijke mijlpaal
voor wetenschappelijke Grid-computing bereikt: acht belangrijke
computercentra zijn met succes de uitdaging aangegaan om een
ononderbroken gegevensstroom van gemiddeld 600 megabytes per
seconde gedurende tien dagen van CERN in Genève (Zwitserland),
naar zeven sites in Europa en de Verenigde Staten te leiden. De
totale hoeveelheid data – 500 terabytes – die gedurende deze
uitdaging is getransporteerd, zou wanneer er gebruik zou zijn
gemaakt van een eenvoudige 512 kpbs-breedbandverbinding 250
jaar voor nodig hebben gehad.
Deze exercitie maakt deel uit van een reeks uitdagingen – “service
challenges” – die ontworpen zijn om de wereldwijde infrastructuur
voor gegevensverwerking voor de Large Hadron Collider (LHC) te
testen. De LHC wordt op dit moment bij CERN gebouwd om de
fundamentele eigenschappen van subatomaire deeltjes en krachten
te bestuderen. De deelnemers aan deze uitdaging zijn: het
Brookhaven National Laboratory Fermilab in de Verenigde Staten,
het Forschungszentrum Karlsruhe in Duitsland, CCIN2P3 in
Frankrijk, INFN-CNAF in Italië, SARA/NIKHEF in Nederland en het
Rutherford Appleton Laboratory in Groot-Brittannië.
"Deze service challenge is een zeer belangrijke stap om de
gigantische datastromen te kunnen hanteren die de LHC zal
genereren", zegt Jamie Shiers, manager van de service challenges
bij CERN. "De LHC, die in 2007 operationeel wordt, zal het meest
data-intensieve fysica instrument ter wereld zijn en gedurende een
decennium elke seconde meer dan 1500 megabytes aan gegevens
produceren."
LHC computing beoogt een wereldwijde Grid-infrastructuur van
computercentra te gebruiken om voldoende reken-, opslag- en
netwerkfaciliteiten te verschaffen, zodat het wetenschappelijke
potentieel van de vier belangrijkste LHC-experimenten - ALICE,
ATLAS, CMS en LHCb – volledig tot zijn recht kan komen. De
infrastructuur is gebaseerd op diverse nationale en regionale
wetenschappelijke Grids. De service challenge maakte gebruik van
resourcecs van het LHC Computing Grid (LCG) project, Enabling
Grids for E-Science (EGEE), Grid3 / Open Science Grid (OSG),
INFNGrid en GridPP..
De LHC-wetenschappers hebben een reeks service challenges
ontworpen om stapsgewijs te kunnen komen tot het niveau van
rekencapaciteit, betrouwbaarheid en gebruiksgemak dat nodig zal
zijn om de wereldwijde gemeenschap van meer dan 6000
wetenschappers samen te laten werken aan de LHC-experimenten.
Tijdens het LHC-project, zullen de belangrijkste computercentra die
betrokken zijn bij de Grid-infrastructuur gezamenlijk de gegevens
opslaan van alle vier LHC-experimenten. Voorts zal er veel dataanalyse van deze experimenten gedaan worden door
wetenschappers die werkzaam zijn bij meer dan 200 andere
rekencentra, bij universiteiten en onderzoeklaboratoria verspreid
over de hele wereld. Zij hebben toegang tot de data via het Grid.
Vicky White, hoofd van de Fermilab Computing Division, is
enthousiast over de resultaten van de service challenge: “Hoge
energie fysici sturen al jaren via computernetwerken grote datasets
over de hele wereld. Maar tot nu toe ging het dan om relatief korte
uitbarstingen van zeer intensief dataverkeer tussen twee sites”,
zegt ze. “Maar het dagenlang volhouden van gelijktijdige
datatransfers naar verschillende sites op zulke hoge snelheden, is
een doorbraak. En het voorspelt dat de uiteindelijke doelstelling die
we beogen met LHC-computing haalbaar is.”
Kors Bos, fysicus bij het NIKHEF en voorzitter van het Grid
Deployment Board, is het daarmee eens, maar geeft ook aan dat
“de uitdaging niet alleen bestaat uit de inherent gedistribueerde
aard van de Grid infrastructuur”. Volgens Bos zit die “ook in de
noodzaak om grote aantallen instituten en individuen, die ook
allemaal al andere bestaande verplichtingen hebben, hieraan te
laten samenwerken op een ongelooflijk agressief ambitieus
tijdspad.”
Deze service challenge is de tweede in een reeks van vier die
uiteindelijk zal leiden tot het operationeel worden van de LHC in
2007. De verwachtingen voor deze challenge werden overtroffen
doordat de datastromen nu reeds continu op eenderde van het
uiteindelijk voor 2007 beoogde peil gehouden konden worden.
Regelmatig werden zelfs pieken bereikt van meer dan 800 MB per
seconde. Dit succes werd onder meer mogelijk gemaakt door de
snelle netwerken waarvan gebruik werd gemaakt: zoals DFN, GARR,
GEANT, Esnet, LHCnet, NetherLight, Renater en UKLight.
De volgende service challenge, die is gepland voor de komende
zomer, zal worden uitgebreid met veel andere deelnemende
rekencentra. Ook mikt men dan op een langere periode, van drie
maanden, continu en stabiel, functioneren. Die uitdaging zal veel
van de bij het LHC-project betrokken wetenschappers in staat
stellen om hun rekenmodellen voor behandeling en analyse van de
data te testen.
Zie ook het internationale bericht:
http://info.web.cern.ch/Press/PressReleases/List.html
Websites van internationale Grid-projecten die bij de
'Service Challenge' betrokken zijn:
LHC Computing Grid (LCG) project: http://www.cern.ch/lcg/
Enabling Grids for E-SciencE (EGEE): http://public.eu-egee.org/
Grid3: http://www.ivdgl.org/grid3/
GridPP: http://www.gridpp.ac.uk/
INFNGrid: http://grid.infn.it/
Open Science Grid (OSG): http://www.opensciencegrid.org/
Voor meer informatie kunt u contact opnemen met:
Francois Grey
CERN
Tel.: +41 22 767 1483
Email: [email protected]
Mona Rowe
BNL
Phone: +1 631 344 5056
Email: [email protected]
Katie Yurkewicz
U.S. Grid Communications, Fermilab
Tel.: +1 630 840 2877
Email: [email protected]
Holger Marten
GridKa Project, Forschungszentrum Karlsruhe
Tel.: +49 7247 82 5651
Email: [email protected]
Gaëlle Shifrin
CCIN2P3 communications officer
Tel.: +33 4 78 93 08 80
Email: [email protected]
http://cc.in2p3.fr
Barbara Gallavotti
INFN
Tel.: +06 68 68 162
Email: [email protected]
Jules Wolfrat
SARA
Phone +31 20 592 3000
Email: [email protected]
Kors Bos
National Institute for Nuclear Physics and High Energy Physics,
NIKHEF
Tel.:+31205925003
Email:[email protected]
Natalie Bealing MCIPR
RAL Public Relations Officer
CCLRC Rutherford Appleton Laboratory
Tel.: +44 (0)1235 445484
Email: [email protected]
Het plaatje toont de netwerkverbindingen tussen CERN en de
internationale rekencentra die geparticipeerd hebben in de recente
service challenge. De getallen geven de ruwe bandbreedte aan die
beschikbaar is gesteld door de onderliggende snelle netwerken.
De Nederlandse bijdrage uitgelicht
In Nederland hebben SARA en NIKHEF de krachten gebundeld om
samen een belangrijk centrum voor opslag en verwerking van de
gegevens van de data-intensieve LHC-experimenten te worden. Dit
centrum is in de eerste plaats bedoeld voor de fysici die aan
dergelijke experimenten deelnemen, zowel in Nederland als in de
direct omliggende landen. Ook kan de samenwerking worden gezien
als een bijdrage aan de internationale collaboraties waarin fysici en
technici zich hebben verenigd voor het uitvoeren van deze
experimenten.
Het centrum zal Petabytes aan gegevens opslaan en verwerken en
tevens in staat zijn om Terabytes aan datasets te ontvangen en
beschikbaar te stellen over het Grid. Om de vereiste capaciteit en
prestaties te realiseren, moeten innovatieve technologieën op het
gebied van networking en storage in een productieomgeving
worden geïntegreerd. Hiertoe is intensief samengewerkt door SARA,
NIKHEF en de Universiteit van Amsterdam.
Bij de tests is gebruik gemaakt van netwerk- en
computerapparatuur van de Internet Onderzoeksgroep van de
Universiteit van Amsterdam. Medewerkers van deze groep hebben
met hun expertise op het gebied van snelle gegevenstransporten
over internationale netwerken direct meegewerkt aan het succes
van deze "Challenge".
SURFnet (voetnoot) heeft voor dit onderzoek twee optische
verbindingen tussen SARA en CERN ter beschikking gesteld die elk
10 Gigabit aan data per seconde kunnen verwerken. Deze
internetverbindingen waren exclusief voor deze tests bestemd.
Aangezien SARA/NIKHEF niet de volle capaciteit nodig hadden om
het gestelde doel te bereiken, kon een deel van de bandbreedte ter
beschikking worden gesteld aan andere instituten die anders niet
met deze tests hadden kunnen meedoen.
Onderzoek op het gebied van grids en tests voor het inrichten van
grote gearchiveerde gegevens bestanden gekoppeld aan hele snelle
netwerken wordt gesteund vanuit de Stichting Nationale
Computerfaciliteiten (NCF) Behalve voor de LHC is dit onderzoek
van belang voor andere grootschalige onderzoeksgebieden zoals
bioinformatica, astrofysica en aardwetenschappen.
Het programma voor deze tests heeft veel overeenkomsten met
aspecten van het onderzoeksprogramma van het VL-e project,
Virtueel Laboratorium voor e-Science Medewerkers van dit project
hebben ook aan deze tests meegewerkt.
Noot voor de redactie:
CERN, de Europese organisatie voor nucleair onderzoek, heeft haar
hoofdkwartier in Genève. Op dit moment zijn de volgende staten lid
van deze organisatie: België, Bulgarije, Denemarken, Duitsland,
Finland, Frankrijk, Griekenland, Groot-Brittannië, Hongarije, Italië,
Nederland, Noorwegen, Oostenrijk, Polen, Portugal, Slowakije,
Spanje, Tsjechië, Zweden en Zwitserland. India, Israël, Japan,
Rusland, de Verenigde Staten, Turkije, de Europese Commissie en
UNESCO hebben de status van waarnemer.
Brookhaven National Laboratory, doet onderzoek op het terrein van
de fysische, biomedische en milieuwetenschappen,
energietechnologieën en nationale veiligheid van de Verenigde
Staten. Tevens bouwt en onderhoudt het belangrijke
wetenschappelijke faciliteiten en stelt deze beschikbaar aan
academische en industriële onderzoekers en onderzoekers van
diverse Amerikaanse overheidsorganisaties. BNL ressorteert onder
het U.S. Department of Energy’s Office of Science. Het management
is opgedragen aan de Brookhaven Science Associates, een besloten
vennootschap gesticht door Stony Brook University – de grootste
academische gebruiker in de VS van laboratorium faciliteiten – en
Batelle – een non-profit organisatie voor toegepaste wetenschap en
technologie.
CCIN2P3, het rekencentrum van het Franse nationale instituut voor
kernfysica en deeltjesfysica in Lyon. De belangrijkste taak van dit
instituut is het beschikbaar stellen en onderhouden van rekenkracht
en opslagcapaciteit voor experimentele data, ten behoeve van de
fysici van het instituut die deelnemen aan de grote experimenten in
het vakgebied en betrokken zijn bij projecten waarin internationaal
wordt samengewerkt. CCIN2P3 is een van leiders de Franse
inspanning op het terrein van Grid-computing en is sterk betrokken
bij de belangrijkste Europese wetenschappelijke Grid-projecten.
Fermi National Accelerator Laboratorium, bevindt zich in Batavia, in
de staat Illinois in de VS. Fermilab wordt gerund door de
Universities Research Association, een consortium van 90
onderzoeksinstellingen dat ressorteert onder het US Department of
Energy’s Office of Science en fundamenteel onderzoek financiert op
het terrein van de deeltjesfysica en de ruimtewetenschap.
Forschungszentrum Karlsruhe, is een lid van de Helmholtz
Gemeinschaft Deutscher Forschungszentren (HGF) en bouwt en runt
het GridKa-rekencentrum voor de gemeenschap van Duitse deeltjes
fysici. Het FZK is aangewezen als de Duitse Tier1 voor de LHC.
INFN-CNAF is het Italiaanse nationale centrum voor research en
development op het terrein van technologie,
computerwetenschappen en datatransmissie van het INFN (Instituto
Nazionale di Fisica Nucleare). INFN, het Italiaanse nationale
instituut voor kernfysica, ondersteunt, coördineert en doet
wetenschappelijk onderzoek op de terreinen kernfysica,
deeltjesfysica en astrofysica. Tevens is het centrum betrokken bij
ontwikkeling relevante technologieën ten behoeve van dergelijk
onderzoek.
SARA is het nationale centrum voor high performance computing
and networking in Nederland en NIKHEF is het nationale instituut
voor kernfysica en hoge-energie fysica. De twee instituten hebben
de krachten gebundeld om samen een belangrijk LHC-centrum voor
dataopslag en verwerking te worden. De Advanced Internet
Research Group van de Universiteit van Amsterdam heeft met
menskracht en apparatuur een belangrijke bijdrage geleverd aan
deze service challenge.
De Britse “Counsil for the Central Laboratory of the Research
Councils” (CCLRC) werkt samen met andere Britse onderzoeksraden
om vast te stellen welke prioriteiten er bestaan voor de wetenschap
in Groot-Brittannië. Tevens ressorteren drie gerenommeerde
onderzoekscentra direct onder de CCLRC: het Rutherford Appleton
Laboratory (RAL) in Oxfordshire, het Daresbury Laboratory in
Cheshire, en het Chilbolton Obervatory in Hampshire. Deze centra
ondersteunen de onderzoeksgemeenschap door middel van het
beschikbaar stellen van geavanceerde faciliteiten en
wetenschappelijke en technische expertise. RAL is een van de
samenwerkende organisaties in het GridPOP-project, de Britse
bijdrage aan het LHC Computing Grid-project.
Het Large Hadron Colider Computing Grid (LCG) project runt een
grid dat meer dan 120 sites in 31 landen omvat. De participerende
sites zijn voornamelijk universiteiten en researchlaboratoria. Samen
verzorgen ze meer dan 10.000 computerprocessors (CPU’s) en een
opslagcapaciteit van bijna 10 miljoen Gigabyte op disk en tape. De
primaire doelstelling van het LCG-project is het bouwen en
onderhouden van een infrastructuur voor gegevensopslag en analyse ten behoeve van de hele wetenschappelijke gemeenschap
die gebruik maakt van de LHC.
Het “Enabling Grids for E-sciencE” (EGEE) project is gefinancierd
door de Europese Commissie en beoogt recente Grid-technologische
inzichten en ontwikkelingen direct te benutten bij het opzetten van
een Grid-infrastructuur die wetenschappers 24 uur per dag ter
beschikking staat. Het project wil academische en industriële
onderzoekers toegang verschaffen tot gebundelde, grootschalige
computerfaciliteiten, ongeacht de plaats waar ze zich bevinden.
EGEE richt zich op een breed scala van wetenschappelijke
disciplines en hun applicaties. Op dit moment maken vijf
verschillende wetenschappelijke applicaties gebruik van de EGEE
Grid-infrastructuur.
Het Grid3-samenwerkingsproject heeft een internationaal datagrid
opgezet met enkele tientallen sites die samen beschikken over
duizenden processoren. De Grid3-faciliteiten vormen een Gridlaboratorium en worden gezamenlijk gerund door een drietal
Amerikaanse Grid-projecten – iVDGl, GriPhyN en PPDG – en de
Amerikaanse deelnemers in de LHC-experimenten ATLAS en CMS.
Het Open Science Grid (OSG) consortium is in 2004 gevormd door
teams van universiteiten en diverse nationale laboratoria in de
Verenigde Staten om een Grid-infrastructuur te bouwen op
Petabyte-schaal van een dermate hoog kwaliteitsniveau dat deze als
routinematige productieomgeving voor grootschalige
wetenschappelijke projecten kan worden ingezet. Het OSGconsortium wil reeds bestaande Grids verder uitbouwen en
verbeteren tot een gemeenschappelijke infrastructuur ten behoeve
van wetenschappelijke applicaties.
NorduGrid is een Grid research en development
samenwerkingsverband dat zich richt op ontwikkeling, onderhoud
en ondersteuning van de gratis middleware – grid software – die
bekend is onder de naam “Advanced Resource Connector”.
Historisch gezien bestaat het kernteam van het
samenwerkingsverband uit diverse Noord-Europese universiteiten
en onderzoeksinstituten, maar het lidmaatschap staat in principe
open voor andere instituten, waar ter wereld dan ook.