Grid - Nikhef

Grid: van wetenschap naar e-Science
Jan Just Keijser, Nikhef
[email protected]
• David
Groep,
NIKHEF
Unix
Professionals
Lezing
4 Oktober 2010
Graphics: Real Time Monitor,
Gidon Moont, Imperial College London, see http://gridportal.hep.ph.ic.ac.uk/rtm/
Voordat ik begin...
• Werkzaam in de ICT sinds 1989 (Pink Elephant!)
• Vanaf 2005 in dienst bij Nikhef:
Nationaal Instituut voor Kern- en Hoge
Energie Fysica
• Eerst als 'System Integrator' voor het VL-e project:
Virtual Laboratory for e-Science
• Tegenwoordig 'Grid Systems Architect' voor het BiG
Grid project
• BIG = 'Budget voor Investeringen in Grootschalige
onderzoeksfaciliteiten'
• Gebruiker en voorstander van Open Source
software sinds 1994
Slide courtesy: GridCafe.org and Bob Jones, EGEE (www.eu-egee.org)
“If the customer calls it a grid,
it is a grid”
• De naam “Grid” is gekozen vanwege
de analogie met het electriciteitsnetwerk (“power grid”)
(Foster & Kesselman 1997)
• Visie: “rekenkracht uit de muur”,
net zoals je de stekker van een
broodrooster in het stopcontact stopt
• Dit idee is al vrij oud:
‘distributed computing’,
‘metacomputing’
• Gebaseerd op : ‘Web 2.0’, ‘Virtualisation’,
‘Cloud Computing’
Waarom hebben een Grid nodig?
Wetenschappers hebben behoefte aan meer en meer
rekenkracht en data-opslag. De hoeveelheid
meetgegevens per experiment neemt exponentieel toe
Referentie: de Bijbel
5 MByte
X-ray image
5 MByte/image
Functional MRI
1 GByte/day
Bio-informatics databases
500 GByte elk
Refereed journal papers
1 TByte/jr
Satellite world imagery
5 TByte/jr
US Library of Congress
Internet Archive 1996-2002
Particle Physics 2005
Particle Physics Today: LHC
20 TByte
100 TByte
1 PByte/jr
20 PByte/jr
1 Petabyte = 1 000 000 000 Megabyte
Van wetenschap naar e-Science
• Het gebruik van computers en IT binnen
experimenten neemt nog steeds toe
• Sommige experimenten zouden zonder
computers niet eens mogelijk zijn
• Doordat IT een integraal onderdeel van het
experiment wordt verandert het experiment zelf
ook
Wetenschap wordt e-Science
CERN, Where the web was born …
• Bij vorige HEP experimenten waren honderden
wetenschappers en duizenden technici
betrokken, lokaal en op afstand
• Gebruikers op het CERN, opgericht in 1954 als de
eerste internationale organisatie in Europa,
wilden wereldwijd gegevens met elkaar delen
• Deze behoefte bracht
Berners-Lee op het idee om
‘World Wide Web’ te creëren
1989/1990 (nu 20 jr geleden!)
Tim
het
in
LHC Computing
Large Hadron Collider
• ‘the worlds largest
microscope’
quarks
• Zoektocht naar de
fundamentele bouwstenen
van de natuurkunde
• 27 km omtrek
• CERN, Genève
10-15 m
atom
nucleus
~ 20 PByte data per jaar, ~ 60 000 moderne PCs
!
De ATLAS detector
Ballon
(30 Km)
• Signal/Background 10-9
Stapel CDs met
1 jaar LHC data!
(~ 20 Km)
• Data volume
(hoge frequentie) X
(groot aantal kanalen) X
(4 experimenten)
 20 PetaBytes nieuwe data per
jaar
●
Concorde
(15 Km)
• Rekenkracht
(event complexiteit) X
(aantal events) X
(duizenden gebruikers)
 60.000 processoren
●
Mt. Blanc
(4.8 Km)
Voorbij het Web: Grids en e-Science
Work regardless of geographical
location, interact with colleagues,
share and access data
The GRID: networked data
processing centres and
”middleware” software as the
“glue” of resources
(computers, disks, mass storage).
Scientific instruments, libraries
and experiments provide huge
amounts of data
based on: [email protected]
Hoe werkt het Grid?
• Gebaseerd op geavanceerde
Grid Middleware
• Deze middleware zoekt
automatisch de gegevens op
die de wetenschapper nodig
heeft, en de rekenkracht om
deze gegevens te analyseren.
• De middleware verdeelt ook de
taken over de verschillende
resources en regelt de
beveiliging, accounting,
monitoring en nog veel meer.
Slide courtesy: GridCafe.org and Bob Jones, EGEE (www.eu-egee.org)
Grids in e-Science
Grid betekent ‘meer dan één'
Meer dan één lokatie
Meer dan één computer
Meer dan één
wetenschapsgebied
Meer dan …
Meer dan één organisatie
National Grid Initiatives & European Grid Initiative
• Op nationaal niveau worden een grid infrastructuur aangeboden voor nationale
en internationale gebruikers door de NGI's
• Het 'European Grid Initiative' coördineert de inspanningen van de verschillende
NGI's en bewaakt de interoperabiliteit
• Circa 40 Europese NGI's aangesloten, met links naar Zuid Amerika en Taiwan
• Hoofdkantoor van EGI staat op het Science Park in Amsterdam
Cross-domain en globale e-Science grids
De gemeenschappen die tezamen het grid vormen:
• Worden niet centraal/hierarchisch beheerd,
• Werken (tijdelijk) samen om een specifiek probleem op te lossen,
• Nemen voor deze samenwerking (een deel van) hun resources mee,
• En delen deze resources naar eigen inzicht en op hun eigen voorwaarden.
Grid Infrastructuur
Om deze doelen te realiseren is een persistente
infrastructuur nodig, gebaseerd op standaarden
Hardware
clusters, supercomputers, databases,
mass storage, visualisatie, netwerken
Beveiliging en AAA
authentication, authorization,
accounting, billing en beveiliging
Software
execution services, workflow, resource
information systems, database access,
storage management, meta-data
Applications
user support, ICT experts met
domein kennis
Nikhef (NDPF)
2500
2000
160
processor cores
TByte disk
Gbps netwerk
SARA (GINA+LISA)
4800
1800
2000
160
processor cores
PByte disk
PByte tape
Gbps netwerk
RUG-CIT (Grid)
Philips Research Ehv
1600
100
1
processor cores
TByte disk
Gbps netwerk
120
8800
10
processor cores
GByte disk
Gbps netwerk
Authenticatie: Grid certificates
•
•
•
•
•
•
•
Grid infrastructuur maakt geen gebruik van usernames en passwords
Voor authenticatie wordt gebruik gemaakt van een Public Key Infrastructure (PKI)
met X.509 certificates: grid certificates
In Nederland worden grid certificaten uitgegeven en beheerd door DutchGrid:
Enkele onderzoeksinstituten zijn aangesloten bij TERENA:
Trans-European Research and Education Networking
Association
TERENA is een 'web of trust' waarbij aangesloten instituten
elkaars logins vertrouwen
Via de 'TERENA Online Certificate Store' wordt dan een
(geautomatiseerd) vertaalslag gemaakt van de gebruikersnaam
en wachtwoord van de medewerker van een instituur naar een
grid certificate.
Dit vergemakkelijkt het beheer van grid certificates aanzienlijk
Authenticatie: Grid proxies
•
•
•
•
Soms is het nodig om login gegevens (credentials) door te geven aan een dienst
Gebruikers delegeren hun credentials met behulp van een grid proxy
Een grid proxy(RFC3820, RFC5820) is een “verwaterde” versie van een grid
certificaat met een zeer beperkte geldigheid (12 uur tot maximaal 1 week)
Een grid proxy wijkt een tikkeltje af van een normaal X.509 certificaat:
– Normaliter zijn alleen certificaten getekend door Certificate Authorities (CA's)
geldig. Bij een grid proxy tekent de gebruiker zelf een nieuw, tijdelijk
certificaat. De grid middleware moet hiermee overweg kunnen
– De naam van een grid proxy moet afgeleid zijn van de naam van het grid
certifcaat van de gebruiker, bijv
subject : /O=dutchgrid/O=users/O=nikhef/CN=Jan Just Keijser/CN=proxy
issuer : /O=dutchgrid/O=users/O=nikhef/CN=Jan Just Keijser
identity : /O=dutchgrid/O=users/O=nikhef/CN=Jan Just Keijser
type : full legacy globus proxy
strength : 1024 bits
path : /tmp/x509up_u7651
timeleft : 11:59:40
Authenticatie: Robot certificaten
•
•
•
•
•
Voor bepaalde diensten kunnen ook robot certificates gebruikt worden.
Gebruikers krijgen dan een gebruikersnaam en wachtwoord voor een Grid Portal
Deze portal maakt gebruik van een hardware security device voor de
authenticatie richting het grid
Hierbij worden alle gebruikers van de portal vertaald naar een enkel grid
certificate. Daarom mag slechts een beperkt aantal diensten (programma's)
aangeboden worden via een portal
Dutchgrid/Nikhef was één van de eerste organisaties die robot certificaten
ondersteunen:
– Op basis van Aladdin eToken
– Beschikbaar voor Linux, Windows en Mac OS
– Zowel voor robot certificaten als voor gebruikers
Authorisatie: Virtual Organisations
•
•
•
•
•
Om gebruik te maken van een grid infrastructuur dient een wetenschapper
(gebruiker) lid te zijn van een Virtual Organisation (VO)
VO's kunnen op nationale en internationale schaal bestaan
Internationale VO's:
– /atlas
– /lhcb
– /enmr.eu
– /ops
Nationale VO's:
– /lsgrid
– /ncf
– /vlemed
Binnen een VO bestaan meerdere rollen en groepen
– /Role=VO-admin : voor VO administratie
– /Role=SGM
: om software installaties uit te kunnen voeren
– /lsgrid/Nijmegen
– /lsgrid/Wageningen
Hoe draai ik een programma op het grid
Hoe draai ik een programma op het grid
Workload
Management
System
Compute
Element
Grid cluster
NL
1
BE
Grid
Information
System
UK
Gebruiker delegeert credentials
& submit job
Hoe draai ik een programma op het grid
Workload
Management
System
Compute
Element
Grid cluster
NL
2
3
BE
Grid
Information
System
UK
WMS haalt info uit information system
& “bemiddelt” voor de job
Hoe draai ik een programma op het grid
Compute
Element
Workload
Management
System
Grid cluster
NL
4
BE
5
Grid
Information
System
UK
WMS stuurt job naar een site
CE stuurt job naar een lokaal cluster
Hoe draai ik een programma op het grid
Compute
Element
Workload
Management
System
Grid cluster
NL
8
7
BE
6
Grid
Information
System
UK
Job status gaat terug naar CE, WMS
Gebruiker vraagt job status op en haalt output op
Image sources: VL-e Consortium Partners
Virtual Laboratory for e-Science
Data integration voor
genomics, proteomics, etc.
analysis
Timo Breit et al.
Swammerdam
Institute of
Life Sciences
Medical Imaging en fMRI
Avian Alert en FlySafe
Willem Bouten et al.
UvA Institute for Biodiversity
Ecosystem Dynamics, IBED
Silvia Olabarriaga et al.
AMC and UvA IvI
Bram Koster et al.
LUMC
Microscopic Imaging group
Molecular Cell Biology en 3D Electron Microscopy
Image sources: BiG Grid Consortium Partners
BiG Grid
SCIAMACHY
Wim Som de Cerff et al.
KNMI
MPI Nijmegen:
Psycholinguistics
LOFAR:
LOw Frequency
ARray radio
telescoop
Uitdagingen: schaalvergroting
Grid betekent vooral schaalvergroting:
• Gedistribueerd rekenen op vele, verschillende computers,
• Gedistribueerde opslag van gegevens,
• Grote hoeveelheden data (Giga-, Tera-, Petabytes)
• Grote aantallen bestanden (miljoenen).
Dit levert “leuke” problemen op:
• “even” inloggen op afstand is er op het grid niet altijd bij,
• Het debuggen van een programma is een uitdaging,
• Gewone filesystems verslikken zich in miljoenen bestanden,
• Gegevens opslaan is één ding, gegevens zoeken en
terugvinden blijkt echter nog lastiger.
Uitdagingen: beveiliging
Waarom is beveiliging zo belangrijk in een
wetenschappelijk grid?
• Als beheerder van een grid site laat je toe dat relatief
onbekenden programma's op jouw computers draaien,
• Al deze computers zijn verbonden aan het internet met
supersnelle netwerken,
Hierdoor is het grid een potentieel erg gevaarlijke dienst op
internet
http://www.biggrid.nl/
http://www.nikhef.nl/grid/