Nahajate se tukaj

Domov

EUFORIA in ITM

 

Projekta EUFORIA in EFDA-ITM-ISIP

Leon Kos in Jožef Duhovnik

Laboratorij za računalniško podprto konstruiranje - LECAD

Fakulteta za strojništvo

Univerza v Ljubljani

 

Laboratorij LECAD sodeluje v projektu EUFORIA in EFDA-ITM-ISIP pri razvoju vizualizacijskih orodij za znanstvene poteke izračunov na superračunalnikih HPC in GRID omrežjih.

 

EUFORIA (EU Fuzija za Iter Aplikacije) je projekt, financiran s strani Evropske unije v okviru sedmega okvirnega programa (FP7), ki bo zagotovil celovit okvir in infrastrukturo za simulacije jedra in plašča in turbulence, ki povezuje Grid omrežja in Visokozmogljivo računanje (HPC ), fuzijski skupnosti za modeliranje.

EUFORIA projekt bo okrepil zmogljivosti za modeliranje plazme velikosti tokamaka ITER s prilagoditvijo, optimizacijo in vključevanjem skupine pomembnih aplikacij (popularno imenovanih kod) za modeliranje plašča in jedra na različne računalniške paradigme kot so (serijske in vzporedne računalniške mreže in HPC). Vzpostavitev Grid in HPC storitev je bistvenega pomena za projekt. Napreden vidik projekta je dinamična povezava in integracija kod in aplikacij v znanstvenih potekih dela (workflows)) na skupku heterogenih platform v enotnem okviru poteka dela, ki ga omogoča orodje za znanstvene poteke. Vse to je potrebno, da se zagotovi potrebno vključevanje na ravni fizikalnih aplikacij. Vse to močno poveča možnosti integriranega modeliranja fuzije in fizike plazme in hkrati zagotavlja nove računalniške infrastrukture in orodja za fuzijsko skupnost na splošno.

Predviden časovni potek projekta EUFORIA

Izvedba

Projekt EUFORIA je sestavljen iz dveh različnih faz, ki se delno izvajata vzporedno od začetka projekta in se v celoti združita v poznejših fazah.

Prva faza je faza razvoj in uporabe, ki obsega prilagoditev in optimizacijo izbranih kod, ki pokrivajo fiziko plašča in jedra za omrežja Grid in okolja HPC. Neločljivo povezano v to dejavnost je uvajanje računalniške infrastrukture, kjer je dostop do računskih gruč in visokozmogljivega računalništva, ki se razvijajo za člane projekta. Ta faza je tako usmerjena predvsem k razvijalcem kod in aplikacij, saj se osredotoča na podrobnost izvedbe in strukture fizikalnih kod. Za izvedbo teh naporov pri članih projekta ter širši fuzijski skupnosti za modeliranje so predvideni različne vodene delavnice o različnih vidikih prilagajanja koda. Spoznane "lekcije" pridobljene pri razvoju na področju fuzijskih kod bodo javno dostopne skupaj z neposredno podporo uporabnikom novim uporabnikom ki bodo prispevati svoje kode za platformo EUFORIA. Ta dejavnost sama bo zagotovila pomembne korake za nadaljnje modeliranje v fuzijski skupnosti.

Druga fazaje standardizacija in integracija aktivnost na tehnološkem področju, ki razvija tehnologije in orodja za zagotavljanje uporabniku pregledne metode za dodeljevanje računskih sredstev in načrtovanje in dinamično povezovanje fizikalnih kod. Taka tehnologija za izgradnjo zahtevnih potekov dela z optimiziranimi kodami kot sestavni del potekov in standardizirane strukture podatkov in prenosa metode se uporabljajo za razširitev modeliranja fizike primerne za razvojITER-ja. Ključni sestavni deli tukaj so prilagoditve skupnih podatkov v celotni strukturi simulacij plašča in jedra, prilagoditev orodij za orkestracijo potea dela in splošnih orodij za pregledovanje podatkov in vizualizacijo. Ta drugi del projekta je usmerjen predvsem k zagotoviti sredstev za izgradnjo širše skupnosti uporabnikov paketi kod, ki se nahajajo na platformi in v daljši perspektivi zagotavlja začetek za prilagoditev palete orodij, ki so v uporabljajo v širši skupnosti.

Cilji

Projekt EUFORIA predvideva:

  • Razvoj mreže računskih gruč (GRID)
  • Uvedba [visokozmogljivo računalništvo| visokozmogljive računske]] infrastrukture (HPC)
  • Razvoj portala za splošen dostop uporabnikov
  • Prilagoditev standardne ontologije za simulacije plašč-jedro.
  • Prilagoditev in optimizacija orodij za simulacijo [[Fuzija| fuzije] in kod namenjenih za
    1. Serijske aplikacije v računskih gručah
    2. Vzporedne aplikacije v računskih gručah
    3. Visokozmogljivo računanje (High Performance Computing)
  • Razvoj okvira ali platforme s kodami, ki zagotavljajo
    1. Dinamične orkestracijo potekov dela
    2. Visoka kakovost vizualizacije
    3. Zmogljivosti podatkovnega rudarjenja
    4. Razvoj vmesnega orodja, ki je potreben za uporabo računalniških sredstev iz nabora orodij

Poleg tega obstajajo številne aktivnosti ozaveščanja in širjenja informacij, načrtovanih za uvedbo v fuzijski skupnosti na splošno za razvoj infrastrukture in vzpostavitve stikov z drugimi infrastrukturami in raziskovalnimi projekti s podobnimi ali povezanimi usmeritvami.

Kot je razvidno iz zgornjega seznama, je projekt sestavljen iz niza povezanih delovnih paketov. Zahtevana je visoka raven usklajevanja in spremljanja, da se zagotovi pravočasno dostavo različnih komponent. Poudarek je bilo dan na zagotavljanju ustrezne upravljalske strukture in sredstev na različnih ravneh projekta.

Konzorcij

Konzorcij EUFORIA vključuje naslednjih 14 evropskih institucij:

  1. Chalmers University of Technology ( koordinator) iz Švedske
  2. Max Plank inštitut za fiziko plazme (IPP) iz Nemčije
  3. Centro Superior de Investigaciones Científicas (CSIC) iz Španije
  4. Centro de Investigaciones Energéticas, Medio Ambientales y Tecnológicas (CIEMAT) iz Španije
  5. Forschungszentrum Karlsruhe (FZK) iz Nemčije
  6. Finski IT center za znanost (CSC) iz Finske
  7. Univerza Abo Akademi (ABO) iz Finske
  8. Univerza Edinburgh (UEDIN) iz Velike Britanije
  9. Barcelona superračunalniši Center (BSC) iz Španije
  10. Francoska komisija za atomsko energijo (CEA) iz Francije
  11. Univerza Strasbourg iz Francije
  12. Univerza v Ljubljani (UOL) - Laboratorij LECAD - Fakulteta za strojništvo
  13. Poznan Superračunalniški in Omrežni Center PSNC iz Poljske
  14. Italijanska Nacionalna agencija za nove tehnologije, energijo in okolje (ENEA) iz Italije

Struktura projekta

Projekt EUFORIA je bil zasnovana iz niza povezovalnih dejavnosti, storitev in skupnih raziskovalnih dejavnosti v skladu z naslednjo celotno organizacijo:

Povezovalne dejavnosti

  • NA1 - Upravljanje
  • NA2 - Dokumentacija za uporabnike in usposabljanje
  • NA3 - Razširjanje rezultatov

Storitvene dejavnosti - uvajanje infrastrukture in delovanje

  • SA1 - Grid infrastruktura
  • SA2 - HPC infrastruktura
  • SA3 - podpora uporabnikom za HPC in GRID dejavnosti

Skupne raziskovalne dejavnosti

  • JRA1 - Prilagoditev kod in orodij za Grid infrastrukturo
  • JRA2 - Prilagoditev kod in orodij za HPC infrastrukturo
  • JRA3 - Vključevanje fizike - orodja za orkestracijo potekov dela
  • JRA4 - Vizualizacija

Povezovalne dejavnosti (NA)

Dejavnost NA1: Upravljanje

NA1 zagotavlja podporo upravljanja in upravljanje za konzorcij kot celoto. Odgovornost NA1 je zlasti v globalnem usklajevanu med različnimi raziskavami in storitvenimi dejavnosti. Poudarek je predvsem na spodbujanju in zagotavljanje komunikacije znotraj raziskovalne dejavnosti in storitev, da se zagotovi popolno vključitev projektov.

Omogočile naj bi se povezave do drugih mednarodnih projektov in pobud, v GRID ali HPC tehnologiji, kot tudi vezi s fuzijsko skupnostjo. Upravljanje je odgovorno za stike z lastniki kod in uporabniki iz fuzijske skupnosti s ciljem sprostitve dodatnih računalniških sredstev za neposredno raziskovanje fizike z uporabo prilagojenih EUFORIA kod. Iskani bodo dodatni viri financiranja vključno s sredstvi iz EU in držav partnerjev.

Ko projekt napreduje v času in različnih aktivnosti postane bolj celovit. Nameniti je potrebno poudarek k podpori horizontalnih dejavnosti med različnimi JRA-ji kot tudi skupnem razvoju med raziskavami in servisnimi dejavnostmi. Učinkovito usklajevanje je potrebno za doseganje ciljev projekta. Eden od namenov usklajevanja med razširjanjem in dejavnostmi usposabljanja uporabnikov je, da se lahko usposabljajo tudi sami in delujejo za nadaljnje širjenje v njihovi skupnosti. Usklajevanje je bistvenega pomena za širšo dostopnost orodij za fuzijo EUFORIA uporabnikom in skupnosti razvijalcev kod.

Za uskladitev razvoja e-infrastrukture za modeliranje zahteve ITER-ja in ohranitev v stika z razvojem fizike in modeliranja, ki potekajo pri mednarodnih partnerjih v projektu ITER je bila v usmerjevalni skupini izbrana ekipa z močno podporo tehnologije.

Cilji NA1

Uspešno obvladovanje se kaže v izvajanju projekta kot celote, ki je pridobljen z dosledno spremljanjem in pregledom mejnikov ter odločitvi točk v nalogah in stalnim ocenjevanje napredka in izvajanja korektivnih ukrepov.

Dejavnost NA2: Uporabniška dokumentacija in usposabljanja

NA2 bo zagotovil znanstvenim uporabnikom ustrezno dokumentacijo in usposabljanja za izkoriščanje HPC in GRID infrastrukture tega projekta. Dejavnost zajema program usposabljanja, ki je namenjen uporabnikom omogočiti, da razvijejo potrebno znanje in spretnosti izkoristiti infrastrukture. Poleg tega bo projekt zagotovil celovit nabor dokumentacije, vključno z uporabniškimi "vodniki" in "pogosto zastavljenimi vprašanji".

Cilji NA2

  • Predložiti dokumente, pogosta vprašanja in najboljše prakse za uporabnike GRID in GRID infrastrukture
  • Zagotovil celovit program usposabljanja za razvijalce in uporabnike, vključno z razvojem spremnih vodnikov

Dejavnost NA3: Razširjanje

Razširjanje bo bistveno pri ugotavljanju, doseganju in zagotavljanju ustrezne slike projekta in njegove potencialne uporabe možnih uporabnikov. Ta slika mora biti hkrati privlačna s poudarjanjem koristi, ki jih je mogoče dobiti z vstopom v DEISA, EGEE in EUFORIA GRID in HPC skupnosti. Razširjanje bo prav tako igrlo ključno vlogo pri potencialnih uporabnikih, s tem da se udeležijo dogodkov za razširjanje znanja. Pričakuje se, da bo razširjanje zagotovilo splošno sliko projekta.

Večina uporabnikov, razvijalcev in skupnosti bodo s projektom EUFORIA imeli svoj prvi stika s širjenjem dejavnosti. Obseg razširjanja skupnosti uporabnikov projekta bo odvisen od kakovosti in učinkovitosti ukrepov za povečanje ozaveščenosti o projektu.

Cilji NA3

  • Razširjanje namena in koristi GRID in Visokozmogljivega računstva na področju fuzije in za vključitev ali z uporabo infrastrukture EUFORIA
  • Določitev metod razširjanja in vsebin sporočil za doseganje vsake skupnosti
  • Da bi zagotovili razširjanje gradiva prilagojenega ciljnim skupinam in jih dati na voljo
  • Obvestiti znanstvene skupnosti o tem, kako se lahko vključijo v projekt
  • Neposredno osveščanje potencialnih uporabnikov, tako da bodo lahko postali uporabniki projekta EUFORIA
  • Obveščanje skupnosti o novih izboljšava in funkcionalnostih

Storitvene dejavnosti (SA)

Dejavnost SA1: Vzpostavitev Grid infrastrukture in delovanje

Cilj te dejavnosti je zagotoviti napredna Grid omrežja, pooblaščena za znanstveno izračunavanje in jih usmeriti v podporo fuzijske skupnosti na evropskem raziskovalnem prostoru. Projekt povezuje porazdeljene računalniške vire v usklajene Grid, ki omogočajo fuzijskim raziskovalcem sprejem novih znanstvenih izzivov. Namen SA1 je vzpostavitev Grid infrastrukture za uporabo, vključevanje, vzdrževanje in poganjanje porazdeljene računalniške mrežne infrastrukture.

Cilji SA1

  • Uvajanje, vzdrževanje in izvajaje osrednje službe, potrebne za zagotovitev povezovanja računalniških virov v obratovanju GRID infrastrukture, ki podpira serijske in vzporedne aplikacije
  • Usklajevanje uvajanja, vzdrževanja in obratovanja virov GRID, ki jih zagotovijo sodelujoči centri kot močna, varna in zanesljiva storitev
  • Zagotoviti podporo za virtualne organizacije (VO) in ponudniki virov in tako pomagati končnim uporabnikom, VO upravljalcem in upraviteljem računalinikov doseganje svojih ciljev in prispevati k uspešni uporabi infrastrukture.

Smisel tega projekta temelji na utrjevanju raziskav z GRID omrežji po vsej Evropi. Infrastruktura bo združljiva z storitvami EGEE posrednikov, ki prispevajo k standardizaciji mreže GRID in utrjevanju e-infrastruktur v Evropi. Projekt bo sledil priporočilo mednarodnih organov, kot so e-IRG (Posvetovalna skupina za e-infrastrukturo) in GGF (Global Grid Forum).

Dejavnost SA2: HPC infrastruktura

Razvijalci kod v JRA2 so osredotočeni na optimizacijo kode znotraj skupnosti fuiike plazme. Da optimizacija dela pravilno morajo imeti razvijalci kod in znanstveniki dostop do ustreznih računalnikov za testiranje, odpravljanje napak in poganjanje. Poleg tega morajo biti opravljeni preskusi izvedljivosti v realna produkciji s strani znanstvenikov za katere je potrebno zagotoviti dostop do superračunalnikov.

Glavni cilj SA2 je torej zagotoviti dostop za razvijalce kodo in znanstvenike na napravah HPC in uporabniške storitve v različnih superračunalniških centrih (To je, CSC v Helsinkih, BSC v Barceloni in EPCC ( UEDIN) v Edinburghu).

Cilji SA2

  • Zagotavljanje HPC infrastrukturne podpore v prizadevanju optimizacije kode v JRA2
  • Zagotovitev računskega časa za dostop do superračunalnikov za študije izvedljivosti testov za HPC kod

Dejavnost SA3: Uporabniška podpora HPC in dejavnosti Grid

SA3 bo zagotovil znanstvenikom ustrezne mehanizme podpore, da se uporabi HPC in Grid infrastrukturo tega projekta hitro in učinkovito. Tako bo en sam vmesnik za uporabnike, s ključno točko za stike, hkrati pa izkoristila vir znanja, ki se nahajajo v partnerskih institucijah. Zagotovila registracije uporabnikov, upravljanje virov in beleženje ter enotno služba za pomoč za vse uporabnike. Ta aktivnost podpira številne druge dejavnosti, kot so JRA1, JRA2, JRA3 in JRA4, kar zagotavlja izhodišče za uporabnike in se zagotovi hitro razumevanje vlog, tehnologij in orodij v vseh teh dejavnostih.

Cilji SA3

  • Zagotovitev z enotnegauporabniškega vmesnika, upravljanje z uporabniki, upravljanje virov, beleženje, poročanje in osrednjo pomoč za uporabnike storitev.
  • Zagotovitev podpore za širok spekter uporabe v prenosu in začetno optimizacijo njihovih aplikacij za infrastrukturo EUFORIA.

Skupne raziskovalne dejavnosti (JRA)

Dejavnost JRA1: Prilagajanje kod za infrastrukturo Grid

Naloga JRA1 je prireditev kod uporabljenih v fiziki plazme za namen modeliranja prenosa v jedru in plašču (Core in Edge Transport) arhitekturo Grid. Glavni cilj je, da preuči možnosti za arhitekturo Grid za fuzijske raziskave, začenši s podmnožico najprimernejših kod s področja transporta in turbulence v jedru in plašču. V prvem koraku bo prilagojena skupina zaporednih kod. V drugem koraku bosta s kodami sestavljena dva mešana poteka dela na omrežju Grid. Posebna pozornost bo namenjena povezave serijskih in vzporednih kod v poteke dela, ki bi bili v prihodnje koristni za fuzijo. Izkušnje tako v prenosu kode in upravljanju s podatki se bodo lahko uporabile za prihodnje fuzijske simulacije in poskuse.

Cilji JRA1

  • Prireditev izbranih zaporednih kod za omrežja Grid skupaj z vsaj malo mešanih zaporedno-vzporednimi kodami
  • Pridobitev izkušenj pri poganjanju kod in upravljanju s podatki v delovnih potekih

Dejavnost JRA2: Prilagoditev kod za infrastrukturo HPC

V JRA2 bodo osrednje kode iz fizike plazme prilagojene za vzporedno izvajanje na superračunalniških sistemih sodelujočih HPC centrov. Cilj je, da programi delujejo hitreje in da se omogoči uporabo večjega števila procesorjev tako, da bi lahko reševali bistveno večje problem, s čimer se spodbuja raziskave v smeri popolnega modeliranja fuzije. Računalniške kode bodo zasnovane tako, da delujejo čim bolj učinkovito na trenutni Tera, kot tudi prihodnjih Peta generacijah sistemov HPC in prilagojeno delovanje kot sestavni delov znotraj okolja za poteke dela.

Cilji JRA2

  • Izboljšanje vzporedno razširljivost računalniških kod
  • Optimiziranje učinkovitosti na sodobnih procesorskih arhitekturah
  • Prilagoditev kod, tako da jih je mogoče združiti v en sam povezan potek s pomočjo orodja za orkestracijo poteka dela

Dejavnost JRA3: Orkestracija poteka dela

Spenjanje različnih računalniških modulov in kod zahteva veliko usklajevanja in strukturiranih podatkov o upravljanju sredstev in virov, da se učinkovito izrabljajo in načrtujejo. Potek dela v orodju za orkestracijo močno olajša proces vključevanja in določa strukturo ali okvir za izvajanje dodatnih nalog, kot so računske usmerjanje in interaktivno spremljanje ali nadzor. Prav tako predvideva možne vstopne točke za standardiziran dostop do podatkov in uporabniških orodij za obdelavo podatkov.

Cilji JRA3

  • Razporejanje nalog na infrastrukturi GRID in HPC skupaj nalogami, ki teče na drugih računalniških zmogljivostih združenih v orodju za orkestracijo potekov dela, ki lahko dinamično povezuje in zaganja različne nameščene računske module
  • Razvoj enovitega uporabniškega vmesnika za podporo uporabnikom, poizvedbe uporabnikov, upravljanje virov, vodenja računov in poročanja. Ta vmesnik bo izpolnil zahteve SA3 uporabnikov, ki bodo zagotavljali povezane storitve.

Dejavnost JRA4: Vizualizacija

JRA4 je namenjen zagotavljanju množice poenotenih orodij za vizualizacijo kod integriranih v platformo. Nekatera od teh orodij se bodo uporabljala za naknadno obdelavo podatkov, pridobljenih s kodami, druge pa je potrebno vključiti v Kepler Workflow, da se omogoči vizualizacijo in spremljanje rezultatov v času izvajanja dela. Vizualizacijska orodja, razvita v JRA4 bodo temeljila na obstoječih odprtokodni programski opremi, kot je Python, numpy in matplotlib na eni strani in VTK na VisIt na drugi strani.

JRA4 Cilji

  • Zagotovitev skupine poenotenih orodij za vizualizacije v orodju Kepler workflow za vizualizacijo podatkov, ki so na voljo v oddaljenih omrežjih Grid
  • Uvedba zmogljivejših orodij za vizualizacijo, ki se lahko uporabljajo za post-procesiranje
  • Razvoj nove izgubne valčne metode za stiskanje podatkov, da bi bi lahko obdelovali velike količina podatkov, ki jih tvorijo nekatere kode
  • Razvoj posebnih orodij za vizualizacijo funkcij 4D ali porazdelitvenih funkcij 5D

Udejstvovanje laboratorija LECAD fakultete za strojništvo

Raziskovalci laboratorija LECAD sodelujejo pri razvoju vizualizacijski orodij in povezavi le teh v okolje Kepler kar je prikazano na naslednjih slikah. Orodje za znanstvene poteke Kepler omogoča, da grafično izdelamo potek preračunov na HPC ali GRID tako, da povežemo različne podprobleme od zajema, priprave, pošiljanja problema za računanje pa do končne obdelave podatkov.

Vizualizacija SOPLS rezultatov

Vizualizacija Tokamaka simuliranega v kodi SOLPS z VisIt v orodju za orkestracijo Kepler.

Kompozitni izvajalec

Vizualizacija podatkov z VisIt in uporabo Unified Access Layer baze podatkov, ki je prirejena za fuzijske simulacije.

Bibliografija

[1] HAEFELE, Matthieu, KOS, Leon, NAVARO, Pierre, SONNENDRÜCKER, Eric. Euforia integrated visualization. V: 18th Euromicro International Conference on Parallel, Distributed and Network-Based Processing, 17-19 Feb. 2010, Pisa, Italy. Los Alamitos: IEEE Computer Society, 2010, str. 498-502, ilustr. http://www.ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=5452425&tag=1, doi: 10.1109/PDP.2010.76. [COBISS.SI-ID 11372315]

[2]  Francisco Castejon, Miguel Cárdenas-Montes, Antonio Gómez-Iglesias, Enrique Morales-Ramos, Bernard Guillerminet, David P. Coster, Eric Sonnendrücker, Isabel Campos Plasencia, Jan Åström, Jan Westerholm, José María Cela, Leon Kos, Lorna Smith, Marcin Plociennik, Marcus Hardt, Mats Aspnäs, Par Strand, Rainer Stotzka. EUFORIA: Grid and High Performance Computing at the Service of Fusion Modelling. 2nd Iberian Grid Infrastructure Conference. Porto (Portugal). May 12-14, 2008. ISBN 978-84-9745-288-5. pp. 115-127

[3]  Rainer Stotzka, Enrique Morales-Ramos, Mats Aspnäs, Jan Aström, Miguel Cárdenas–Montes, Francisco Castejón, José María Cela, David P. Coster, Antonio Gómez-Iglesias, Bernard Guillerminet, Ahmad Hammad, Marcus Hardt, Leon Kos, Daniela Piccioni–Koch, Isabel Campos Plasencia, Marcin Plociennik, Gevorg Poghosyan, Lorna Smith, Eric Sonnendrücker, Pär Strand, Jan Westerholm. EUFORIA - Simulation Environment for ITER Fusion Research. 34thEuromicro Conference. Software Engineering and Advanced Applications. Parma (Italy). September 2-5,2008. ISBN 978-3-902457-20-3. DOI: 10.1109/SEAA.2008.11

 

PriponkaVelikost
Image icon solps.png112.92 KB
Image icon kepler-composite.png104.04 KB