Strojna oprema HPCFS

Sestav HPCFS-U

Superračunalniku HPCFS s 768 jedri so dodani novo vizualizacijsko vozlišče s strojno pospešenim grafičnim vmesnikom, računsko vozlišče s tremi pospeševalniki, 20 računskih vozlišč v desetih rezinah in 6 razširitvenih diskovnih polj. Skupno je dodanih 528 računskih jeder, 1,8 TB pomnilnika in 144TB diskovnega prostora. Nova in stara vozlišča so povezana nizko latenčnim omrežjem QDR infiniband.

Vizualizacijsko vozlišče

Strežnik Supermicro SYS-1028GR-TRN. S primerno programsko opremo omogoča oddaljeno delo preko strojno pospešenega grafičnega vmesnika in je namenjeno predvsem pred- in post-procesiranju:

• 24 procesorskih jeder (2x 12-jedrni Intel Xeon E5-2680V3 procesor z delovnim taktom 2,5 GHz)
• 256 GB pomnilnika DDR4 delujočega pri 2133 MHz z ECC
• grafični vmesnik NVIDIA Quadro K40M
• trdi disk 250 GB
• QDR InfiniBand povezava
• 10 Gbps ethernet povezava
• 3x 1 Gbps ethernet povezava
• omogočen IPMI nadzor vozlišča preko namenskega omrežja

Računsko vozlišče s pospeševalniki

Strežnik Supermicro SYS-1028GQ-TRN. Računsko vozlišče je namenjeno poslom, ki lahko izkoriščajo GP-GPU pospeševalnike:

• 24 procesorskih jeder (2x 12-jedrni Intel Xeon E5-2680V3 procesor z delovnim taktom 2,5 GHz)
• 256 GB pomnilnika DDR4 delujočega pri 2133 MHz z ECC
• 3x grafični vmesnik NVIDIA Tesla K80
• trdi disk 250 GB
• QDR InfiniBand povezava
• 10 Gbps ethernet povezava
• 3x 1 Gbps ethernet povezava
• omogočen IPMI nadzor vozlišča preko namenskega omrežja

Računska vozlišča

20 računskih vozlišč v obliki rezin Supermicro TwinBlade SBI-7228R-T2F-N z vgrajenimi KVM, ethernet in infiniband stikali. Vsako vozlišče vsebuje:

• 24 procesorskih jeder (2x 12-jedrni Intel Xeon E5-2680V3 procesor z delovnim taktom 2,5 GHz)
• 64 GB pomnilnika DDR4 delujočega pri 2133 MHz z ECC (2,6 GB/jedro)
• trdi disk 250 GB
• QDR InfiniBand povezava
• 2x 1 Gbps ethernet povezava
• omogočen IPMI nadzor vozlišča preko namenskega vodila

Diskovna polja

6 razširitvenih diskovnih polj Supermicro SC826E16-R500LP za razširitev prostora na obstoječih Lustre strežnikih:

• 8x 3 TB SATA trdi disk
• JBOD konfiguracija z ZFS datotečnim sistemom
• redudančno napajanje

Sestav HPCFS

Superračunalnik s 768 jedri, 3TB pomnilnika in 20TB diskovnega prostora. Konfiguracija računskega dela super računalnika je sestavljena iz 64 vozlišč, sestavljenih iz 16  okvirov od katerih vsak vsebuje 4 računska vozlišča.

Računska vozlišča

Konfiguracija posameznega računskega vozlišča:

• 12 procesorskih jeder (2x šestjedrni Intel Xeon X5670 procesor z delovnim taktom 2,93GHz)
• 48 GB pomnilnika DDR3 delujočega pri 1333MHz (12x 4GB DDR3 registerred DIMM oz. 4GB na posamezno jedro)
• QDR InfiniBand povezava
• 2x 1Gbps ethernet povezava
• omogočen IPMI nadzor vozlišča preko namenskega omrežja
• Trdi disk 500 GB

Nadzorno vozlišče

Funkcijo nadzornega vozlišča opravlja HP ProLiant DL160 G6 strežnik naslednje konfiguracije:

• 12 procesorskih jeder (2 x šestjedrni Intel Xeon X5670 procesor z delovnim taktom 2,93GHz)
• 48 GB pomnilnika DDR3 delujočega pri 1333MHz (6x 8GB DDR3 registerred DIMM oz. 4GB na posamezno jedro)
• 2x 1Gbps ethernet povezava
• omogoča dostop uporabnikov do sistema z okoljem NX server
• Trdi disk 2x HotSwap 500GB v RAID 1
• DVD RW pogon

NFS Strežnik

Funkcijo datotečnega strežnika opravlja HP ProLiant DL180 G6 strežnik z dodatnim direktno priklopljenim diskovnim poljem HP StorageWorks D2700 Disk Enclosure. Skupna neto kapaciteta diskovja znaša 22TB, pri tem pa sta v sistem vgrajena 2 »hot-spare« trda diska za nemudno restavriranje podatkov, če pride do  izpada posameznega trdega diska. Za zagotavljanje potrebnih bralno/pisalnih zmogljivosti z diski upravlja HP Smart Array P812 RAID krmilnik z 1GB predpomnilnika zaščitenega z flash pomnilnikom.

• diskovno polje je z NFS 4.0 protokolom dosegljivo vsem računskim vozliščem
• datotečni sistem ZFS omogoča izdelavo posnetkov za varovanje podatkov uporabnikov.
• 10GB ethernet priključek
• NFS I/O hitrost strežnika je najmanj 50MB/s
• vozlišča imajo enakovredno pasovno širino, brez ozkih grl na ethernet stikalih
• zagotovljena je CIFS dosegljivost domačih imenikov

LUSTRE strežniki DL170  v ohišju DL1000 za $WORK

Hitro diskovno polje omogoča paralelni dostop z agregatno hitrostjo najmanj 500 MB/s in je sestavljen iz šestih podatkovnih strežnikov (OSS) in enega indeksnega (MDS). Strežniki so nameščeni v dveh ohišjih DL1000. Skupna velikost polja je 9 TB.

1. V prvem ohišju DL1000 višine 2U se nahajajo štiri OSS. Vsak OSS ima 4 SFF SATA diske 500GB v RAID5 kar je skupno 6TB uporabniško dosegljivega protora, če se zanemari prostor operacijskega sistema.
2. V drugem ohišju sta dva OSS s skupaj 3TB uporabniško dosegljivega prostora. To ohišje vsebuje tudi strežnik MDS za indeksiranje. MDS mora imeti ločene sistemske in OST diske. Dva SATA diska 160GB sta predvidena v RAID1 za sistem. Za MDT so namenjeni  štirje diske SAS 15K 146G.

Skupna uporabniško dosegljiva kapaciteta LUSTRE je cca 9TB, kar skupaj z NFS strežnikom ponuja uporabnikom 23TB.

Podrobnejša sestava komponent je naslednja:

• 6 x OSS strežniki
  • 4x SFF 500GB SATA diski v RAID5
  • E5504 procesor
  • 4GB RAM
• MDS strežnik
  • 2x160GB SFF SATA diski  v RAID1 za sistem
  • 4xSAS 146GB diski za OST
  • E5504 procesor
  • 8GB RAM

Virtualizacijski strežnik

Za testiranja in splošno namenske strežnike je  uporabljen strežnik HP ProLiant DL180 G6  z dvema Intel Xeon X5670 procesorjema, ki ju podpira 48GB spomin in dodatno še  šest  500GB trdi diski v RAID10 konfiguraciji.  Strežnik podpira Vmware ESXi virtualizacijsko platformo, ki je na voljo tudi s HP upravljalskimi moduli.  Za komunikacijo je vgrajen 2x 1GB ethernet priključek.

Infiniband

Računska vozlišča so povezana v InfiniBand omrežje, ki uporablja »non-blocking« arhitekturo postavljeno v topologijo Fat Tree. Izbrana topologija določa , da so vsa povezana vozlišča in njim podrejena stikala z enako pasovno širino.  Stikala imajo po 36 QDR InfiniBand vrat, povezana so v Fat Tree topologijo  in omogočajo, da ima vsako od računskih vozlišč na voljo polno QDR pasovno širino do vseh ostalih vozlišč. Vsa stikala imajo nadzorni modul, ki skrbi za optimalno delovanje celotnega InfiniBand omrežja. Preklopna logika ima latenco nižjo od 100 nanosekund.

Mrežna povezava

Za ethernet povezave skrbijo štiri  mrežna stikala HP ProCurve 2910al , ki imajo vsaka 48 gigabitna vrata ter štiri vrata  z 10Gb in so povezana  z bakrenimi vodniki  in SFP. Z 10 gigabiti je na ta stikala povezan NFS strežnik. Celotna gruča superračunalnika je povezana navzven z  eno gigabitno komunikacijo. Zaradi redundandnosti komunikacije so predvidena štiri stikala. Stikala imajo 176Gbps preklopno zmogljivost. Latence je nižja od treh mikrosekund  in ima  doživljenjsko garancijo, če je v lasti prvega kupca.