Kako lahko uporabljamo sestav?
Delo na HPCFS je sestavljeno iz nasledjih poglavitnih področij:
- Z NX clientom dostopamo do sestava vsakodnevno in z različnih mest.
- Uporabljamo lahko KDE ali Gnome okensko okolje
- Najpogosteje uporabljamo Konzolo v katero tipkamo školjčne ukaze
- Dodatne programe izbiramo z okoljem modules
- Programe poganjamo na vozliščih z okoljem SLURM
- Računanje nadzorujemo z grafana.hpc.fs.uni-lj.si
- Največ časa pa se prebije pri pridobivanju novih rezultatov, kar običajno pomeni
- pisanje školjčnih in LSF skript s katerimi lahko enostavno ponovimo izračune
- razvoj lastnih programov
- obdelava in ocenjevanje rezultatov
- pisanje poročil, člankov in risanje skic
Za hiter pregled uporabe priporočamo kratka navodila ali vpogled v naslednja podrobneja navodila:
Kje lahko hranim svoje podatke?
Na sestavu so na voljo trije različni tipi datotečnih pomilnikov::
imenik | povezljivost podatkov | opis datotečnega sistema in namen uporabe |
Uporabniško dosegljivi datotečni pomnilniki/home/$USER = $HOME /home/.zfs/ = $SNAP | deljeno na vsa vozlišča | - Visoko kvalitetna RAIDZ2 hramba z omejitvijo količine na 500 GByte. Mrežni diski so deljeni s protokolom NFS na vsa vozlišča (1Gbit Ethernet) in na nadzorno vozlišče prelog (10Gbit Ethernet). Datotečni pomnilnik je sestavljen iz štirih skupin s po 12 diski. V vsaki skupini so štirje redundančni diski, ki omogočajo restarvriranje podatkov ob okvari dveh diskov.
- Vsi podatki v teh imenikih se stalno zajemajo in omogočajo restavriranje za nekaj dni in nekaj tednov nazaj. Podatki se hranijo s principom posnetkov (snapshot) na ZFS podatkovnem sistemu. Tako je mogoče dobiti shranjene podatke tudi ob določenih urah. Uporabniki lahko posnetke dosegajo v imeniku $SNAP oziroma backup.
- Domači imenik $HOME je namenjen hrambi pomembnih podatkov. Tako vhodnih podatkov, kot tudi rezultatom. Ni pa namenjen hrambi izpeljanih, vmesnih in začasnih datotek. Uporabniki naj na $HOME hranijo vitalno pomembne podatke, katere želijo imeti shranjene preko daljšega časovnega obdobja in za katere varovanje skrbi sistem ZFS s svojo redundanco in posnetki, saj se varujejo tudi pred nepazljivimi uporabniki.
|
/work/$USER = $WORK | deljeno na vsa vozlišča | - Ta hranilnik se uporablja za podatke, ki zahtevejo velike količine vhoda/izhoda vaše aplikacije, ki med delom piše rezultate hkrati na vseh vozliščih. Primeren je tudi za aplikacije, ki shranjujejo svoje stanje med delom za primer napake med računanjem (checkpointing). Datotečni sistem je izveden z namenskim LUSTRE podatkovnim sistemom preko balansiranega 2x1Gbit Ethernet omrežja. $WORK je kapacitete 8TB. Z nadgradnjo LUSTRE strežnikov se je podvojila tudi hitrost, ki sedaj praktično dosega teoretične zmogljivosti omrežja. Agregatna hitrost pisanja je tako 1,17GB/s (omejena z 10GbE omrežjem). Hitrost pisanja z enega vozlišča pa 117MB/s.
- RAIDZ1 (RAID5) konfiguracija zagotavlja varovanje podatkov pri okvari diskov. Za $WORK ne obstajajo rezervne kopije kot je to za $HOME. Uporabniki morajo sami skrbeti za varovanje teh podatkov in seveda za čiščenje odvečnih datotek.
- Omejitve na tem pomnilniku so postavljene na 1 TB. V imenik se premaknemo z ukazom cd $WORK ali izberemo svoj podimenik v /work/$USER
|
/sratch/$USER = $SCRATCH | deljeno na vsa vozlišča | - Mrežni disk LUSTRE s komunikacijo po Infiniband omrežju je sestavljen iz enega OSS sestava iz 64 iSCSI/iSER diskov vozlišč. Hitrost komunikacije je v primerjavi z $HOME veliko večja. Hitrost pisanja enega vozlišča na $SCRATCH je izmerjena na 567 MB/s. V splošnem pa je to diskovno polje namenjeno vsem diskovno intenzivnim poslom. Povezava na nadzorno vozlišče prelog je omejena z 1Gbitnim Ethernet vmesnikom na Lustre vozlišču MDS.
- V principu je /scratch pomnilnik ekvivalenten 8xRAIDZ2 (8xRAID6) kar pomeni, da diskovni sistem ob okvari enega ali dveh diskov v vsaki od osmih skupin ne izgubi podatkov. Zanesljivost shrambe je vseeno manjša kot na $HOME saj so diski na vozlščih odvisni od zanesljivosti vozlišč. 16 diskov od 64 je tako redundanca.
- Omejitve na tem pomnilniku, do zapolnitve kapacitet, ni. Vseeno pa morajo uporabniki sami skrbeti, da si kopirajo iz/na ta diskovni sistem le pomembne datoteke, ostale pa redno brišejo. V imenik se premaknemo z ukazom cd $SCRATCH ali izberemo svoj podimenik v /scratch/$USER
- Uporabnik ki želi ta diskovni prostor uporabljati naj si prej naredi svoj imenik z ukazom mkdir $SCRATCH
|
/shadow/work/$USER /shadow/tmp | na nadzornem vozlišču prelog | - Senčna kopija pomnilnika $WORK, ki se je brisal v maju 2014. Podatki v teh imenikih so na voljo uporabnikom, da si skopirajo stare datoteke na $WORK, če jih še potrebujejo. Datoteke $SHADOW bodo na voljo še najmanj do konca leta 2014. Priporočamo, da se večje količine kopira z rsync in
omejitvijo hitrosti, saj je iSCSI diskovje $SHADOW na ARNES-u. Primer: cd $SHADOW ls rsync -arv --bwlimit=10000 moj_stari_projekt $WORK
|
/tmp | lokalno na vsakem vozlišču | - To podatkovno področje je namenjeno začasnim datotekam med izvajanjem del.
- Trenutno ni omejitev na tem pomnilniku.
- Upraviteljem sestava je dovoljeno brisanje datotek v tem imeniku v primeru, da prične primanjkovati prostora.
|
Uporabniški računi
Za dodelitev uporabniškega računa je potrebna odobritev. Podrobnosti so na strani http://hpc.fs.uni-lj.si/access
Uporabniški računi se vodijo v NIS (Network Information Service). Navadni uporabniki si lahko zamenjajo geslo z ukazom yppasswd.
Podpora ali vprašanja so zaenkrat možna kar na support @ hpc.fs.uni-lj.si ali z "Novimi zahtevki" na http://trac.lecad.fs.uni-lj.si/hpcadmin
Registracija na spletni strani http://hpc.fs.uni-lj.si/ je potrebna le, če želite kaj od svojega znanja tudi objaviti in s tem pomagati drugim. Predvsem je to zaželjeno za posebne programe, ki se jih bo ali si jih boste nameščali na sestav.
Nameščena programska oprema
- Operacijski sistem
Sestav poganja CentOS 6.6, ki je kompatibilna predelava Redhat-Enterprise Linux-a. - Sistem za nadzor nalog
Pošiljanje nalog je možno z Load Sharing Facility (LSF). - Programsko okolje
Nastavljanje sistemsih nastavitev (environment) je mogoče s sistemom Modules. - Programski paketi
Za dostopne pakete kot so prevajalniki, okolja za paralelizacijo, numerične knjižnice, znanstvene aplikacije lahko uporabite sistem Modules ali seznam na spletni strani.
Prenašanje datotek
Uporabniki si lahko prenašajo svoje datoteke z varnim protokolom SCP ali SFTP in enakoimenskimi programi. Za kopiranje podatkov na domače imenike $HOME se priporoča neposredna uporaba datotečnega strežnika forge.fs.uni-lj.si Za kopiranje datotek na delovni imenik $WORK, $SCRATCH pa prelog.fs.uni-lj.si. Za kliente iz okolja Windows je mogoče uporabiti različne grafične programe. Priporoča se uporaba programov kot sta FileZilla ali WinSCP in sta prosto dostopena.
Nastavitve WinSCP:
- Uporabniško ime in geslo
- Host name: forge.fs.uni-lj.si
- Protocol: sftp
V okolju linux je okenskih upravljalnikov datotek več (konqueror, dolphin, mc, ...) in vsi omogočajo prenos datotek s protokolom SCP, SFTP ali FISH. V konkquerorju naslov napišemo kar v vrstico.
Kontakt
support @ hpc.fs.uni-lj.si