ITUGRID

ITUGRIDITU KampüsGRIDTanıtım ve Sisteme ErişimITU, Bilişim Enstitüsü, HPC Grubu

Sunum İçeriğiGrid TanımıITUGRIDDonanım ve Yazılım AltyapısıSisteme Erişim ve Hesap Açma ProsedürüITUGRID ve GILDA portal kullanımıLSF (Load Sharing Facility) Tanım veKullanımıWeb Ara yüzü ileKomut SatırındanLSF ÖrneklerUygulama Örnekleri, Fluent ve GaussianGörselleştirme Laboratuarıve HPC Forum

“GRID” Nedir ?Yersel olarak birbirinden bağımsız IT (bilgiteknolojileri) kaynaklarınıverimli bir biçimdepaylaşmayıve kullanmayısağlayan biryazılım ve standartlar topluluğudur.Grid; Verimsiz bir şekilde kullanılankaynaklardan en üst düzeyde yararlanmayıamaçlamaktadır.Grid; Hesaplama, Saklama, Yedekleme gibibirçok farklıbirimden oluşabilir.

“GRID” Nedir ve Neredeyiz …http://www.sun.com/products/hpc/im/grid_stages.gifBECLUSTERITUGRIDGILDA+ITUGRID

ITUGRIDWeb­PortalGlobus GRID (yönetim)LSF 6.0 (iş dağıtımıve planlaması)

ITUGRID, Donanım Altyapısı

ITUGRID, DonanımAltyapısı…ITUGRID 3 farklımimarideki bilgisayarlarınbirleşiminden oluşmaktadır.SUN (Solaris v9.0)SunFire12K,16 CPU ­ 900 MHz UltraSparc IIIcu Işlemci16 CPU ­ 1200 MHz UltraSparc IIIcu Işlemci,Sun v210 Cluster,24 düğüm noktası(2x24=48 CPU)1000 MHz UltraSparc IIIiQuickTimeª and aTIFF (Uncompressed) decompresare needed to see this picture.QuickTimeª and aTIFF (Uncompressed) decompresare needed to see this picture.

ITUGRID, DonanımAltyapısı…HP (Redhat Linux AS v3.0)DL360: 2 x 37 = 74 CPUIntel(R ) X e on(T M ) C P U 3 .40G H zDL560: 4 x 7 = 28 CPUIntel(R ) X e on(T M ) M P C P U 3.1 6G H zSGI (Irix64 v6.5)SGI Origin 300020 C P U , 600 M H z M IP S R 1 4000SGI Onyx3 InfiniteReality4 C P U , 6 00 M H z M IP S R 14000

ITUGRID, Yazılım AltyapısıSolaris (SOL64)Derleyici, SUN (Studio 8.0 + Forte 6.2),f90/77, C, C++ ve SunMPIFluent 6.2, Gambit 2.1, Gaussian, MM5v3.7 vb…HP Redhat Linux (Linux64)Derleyici, PGI CDK 5.2, f90/77, C ve C++,MPICH, BLAS, SCALAPAK vb.Fluent 6.216, Gaussian, MM5 v3.7

ITUGRID, Erişim ve HesapAçmaITUGRID’ e iki yol ile erişilebilir,Web­Portal, https://itugrid.itu.edu.tr/Komut Satırından, ssh (secure shell) bağlantısıile “moonstar” makinasına bağlanarakITUGRID Kaynak Kısıtları,ITUGRID’ te şu anda hesabıbulunan ve yenihesap açılan kullanıcılar sadece SUN, Solarissistemleri kullanabilir. HP Cluster sisteminkullanılmasıiçin ek başvuru yapılmasıgereklidir.

ITUGRID Erişim ve HesapAçma…Eskiden sisteme erişim için kullanılan “space”makinasıinteraktif kullanıma kapatılmıştır.Çalışabilir programlarınızıelde etmek vesisteme bağlanmak için etkileşimli ortamolarak 4 işlemcili SUN mimaride,moonstar.be.itu.edu.tr kullanılabilir.IP: 160.75.90.90Makinaya ssh protokolü ile bağlanabilirsiniz.Windows Programı, putty veya SSHSecureShellClient for Windows (*)* Aynızamanda sftp programı, http://ftp.ssh.com/pub/ssh/SSHSecureShellClient­3.2.9.exe

ITUGRID Erişim ve HesapAçma…ITUGRID sistemine,Yüksek BaşarımlıHesaplama Laboratuarın(HPC) dan daha önce alınmış hesaba ait kullanıcıadıve şifresi ile,HPC laboratuarına yapacağınız yeni başvuru ilesize verilecek olan kullanıcıadıve şifresi ile girişyapabilirsiniz.Yeni hesap başvurusu içinhttp://www.be.itu.edu.tr/ceaet/accounts_tr.htmlinkindeki formu doldurarak HPC laboratuarınateslim etmeniz gerekmektedir.

LSF, Nedir?LSF (Load Sharing Facility) , ITUGRID sistemiüzerinde uygulamanın kaynak gereksinimlerini gözönünde bulundurarak sistemdeki iş yükübakımından en elverisli hesaplama ortamının(“execution host”) seçilmesinden sorumlu yazılımdır.

LSF KullanımıLSF yazılımıiki şekilde kullanılabilir.Web Arayüzü ile çabuk, hızlıve etkin bir biçimdesisteme iş bırakılabilir ve izlenebilir.LSF için özelleştirilmiş ancak şu an için sadece seriişler verilebiliyor.LSF Komutlarıile,Komut satırından,LSF betik (script) dosyasıyaratarak, (LSF scriptdosyası; LSF komutlarından oluşan özelleştirilmiş birdosyadır.)

LSF Kuyruk YapısıHer bir kullanıcıtanımlanmış kuyruk (queue)yapılarına eklenir.Kullanıcının hangi ortamıhangi şartlar vekısıtlar altında kullanacağıkuyruğunözelliklerine göre belirlenir.Her bir kuyruğun özellikleri farklıdır.Kuyruk yapılarının özellikleri sistemdekikullanım ve yük miktarıgöz önüne alınarakdeğiştirilebilir.

LSF Kuyruk Yapısı…LSF KuyrukÖzellikleri,Kullanıcıgrububazında işkuyruklarıtanımlanmıştır veher kuyruk öncedentanımlanmışözellikleresahiptir.bqueues ­u kullanıcı_ismibqueues ­l kuyruk_ismi* Kuyruk Özellikleri SisteminKullanımına ve Yük durumunabağlıolarak değiştirilebilir !!!šncelik makinalar calisma zamani not ve kõsõtlarinteractiveq 40 moonstar 30 dak bekleme zamanõ 0, toplamotherq 40workq 40structureq 50atmosphereq 75chemistryq 75cfdq 75hbmq 90hpccq 95cigq 100weekendq 100tum SUNkaynaklartum SUNkaynaklartŸm SUNkaynaklartŸm SUNkaynaklartŸm SUNkaynaklartŸm SUNkaynaklartŸm SUNkaynaklartŸmmakinalartŸmmakinalartŸmmakinalarsõnõrsõzother grubu ve kimya502sõnõrsõz verilebilir, toplam 15sõnõrsõzsõnõrsõzsõnõrsõzsõnõrsõzsõnõrsõzsõnõrsõzsõnõrsõzCuma 19:00 ­Pazartesi 09:00structure grubu Ÿyeleri i in,yapabiliratmosfer grubu Ÿyeleri i in,yapabilirkimya grubu Ÿyeleri i in,yapabilircfd grubu Ÿyeleri i in,yapabilirhbm ve hbm 513, 514 ve523 dersi kullanõcõlarõhpcc grubu Ÿyelericig Ÿyeleri, weekendq haricdiger kuyruklardan kaynakalabilir.cigq haric digerkuyruklardan kaynak alabilir.

ITUGRID, Web ArayüzüGİRİŞ EKRANI …1) Kullanıcıdizinialtındaki dosyalarile ilgili işlemler2 ) Sisteme işbırakma3 ) Sistemdeki işyükü hakkındabilgi4 ) İlgili kullanıcıtarafından dahaönce sistemeverilmis Işlerle ilgilibilgi5 ) Sistemdeki tümişler ile ilgili bilgi6 ) web­protaldanverilmiş işlere aitçıktılar7 ) GILDA Grid13578246https://itugrid.itu.edu.trr

ITUGRID, Web Arayüzü…DOSYASERVISLERI1 ) Dosya Yaratmq2 ) DosyaGörüntüleme3 ) Dosya İçeriğiniDeğiştirme 24 ) Dosya veye4Dizin ismideğiştirme5 ) Dosya veye6Dizin silme6 ) Dizin yaratma87 ) Kullanıcıdizinine bir dosyakopyalama8 ) ÇevreDeğişkenleriniGörme3157

ITUGRID, Web Arayüzü…Tam olarak dosya adıverilmeli, örneğin/groups/dalfes/turuncu/.profile

ITUGRID, Web Arayüzü…İŞ BIRAKMA …1) Sistemeverilecek Iş icintanım (boş kalabilir)2 ) Çalıştırılacakdosya (mimaribağımlı!!!)3 ) Programınalacağıargümanlar4 ) Hafıza Limiti5 ) Çalışma Limiti6 ) Swap Limiti7 ) Mimari (2numarada verilendosya ile aynimimari olmalı)8 ) LSF Kuyruk tipi,her kullanıcınındahil olduğukuyruklar filitrelenir.9 ) Kaynak, MPI,795814623

2 numaralısütündan ilgilibilgisayarüzerindeki iş yükübelirlenebilir.ITUGRID, Web Arayüzü…SISTEM YÜKÜ …Sistemde bulunanbilgisayarlar ile ilgilidetaylıbilgilere buekrandanulaşilabilir.1 21 numarasıileIşaretlenmışsütundaki listedenilgili bilgisyarişaretlendiği zamandetaylıbilgilericeren ekranaulaşılabilir.

ITUGRID, Web Arayüzü…Web arayüzünden çalışırken dikkat edilmesigerekenlerWeb üzerinden sisteme verilen islerin çıktıdosyalarıaksibelirtilmedikçe işin bırakıldığımakine üzerindeki özel birdizinde (spooler) yedi gün süreyle tutulur.Web üzerinden sisteme iş bırakılırken, program icerisindeveya çalıştırılmasıiçin belirtilen tüm dizinler “mutlak yol”olmalı,~/deneme/calis.x veya ../deneme/calis.x yerine,/groups/dalfes/turuncu/deneme/calis.x gibiKullanıcılar portal’ ıkullanırken sorun cıkmamasıiçin .profile dosyalarıIçindeki“stty istrip” satırısilinmeli veya satırın başına # konmalı

GILDA, Grid Infn Laboratoryfor Dissemination ActivitiesGILDA, grid konusundaki bilgileri arttırmak veyaygınlaştırmak amacıyla kurulmus sanal birtest ortamıdır.GILDA, Italya INFN (Istituto Nazionale diFisica Nucleare) tarafından tasarlanmıştir.GILDA üzerinden test iş verebilmek için,https://gilda.ct.infn.it/CA/mgt/restricted/ucert.php adresindenkayıt olmak gerekiyor. Alınacak sertifika 1 yılgeçerli (web tarayıcıbağımlı).Detaylıbilgi için, https://gilda.ct.infn.it/testbed.html

GILDA, Grid Infn Laboratoryfor Dissemination Activities

GILDA, Grid Infn Laboratoryfor Dissemination ActivitiesGİRİŞ EKRANI …1) ITUGRID teanlatılan dosyaIşlemleri ile aynıyapıda.2 ) Güvenlik ile ilgili1tanımlamalar,GILDA şifre 3değiştirme ve Proxy5hakkındaki bilgiler.3 ) Sisteme işvermek içinkullanılan kısım4 ) Grid ile ilgilibilgilerin alındığıkısım, iş yükü vb.5 ) ITUGRID linki6 ) GILDA Grid ileilgili tanımlamalar246

LSF, KomutlarıTemel LSF komutları,Cluster ile ilgili bilgilere ulaşmak,lsload: sistem yükü ile ilgili bilgiler verirbhosts: sistemde bulunan makinalarla ilgili kaynaklarıgösterirbqueue: sistemde bulunan tüm kuyruklarıgösterirbqueue ­u kullanıcı_adı: Ilgili kullanıcının hangikuyruklar icin kullanım izni olduğunu ve kuyrukönceliklerini gösterir.İş ile ilgili bilgilere ulaşmak,bjobs: iş ile ilgili bilgiler almak içinAyrıntılıbilgi için; http://batch.web.cern.ch/batch/doc­lsfsets.html

LSF, Komutları…Temel LSF komutları,İş vermek ve kontrol etmek,bsub: sisteme iş bırakmak için (xbsub,xlsbatch: X görüntüsü yardımıile kullanılabilir)bkill: sisteme bırakılmış işi kesmekbstop: sisteme bırakılmış işi durdurmakbrestart: durdurulmuş işi tekrar başlatmak

LSF, Komutları…xbsubMotif tabanlıgrafiksel kullanıcıarayüzüxlsbatchLSF için Motif tabanlıgrafiksel kullanıcıarayüzü

LSF, Örneklerbsub ./a.outBu durumda LSF varsayılan kuyruğu (workq) vekomutun çalıştırıldığımakina ile aynımimaridekien uygun makinayıseçer.bsub ­q hpccq ./a.outYukarıdaki örnekte iş “hpccq” kuyruğundaçalıştırılır. ­q özel olarak kuyruğun belirlenmesiiçin kullanılır.bsub ­q hpccq ­o lsf_output.txt ­eerrorfile.txt ./a.outEkran (­e) ve hata çıktıları(­o) belirtilen dosyalarayazılır.

LSF, Örnekler…bsub ­m “ cn08 cn09 cn10” ./a.outiş cn08, cn09 veya cn10 makinalarından birindeçalıştırılır.bsub ­b 20:00 ­J job_name ./a.out“job_name” ismi ile tanımlanmış iş saat 20:00 densonra sistemde çalıştırılır.bsub ­q interactiveq ­I xclockbsub komutu ile interaktif iş vermek,(“interactiveq” kuyruğu kullanılmalı!!!)

LSF, Örnekler…bsub ­q interactiveq ­Ip vi my_file.txt“my_file.txt” dosyasınıdeğiştirmek için interaktif olarak LSF e işverilir (30 dak. Ile sınırIı).­Ip, pseudo­terminal­Is, pseudo­terminal in shell modebsub my_script.sh“my_script.sh” bash kabuk betiği “workq” ya iş olarak verilirbsub ­q cigq ­n 4 bepam deneme.mpixSisteme 4 işlemci de çalışması için “cigq” kuyruğu üzerinden“deneme.mpix” adındaki MPI paralel iş veriliyorSolaris sistemler için : mprun (SUN MPI)Linux sistemler için : mpirun (MPICH)Paralel Işlerin sisteme verilmesi için “bepam” komutu kullanılmalı.

LSF, Örnekler…bsub < my_script.lsfSisteme “my_script.lsf” adındaki LSF betiğigönderilirTipik bir LSF betiği, seri işderleme işlemi bu şekilde istenilenmimari (SUN, HP veya IRIX) icin yapılabilir !!!

LSF, Örnekler…LSF betiği, paralel iş (MPI)bsub < deneme.lsfHer makinaya 4 iş veriliyor. Toplam olarak 8/4=2makina kullanılıyor.Linux Sistem, mpirun (MPICH)Solaris Sistem, mprun (SUN MPI)*** bepam komutu paralel işler sisteme verilirken kullanılır

LSF, Örnekler…LSF, OpenMPKaç thread yaratılacağıiki çesit belirtilebilir,OMP_NUM_THREADS çevre değişkenitanımlayarak, programın dışından değiştirilebilirancak “login shell” bash, csh veya tcsh olmalı. Bumetod ta “.bashrc veya .tcshrc” dosyalarındanbirinde çevre değiskeni tanımlanır. Böylece gridiçindeki her makinada çevre değişkenitanımlanmış olur.“omp_set_num_threads” fonksonu ile programıniçinde tanımlanır.

LSF, Örnekler…LSF betiği, Hybrid (MPI + OpenMP)OpenMP için çevre değişkeni veya fonksiyon kullanılarak “thread”sayısıbelirlenmeli. “bepam” komutu bsub ile verilen makinatanımlamaları(­m flag) ve ­n ile verilen Işlemci sayısınıMPI ayönlendirir.

Uygulama Örnekleri,GaussianÇevre Değişkeni Tanımlamaları(HP LINUX),tcsh,setenv g03root /SFS2/progs/gaussiansetenv GAUSS_SRCDIR /local/gaussian_stratchsource ${g03root}/g03/bsd/g03.loginbash,export g03root=/SFS2/progs/gaussianexport GAUSS_SRCDIR=/local/gaussian_stratch. ${g03root}/g03/bsd/g03.profilePATH değişkenine /SFS2/progs/gaussian/g03eklenir.

Uygulama Örnekleri,GaussianÇevre Değişkeni Tanımlamaları(SUN)tcsh,setenv g03root /progs/gaussiansetenv GAUSS_SRCDIR /local/gaussian_stratchsource ${g03root}/g03/bsd/g03.loginbash,export g03root=/progs/gaussianexport GAUSS_SRCDIR=/local/gaussian_stratch. ${g03root}/g03/bsd/g03.profilePATH değişkenine /progs/gaussian/g03 eklenir.LD_LIBRARY_PATH değişkenine görselleştirmeiçin /progs/gaussian/gv/lib eklenir.

Uygulama Örnekleri,GaussianGaussian Configurasyon Dosyasıhazırlanir(örn, deneme.com).Gaussian çalışmasıiçin betik yazılır (örn,gauss01.sh),#!/bin/bashg03 /groups/dalfes/turuncu/gaussian_x/deneme.combsub ­o lsf.out ­q chemistryq ./gauss01.shbsub ­R "gaussian && type==LINUX64” ­o lsf.out ­qchemistryq ./gauss01.sh*chemistryq sadece SUN mimarideki makinalarıkullanabilir.**Kullanıcıgaussian grubuna üye olmalı.

Uygulama Örnekleri, FluentFluent Çevre değişkenleri,SUNHPPATH + /progs/Fluent.Inc/bin/fluentLD_LIBRARY_PATH + /progs/Fluent.Inc/fluentlibs/libFLUENT_ARCH=ultraPATH + /SFS2/progs/Fluent.Inc/bin/fluentLD_LIBRARY_PATH + /SFS2/progs/Fluent.Inc/fluentlibs/libFLUENT_ARCH=lnamd64

Uygulama Örnekleri, Fluent…Komut Satırıile,Tek İşlemci,bsub ­q cigq ­o fluent.out fluent 3d ­g ­ifluent_script_fileÇok İşlemcili (MPI)bsub ­q cigq ­o fluent.out fluent 3d ­t20­pvmpi ­g ­i fluent_script_fileDetaylıBilgi, http://www.nus.edu.sg/comcen/svu/techinfo/fluent_cpqpll.html

Görselleştirme LaboratuarıSun Blade 2000 (7 adet)900­MHz UltraSPARC III Cu, 4 GB Bellek,Sun XVR­1000 grafik kart (73/256 MB), 73GB Hard Disk, SUN Solaris 9.0Apple PowerMac G4 (1 adet)2 x 1000 MHz G4, 2 GB Bellek, 73 GBHard Disk, Ati 9000 Grafik Kartı, MacOS XTiger 10.4 İşletim Sistemi

Görselleştirme Laboratuarı…Yazılım Altyapısı,Ensight GoldOpenGLVTKOpenDX

Görselleştirme Laboratuarı…Görselleştirme Laboratuarınıkullanmak için VisLAB enstitümüzdentemin edilebilecek başvuru formunundoldurulup teslim edilmesi gereklidir.

Destek ve HPC FormHPC Form, Her türlüsoru ve sorun içinkullanılabilecek birkaynaktır. Kullanıcılarüye olarak sorunlarınıçeşitli gruplardatartışabilirler.http://laplace.be.itu.edu.tr/forum/Sistemin Kullanımıve Sorunlar ile ilgili destekiçin, destek@be.itu.edu.tr adresine mailatılabilir.

ReferanslarLSF ile ilgili dökümanlar,http://batch.web.cern.ch/batch/doc­lsfsets.htmlLSF komutlarıve örnekler,http://scs.ictp.it/manuals/lsf6/B_jobops.html