BSc Thesis - tud.ttu.ee - Tallinna Tehnikaülikool

AutorideklaratsioonDeklareerin, et käesolev lõputöö on minu töö tulemus ja seda ei ole kellegi teise pooltvarem kaitsmisele esitatud.……………………..(kuupäev)……………………….(lõputöö kaitsja allkiri)

ANNOTATSIOONKäesolev töö käsitleb vabal tarkvaral põhineva virtualiseerimislahenduse OpenNodeinfrastruktuuri väljatöötamist. OpenNode lahendus töötatakse välja selliselt, et tavõimaldaks nii konteiner- kui ka täisvirtualiseerimise tehnoloogiate kasutamist. Töösantakse ka ülevaade virtualiseerimise valdkonnast üldiselt. OpenNodeinfrastruktuurist võetakse käesolevas töös täpsema vaatluse alla serveri tarkvarakomplekteerimine ja paigaldusmeetodi välja töötamine ning keskhalduse teenusteserveri loomine. Teenuste serveri ning serveri tarkvara paigaldusmeetoditööpõhimõtted on töös illustreeritud graafiliste näidetega.

ABSTRACTThis paper describes the development of open source virtualization solutionOpenNode. OpenNode will be developed to capacitate both container and native (full)virtualization technologies. This paper describes both development of centralmanagement server and single OpenNode server software (with its deploymentmethod) in detail. An insight into virtualization in general is also given in this paper.The work principles of central management server and OpenNode server softwaredeployment method are illustrated with graphical examples.

1 SISSEJUHATUS1.1 TaustEttevõte Active Systems on pikemat aega pakkunud oma klientidele lihtsatserveripinna renditeenust. Aasta 2009 esimesel poolel jõuti ettevõttes seisukohani, etklientide parema heaolu nimel tuleb oma tegevust serveripinna rentimisel laiendadaka privaatsete virtuaalserverite valdkonda.Esialgu pakuti oma klientidele virtualiseeritud servereid vaid OpenVZkonteinervirtualiseerimise tehnoloogia alusel. Virtualiseerimiseks vajaliketarkvarapakettide paigaldamine toimus igal serveril käsitsi ning virtualiseeritudserverite haldamiseks kasutati peamiselt käsureatööriistu.Suurenenud huvi virtualiseeritud privaatserverite vastu viis aasta 2009 lõpustõdemuseni, et ettevõtte enda ja klientide tarbeks serveritele virtualiseerimiseksvajaliku tarkvara käsitsi paigaldamine pole pikemas perspektiivis elujõuline lahendus– tekkis vajadus standardsema tarkvarakoosluse järgi. Lisaks ilmnes klientide poolthuvi ettevõtete sisevõrkudes olevates serverites kasutada ka täisvirtualiseerimist, miseeldas vastava virtualiseerimistehnoloogia lisamist serveri tarkvarale. Kolmasmurekoht oli süsteemiadministraatori seisukohast keeruline ning tülikas erinevatetehnoloogiate virtuaalmasinate haldamine virtualiseerimistehnoloogia-kesksetekäsureatööriistade abil. Lisaks eelnevalt mainitule oli puudus ka kesksesthaldusserverist, mis oleks lihtsalt laiendatav klientide erinevate soovide täitmiseks.Nii otsustatigi, et välja tuleb töötada nii täis- kui kakonteinervirtualiseerimistehnoloogiate kasutamist ning lihtsat haldamist võimaldavvirtualiseerimislahendus, mille edasiseks nimeks sai OpenNode.1.2 Ülesande püstitusKäesolev töö pakub välja lahenduse Peatükis 1.1 välja toodud probleemidelevirtualiseeritud privaatserverite pakkumisel ning haldamisel. Sellest tulenevalt onkäesoleva töö üldeesmärgiks välja töötada infrastruktuur virtualiseerimislahenduseleOpenNode, mis peab vabastama nii virtualiseerimise teenuse pakkuja kui kasüsteemiadministraatori eelnevalt välja toodud probleemidest.7

Täpsemad eesmärgid OpenNode virtualiseerimislahenduse infrastruktuuri loomiseks,käesoleva töö raames on järgmised:1. Komplekteerida minimaalne tarkvaraline kooslus, mis võimaldab ühelOpenNode serveril pakkuda korraga nii täis- kui ka konteinervirtualiseerimisevõimalusi.2. Välja töötada paigaldusmeetod, mis peab võimaldama OpenNode serverioperatsioonisüsteemi, tarkvarapakettide ning vajalike eeldefineeritudkonfiguratsioonide lihtsustatud ja automatiseeritud paigaldamist riistvaraliseleserverile.3. Välja töötada keskse haldusserveri tarbeks teenuste server, koos vastavasuhtlusprotokolliga, mis peab võimaldama erinevatel kasutajaliidestekuvarakendustel, ühtset liidest kasutades, OpenNode servereid ning sealseidvirtuaalmasinaid hallata.1.3 Peatükkide ülevaadePeatükis 2 tutvustatakse lühidalt virtualiseerimise olemust ning erinevaid OpenNodelahenduses kasutatud tehnoloogiaid. Peatükk 3 kirjeldab OpenNode lahenduseülesehitust ja struktuuri erinevate kihtide kaupa – kogu virtualiseerimislahendus,üksik OpenNode server ning haldusserver. Peatükis 4 kirjeldatakse OpenNode serveritarkvara paigaldusmeetodi loomiseks tehtut. Peatükk 5 ja 6 keskenduvad detailsemaltkeskhalduse infrastruktuurile – vastavalt teenuste serveri ülesehitusele ning Funchaldusraamistiku kasutamisele. Peatükk 7 toob sisse OpenNode võrdluse teistesarnaste lahendustega.8

2 ÜLEVAADE VALDKONNASTJärgnevates alapeatükkides on lühidalt tutvustatud virtualiseerimise valdkonda ningülesande lahendamisel kasutatud põhiliseid tarkvaratehnoloogiaid.2.1 VirtualiseerimineArvutiteaduses pandi virtualiseerimistehnoloogia arengule alus 60-ndate lõpus IBMpoolt. Kuna 40 aastat tagasi oli serverite riistvara hind küllaltki kõrge, siis nägi IBMvirtualiseerimises võimalust, kuidas kasutada olemas olevat riistvara võimalikultefektiivselt. Teaduslik areng ning uued tootmistehnoloogiad tõid järgnevatelaastakümnetel riistvara hinnad madalamale tasemele. Uue riistvaraga kooskõlashakkasid ka operatsioonisüsteemid toetama lõimelisust ning mitmete protsessidesamaaegset töötamist. Kõik see jahutas avalikkuse huvi investeeridavirtualiseerimistehnoloogiatesse. 2000-ndate alguses avastasidsüsteemiadministraatorid virtualiseerimise endi jaoks taas. Virtualiseerimine pakkusvõimaluse tagada süsteemide suurem turvalisus, hallatavus ja usaldusväärsus. [12, lk34-35]Serverite virtualiseerimine tähendab üldises mõttes seda, et ühel riistvaralisel serverilkäivitatakse samaaegselt mitmeid erinevaid üksteisest isoleeritud virtualiseeritudservereid (virtuaalmasinaid). Sellised virtuaalmasinad võimaldavad üheleriistvaralisele serverile paigaldada samaaegselt erinevaid operatsioonisüsteeme (niimodifitseeritud kui ka modifitseerimata kujul).Virtuaalmasinad on, lisaks üksteisest, isoleeritud ka riistvaralisel serveril töötavastoperatsioonisüsteemist. Isolatsiooni riistvarast ja sellel töötavastoperatsioonisüsteemist pakub eraldi virtualiseerimise vahekiht. [9, lk 2]Vastavalt virtualiseerimise vahekihi implementatsioonile ning omadustelemoodustavad virtualiseerimistehnoloogiad tänapäeval kolm suuremat kategooriat:1. Täisvirtualiseerimine2. Paravirtualiseerimine3. Konteinervirtualiseerimine9

2.1.1 TäisvirtualiseerimineTäisvirtualiseerimine (tuntud ka emuleerimise nime all) on paindlik virtualiseerimisetehnoloogia. Nimelt emuleeritakse virtualiseeritud operatsioonisüsteemi jaoks koguvajaminev riistvara, mis omakorda lubab käivitada operatsioonisüsteemi virtuaalseskeskkonnas modifitseerimata kujul. Selline lähenemine võimaldab kasutada kakommertsiaalseid operatsioonisüsteeme, mille modifitseerimine on tavaliseltlitsentsitingimustega keelatud. [1, lk 36]Täielik riistvara emuleerimine võimaldab kokku sobitada ka erinevateleriistvaraarhitektuuridele suunatud operatsioonisüsteeme. (Näiteks on võimalik x86Windowsi arvutil emuleerida keskkond PowerPC Mac OS-i jaoks). Paindlikkusesaavutamisega maksab täisvirtualiseerimine lõivu madalama jõudlusega –virtualiseeritud operatsioonisüsteemi ja riistvara vahel käskluste teisendamine onajakulukas.Vabadest virtualiseerimistehnoloogiatest pakuvad täisvirtualiseerimise võimalustnäiteks KVM/QEMU ja XEN (x86 arhitektuuri laiendusi toetavatel protsessoritel).2.1.2 ParavirtualiseerimineParavirtualiseerimine erineb täisvirtualiseerimisest selle poolest, etoperatsioonisüsteemile ei emuleerita enam kogu riistvara. Selle asemelmodifitseeritakse operatsioonisüsteemi nii, et ta on teadlik virtualiseerimise vahekihiolemasolust. Paravirtualiseeritud operatsioonisüsteemides kasutatakse modifitseerituddraivereid, mis võimaldavad ligipääsu nii emuleeritud kui reaalsele riistvarale. [1, lk36]Paravirtualiseerimine on reeglina kiirem, kui täisvirtualiseerimine, kuid kasutatavadoperatsioonisüsteemid vajavad muudatusi, mis piirab kommertsiaalseteoperatsioonisüsteemide paravirtualiseerimise võimalusi.Vabadest virtualiseerimislahendustest pakub paravirtualiseerimise võimalust näiteksXen.2.1.3 KonteinervirtualiseerimineKonteinervirtualiseerimine põhineb operatsioonisüsteemi-taseme virtualiseerimisel,mis lubab luua ühe modifitseeritud operatsioonisüsteemi piires mitmeid üksteisestisoleeritud käivituskeskkondi. Selliseid käivituskeskkondi nimetatakse ka10

konteineriteks tänu sellele, et “operatsioonisüsteem sulgeb ühe virtuaalmasinaprotsessid kinnisesse isoleeritud konteinerisse”. Igal konteineril on oma protsessipuu,failid, kasutajad, võrguseaded ja konfiguratsioonifailid. Konteinerite otsene seotusriistvaralise serveri operatsioonisüsteemiga annab neile virtualiseerimataoperatsioonisüsteemiga samaväärse jõudluse. [14, lk 278-279]Konteinervirtualiseerimise puhul võidetakse küll jõudluses, kuid seda paindlikkusearvelt. Nimelt on konteinervirtualiseerimise piiranguks, et virtualiseeritudoperatsioonisüsteemid peavad olema riistvaralisel serveril töötavaoperatsioonisüsteemiga sama tüüpi. (Näiteks Linuxi konteinervirtualiseerimise korralsaab kasutada vaid Linuxi operatsioonisüsteeme, mis kasutavad kõik ühesugustkernelit.)Vabade Linux konteinervirtualiseerimise tehnoloogijate näideteks on Linux-vServers,OpenVZ ja FreeVPS. Serverites kasutatakse ka Parallels Virtuozzokonteinervirtualiseerimise tehnoloogiat, mis on omakorda OpenVZ kernelil põhinevkommertstoode.2.2 OpenVZ konteinervirtualiseerimise tarkvaraOpenVZ südameks on modifitseeritud Linuxi kernel, mis pakubsüsteemiadministraatorile järgnevaid teenuseid: [8, lk 3]1. Failide, seadmete, protsesside virtualiseerimine ning isoleerimine2. Riistvara serveri ressursside jagamine virtualiseeritud konteinerite vahel3. Konteineri hetkeseisundi salvestamine võimalusega konteiner hiljem samasseisus taastadaTänu sellele, et virtuaalmasinatele ressursside jagamine toimub kernelis, kulutabOpenVZ tehnoloogia konteinerite haldamiseks riistvaralise serveri ressurssiminimaalselt. OpenVZ autorite kohaselt kulutatakse protsessori ressursist 1-2%. [10,lk 13]Konteineritevaheliseks ressursijagamiseks kasutab OpenVZ kernel järgmiseidvõimalusi: [8, lk 3]1. Kahekihiline kettamahu piiramineRiistvaralise serveri administraatoril on võimalik määrata igale virtualiseeritud11

konteinerile maksimaalne kettamahu piirang. Virtualiseeritud konteineriadministraatoril on võimalik piirata iga kasutaja ja grupi maksimaalsetkettamahu kasutamist.2. Kahekihiline protsessori ajakulu planeerimineEsimesena otsustab OpenVZ kernel, millisele virtualiseeritud konteineriletööjärjekord üle antakse. Teisena otsustab kernel, millisele konteinerisiseseleprotsessile tööjärg antakse.3. Konteinerite parameetrite jälgimineOpenVZ kernel jälgib ja piirab konteinereid, mille tegevus nõuab liiga paljuriistvaralise serveri ressurssi ja seab ohtu teiste konteinerite töö.OpenVZ pakub süsteemiadministraatorile võimaluse luua uusi konteinereideeldefineeritud operatsioonisüsteemi-mallide põhjal. OpenVZ mallid koosnevadmetaandmetest ja arhiveeritud failisüsteemist. Metaandmetes kirjeldatakse äraoperatsioonisüsteemile vajalike tarkvarapakettide nimekiri, pakettide hoidlateasupaigad, pakettide autentsuse kontrollimise võtmed ja malli paigaldamiseksvajalikud programmid. Malli metaandmete faili kasutatakse, et tööristagavzpkgcache luua malli failistsüsteemi arhiivifail. OpenVZ pakub uue konteineriloomiseks ja haldamiseks tööriista vzctl, mis loob uue konteineri eeldefineeritudmalli alusel. Lisaks pakub OpenVZ konteinerite haldamiseks näiteks tööriistuvzlist ja vzquota. [10, lk 91-114]2.3 KVM/QEMU täisvirtualiseerimise tehnoloogiaKVM ja QUEMU moodustavad üheskoos vaba kernelipõhine täisvirtualiseerimisetehnoloogia Linuxile, mis kasutab efektiivselt ära Inteli ja AMD protsessorite x86arhitektuuri laiendusi (AMD-V ja Intel VT-x).Kui reeglina on täisvirtualiseerimise vahekiht realiseeritud kernelist eraldiseisvatarkvarakomponendina, siis KVM tehnoloogia puhul antakse virtualiseerimisevahekihi ülesanded üle otse Linuxi kernelile, implementeerides KVM tööloogikakerneli moodulina. Selline lahendus kasutab ära aastate pikkuse töö, mis on kulunudkernelis ressursside haldamise arendamiseks. KVM nimelt ei keskendu kernelifunktsioonide realiseerimisele virtualiseerimise vahekihis vaid kasutab olemas olevattehnoloogiat ressursside haldamiseks. [6]12

KVM kerneli moodul toimib liidesena virtuaalmasina ja kerneli vahel. KVM liides onrealiseeritud tavalise Linuxi märgiseadmena asukohaga /dev/kvm. /dev/kvmseade lubab virtuaalmasinate loomist, virtuaalmasinatele mälu eraldamist, ligipääsuvirtuaalse protsessori registritele. [7, lk 226]KVM-i põhisesse virtualiseerimistehnoloogiasse kuulub peale kerneli mooduli ka,vajaliku riistvara emuleerimiseks, QEMU emuleerimistarkvara. Virtuaalmasinpakendatakse QEMU protsessi, mis omakorda paistab riistvaralise serveri kerneliletavalise protsessina. Joonisel 1 on näidatud, kuidas paistavad operatsioonisüsteemilevirtuaalmasinad võrreldes tavaliste protsessidega. [13, lk 37-38]VirtuaalmasinVirtuaalmasinTavalineprotsessTavalineprotsessQEMU protsessQEMU protsessKVM kerneli moodulOperatsioonisüsteemi kernelJoonis 1 KVM virtuaalmasinate suhtlemine operatsioonisüsteemigaQEMU emulaator pakub virtuaalmasinate failipõhiste ketaste loomiseks ninghaldamiseks tööriista qemu-img. Viruaalmasinate haldamiseks pakub QEMUemulaator süsteemiadministraatorile tööriista qemu-system-x86. OpenNodevirtualiseerimislahenduses kasutatakse KVM/QEMU virtuaalmasinate haldamiseksenamjaolt Libvirt tarkvaraprojekti poolt pakutavaid tööriistu ning liideseidprogrammeerimiskeeltele.2.4 LibvirtLibvirt on vaba tarkvara projekt, mis pakub erinevatel tehnoloogiatel põhinevatevirtuaalmasinate haldamiseks ühtseid liideseid ja tööriistu. Libvirt eesmärgiks ontekitada ühtne abstraktsioonikiht, mis võimaldab erinevatevirtualiseerimistehnoloogiate poole pöörduda ühtse käskude komplektiga. [15, lk 5]Virtualiseerimistehnoloogiatest toetab Libvirt: KVM/QEMU, OpenVZ, Xen,VirtualBox, LXC, OpenNebula, Vmware ESX.Erinevate virtualiseerimistehnoloogiate haldamiseks on Libvirt projekti autorid13

loonud vastavad liidesed, läbi mille on vastava tehnoloogia virtuaalmasinadkättesaadavad. OpenNode tarkvaraprojektis kasutatakse KVM/QEMU ja OpenVZvirtualiseerimistehnoloogiate liideseid, mida Libvirtis tähistatakse vastavaltqemu:///system ja openvz:///system.Libvirt kuulub Red Hat poolt toetatavate tarkvaraprojektide nimekirja “A REDHATEMERGING Technology”.Libvirt annab süsteemiadministraatorile kaks erinevat võimalust virtuaalmasinatehaldamiseks. Serverile paigaldatud tarkvarapaketis sisaldub käsurea tööriist (konsool)virsh, mis võimaldab süsteemiadministraatoril ühenduda valitudvirtualiseerimistehnoloogia liidese külge ning sooritada virtuaalmasinatehaldusoperatsioone. Lisaks käsureautiliidile võimaldab Libvirt kasutada tarkvaraarendamisel ka liideseid mitmetele programmeerimiskeeltele - Python, Perl, Java, C#ja Ruby, milledest OpenNode virtualiseerimislahenduses leidsid kasutust liidesedkeelele Python.2.5 FuncFunc on keeles Python kirjutatud vaba serverite võrgupõhine haldusraamistik. Funchaldusraamistik koosneb hallataval serveril asuvast väikesest protsessist funcd ninghaldusserveris asuvast Func kontrollerist. Func loob võimaluse ühest kesksesthaldusserverist luua usaldusväärse, sertifikaatidel põhineva, SSL ühenduse mitmeerineva klientserveriga ning teostada neil haldusoperatsioone. Andmete vahetamisekskontrolleri ning kliendi vahel kasutab Func XML-RPC protokolli. [2]Klientserveritega luuakse ühendus üks-mitmele mudeli põhjal, st. korraga on Funcabil võimalik samade parameetritega operatsioon välja kutsuda mitmel eraldiseisvalserveril.Func loomisel silmas peetud võimalikult lihtsat laiendatavust. Olemas olevadfunktsioonid, läbi mille klientserveril operatsioone läbi viiakse, on koondatudmooduliteks. Modulaarne arhitektuur võimaldab tarkvaraarendajatel uutehaldusoperatsioonide sooritamiseks kirjutada piiramatul hulgal uusi Pythonimooduleid.14

3 OPENNODE VIRTUALISEERIMISLAHENDUSKäesolevas peatükis vaadeldakse OpenNode virtualiseerimislahenduse struktuurierinevaid kihte.3.1 OpenNode virtualiseerimislahenduse üldstruktuurOpenNode on virtualiseerimislahendus, mis võimaldab üheaegselt pakkuda serveritelnii täis- kui ka konteinervirtualiseerimise võimalusi, pakkudes samaaegselt võimalustkeskselt hallata OpenNode serveritel töötavaid virtuaalmasinaid.OpenNode virtualiseerimislahendus koosneb OpenNode serveritest, kesksesthaldusserverist ning kasutajaliideste kuvarakendustest. Joonisel 2 on näidatudgraafiliselt OpenNode üldstruktuuri osade omavaheline seotus. Erinevatekomponentide täpsemad sisemised struktuurid on välja toodud järgmistespeatükkides.OpenNodeserverKasutajaliidesOpenNodehaldusserverOpenNodeserverOpenNodeserverJoonis 2 OpenNode virtualiseerimislahenduse üldstruktuur15

3.2 OpenNode serverVastavalt Peatükis 1 toodud eesmärkidele ühildab OpenNode server endas võimalustsamaaegselt kasutada äriklassi Linux operatsioonisüsteemil nii konteiner- kui katäisvirtualiseerimise tehnoloogiaid. Samuti on OpenNode server võimeline võtmavastu käsklusi keskselt haldusserverilt.Joonisel 3 on rasvase tekstiga välja toodud põhilised tarkvarakomponendid, midakasutatakse täis- ja konteinervirtualiseerimise võimaldamiseks ning keskhaldusegaliidestumiseks. Tarkvarakomponentide ülesandeid on käsitletud järgnevatespunktides.FUNCLIBVIRTProgrammidOpenVZKVM/QEMUTeenusedProtsessidCentOS Linux operatsioonisüsteemJoonis 3 OpenNode serveris virtualiseerimiseks ja haldamisekskasutatava tarkvara struktuur3.2.1 OperatsioonisüsteemRiistvaralisel serveril töötav operatsioonisüsteemi valik oli tähtis, kuna kõigikasutatavate virtualiseerimis- ning muude tehnoloogiate töö hakkab sõltumaoperatsioonisüsteemi stabiilsusest ning turvalisusest. See tuleneb sellest, etalus-operatsioonisüsteemi murdumine, rünnaku korral, põhjustab ka kõigi üksikutevirtuaalmasinate murdumise. Seetõttu pidasimegi vajalikuks kasutada OpenNodeserveril äriklassi operatsioonisüsteemi.16

Äriklassi operatsioonisüsteemiks valisime CentOS Linuxi. Töö kirjutamise hetkel oliOpenNode serveris kasutusel uusim CentOS versioon 5.4. CentOSoperatsioonisüsteem võeti kasutusele järgmiste põhjuste tõttu: [4, lk xxii]1. Vaba CentOS operatsioonisüsteem on kompileeritud Red Hati pooltavalikustatud Red Hat Enterprise Linux lähtekoodist. See tagab, et CentOSjärgib üks-ühele Red Hati arendustööd äriklassi operatsioonisüsteemide vallas.Tänu binaarsele samasusele on CentOS-s kasutusel viimased kerneliuuendused, mida Red Hat oma äriklassi operatsioonisüsteemi jaoksbackport-ib.2. CentOS on aastaid olnud ettevõttes Active System kasutusel majutusteenuste,kontorite terminalisüsteemide ning infokioskite serveriteoperatsioonisüsteemina. Aastate jooksul on CentOS neis kasutusvaldkondadestõestanud end kui hästi hallatav ning stabiilne operatsioonisüsteem.3.2.2 KonteinervirtualiseerimineVastavalt Peatükis 2 välja toodud kitsendusele, et konteinervirtualiseeritavadoperatsioonisüsteemid peavad olema alus-operatsioonisüsteemiga sama tüüpi,teostatakse OpenNode-s Linux operatsioonisüsteemide konteinervirtualiseerimist.Vabadest konteinervirtualiseerimise tehnoloogiatest valisime kasutamiseks OpenVZjärgmiste eeliste tõttu konkurentide ees:1. OpenVZ arengut toetab ettevõte Parallels, kelle kommertsiaalse Virtuozzokonteinervirtualiseerimise tehnoloogia aluseks OpenVZ projekt on.2. Võrreldes FreeVPS-i ja Linux-vServers-ga toetab OpenVZ virtuaalsetekonteinerite hetkeseisu salvestamist ning konteinerite ühelt riistvaraliseltserverilt teisele viimist ilma virtualiseeritud operatsioonisüsteemi tööpeatamata.3. OpenVZ kasutab konteineritele võrguühenduse loomisel võrguliidestevirtualiseerimist. Võrreldes konkurentidega, kes isoleerivadoperatsioonisüsteemis erinevatele konteineritele ette nähtud virtuaalsedvõrguliidesed, pakub virtualiseerimine võimalust igas konteineris luua eralditulemüüri seaded.17

OpenNode server võimaldab OpenVZ kasutamist, kuna CentOS Linuxoperatsioonisüsteemi sidusime OpenVZ Linuxi kerneliga, mille viimane versioon olitöö kirjutamise hetkel 2.6.18-194.3.1.el5.028stab069.6.3.2.3 TäisvirtualiseerimineModifitseerimata operatsioonisüsteemide täisvirtualiseerimiseks valisimeKVM/QEMU tehnoloogia järgmiste eeliste tõttu:1. Võrreldes Xen tehnoloogiaga, kus virtualiseerimise tarvis kirjutatakse olulineosa operatsioonisüsteemi kerneli tööloogikast ümber, liidestub KVMmodifitseerimata kerneliga eraldi kerneli mooduli abil. Ülejäänudemuleerimiskeskkond QEMU asub serveri töömälus. [3, lk 1]2. Alates Linuxi kernelist 2.6.20 on KVM moodul ametlikult kernelisse lisatud,mis peaks tagama edaspidise ametliku arendustoe. Red Hat tagab KVM toe kaoma äriklassi Linuxite kerneli versioonidele.3. KVM virtualiseerimistehnoloogia tulevane areng omab suurt tuge Red Hatipoolt, kes 2008. aasta septembris ostis KVM senise arendusettevõtte. Red Hatitugi kindlustab, et KVM on stabiilsel kujul tagasiulatuvalt saadaval ka CentOSLinuxi kernelile.Töö kirjutamise hetkel kasutas OpenNode server KVM versiooninumbriga 83.3.2.4 Virtuaalmasinate haldamineVirtuaalmasinate haldamiseks kasutasime OpenNode serveris Libvirt tarkvarapakutavaid võimalusi. Alternatiivina tulnuks kõne alla virtuaalmasinate haldamisekserinevate tehnoloogiatega kaasnevate utiliitide kasutamine. Valisime virtuaalmasinatehaldamiseks Libvirt tarkvara järgmistel põhjustel:1. Libvirt pakub virtuaalmasinate haldamiseks ühtset käsustruktuuri2. Libvirt pakub liideseid keeles Python, pakkudes seega lihtsatühildamisvõimalust samuti Pythonis kirjutatud Func haldusraamistikuga.Toetatud virtualiseerimistehnoloogiatest kasutatakse OpenNode serverisQEMU/KVM ning OpenVZ Libvirt liideseid.Libvirt tarkvara konkreetsemat kasutamist OpenNode virtualiseerimislahenduseskäsitletakse järgmistes peatükkides.18

3.2.5 TarkvarauuendusedKuna mitmed OpenNode serveri tööks vajalikud tarkvarapaketid erinevad omakonfiguratsioonide poolest ametlikult pakutavatest, siis otsustasime piirata teatudmääral ka OpenNode serverite tarkvarauuendusi.Nimelt lubasime KVM, Libvirt ja OpenVZ tarkvarapakettide uuendused ainult läbiOpenNode koodivaramu, kindlustamaks, et paigaldamiseks oleksid saadaval vaidomavahel kokkusobivad versioonid tarkvarapakettidest (vt. ka alapeatükk 3.5).Lisaks lõime uue tarkvarapaketi nimega opennode, mille ülesandeks on hoida endasserveri tööks vajalike tarkvarapakettide sõltuvussuhteid, st. opennode tarkvarapaketipaigaldamisel nõutakse kindlate KVM, Libvirt ja OpenVZ kerneli versioonideolemasolu. Lisaks tarkvarapakettide sõltuvussuhete kindlaks määramisele sisalduvadopennode tarkvarapaketis ka tööriistad OpenNode serveri lokaalseks haldamiseks.Tarkvarapakett opennode annab OpenNode serveritel võimaluse edaspidi läbi viia kaautomatiseeritud tarkvarauuendusi.Lisaks olemasoleva tarkvara uuendamisele võimaldab loodud tarkvarapakettpaigaldada OpenNode lahenduse infrastruktuuri ka juba eelnevalt paigaldatud CentOSoperatsioonisüsteemile. Selline paindlikkus on saavutatud tänu vajaliketarkvarapakettide ning OpenVZ kerneli sõltuvussuhete kirjeldamisele opennodetarkvarapaketis. Seega on võimalik OpenNode serveri tarkvara paigaldada kasutadeslihtsat käsklust yum install opennode.3.3 Halduslahenduse kasutajaliidesTöö kirjutamise hetkel on planeeritud OpenNode halduskeskkonna kasutajaliidesearendamine kasutades QooxDoo raamistikku (http://qooxdoo.org/). Kasutajaliidesearendusprotsessi ja ülesehitust käesolevas töös täpsemalt ei kirjeldata.3.4 OpenNode haldusserverOpenNode virtualiseerimislahenduse üheks tähtsaimaks komponendiks on kesknehaldusserver, läbi mille toimub üksikute OpenNode serverite ning neis asuvatevirtuaalmasinate haldamine ja kontrollimine. Haldusserver peab olema võimelineliidestuma samaaegselt hulga OpenNode serveritega ning ka lõppkasutajalepakutavate kasutajaliidese kuvarakendusega. Järgmistes punktides on lähemaltkirjeldatud haldusserveri liidestumist mõlemal suunal.19

3.4.1 Haldusserveri liidestus OpenNode serveritegaOpenNode virtualiseerimislahenduses kaalusime haldusserveri ning OpenNodeserverite vahelise turvalise suhtlusmudeli loomisel ning serveritel operatsioonide läbiviimisel kahte varianti: SSH ühendust ning Func haldusraamistikku.OpenNode virtualiseerimislahenduses rajasime serveritevahelise suhtluse Funchaldusraamistikule. Võrreldes SSH ühenduse abil OpenNode serveritel operatsioonidekäivitamisega pakkus Func raamistik järgmiseid eeliseid:1. Func omab sisseehitatud mehanismi SSL sertifikaatide allkirjastamiseks ningjagamiseks üksikute serverite ja keskse haldusserveri vahel. Joonisel 4 onnäidatud, milliste tegevuste abil sertifikaadid üksikutele serveritele väljajagatakse.2. Func pakub programmeerijale võimaluse kasutada tarkvara arendamisel Func-iPythoni liideseid.3. Func võimaldab ühe operatsiooni käivitada korraga mitmel klientserveril.(Näiteks üheaegne tarkvarauuendus kõigil hallatavatel serveritel)4. Func võimaldab lihtsalt kirjutada uusi haldusoperatsioonide sooritamisekskasutatavaid mooduleid koos vastavate meetoditega.5. Hallataval serveril tekkivad vead kantakse edasi haldusserverile standardseteerinditena, mis võimaldab haldusserveril sooritada vigade haldust ning neist kakasutajaliideste kuvarakendustele teada anda.20

Joonis 4 Func sertifikaatide allkirjastamise ja jagamise protseduur.Func-i konkreetsemat kasutamist OpenNode serverite haldamisel käsitletaksePeatükis 6.3.4.2 Haldusserveri liidestus kasutajaliidese kuvarakendusegaVastavalt eelnevale kirjeldusele, peab haldusserver olema võimeline universaalsekssidestumiseks kasutajaliidese kuvarakendusega, st. haldusserver peab kasutajaliideselttulevate käskluste põhjal sooritama OpenNode serveritel operatsioone, milletulemused tagastatakse kasutajaliidesele.OpenNode virtualiseerimislahenduses otsustasime haldusserveril asuva liidese Funchaldusraamistikuga lahutada kasutajaliidese kuvarakendusest programmiliselteraldiseisvaks osaks. Selline lähenemine andis järgmised eelised:1. Kasutajaliidese kuvarakendus ei pea asuma haldusserveril - st. ühtset liidesthaldusserveril on võimalik kasutada nii veebipõhiste kui ka muud tüüpikuvarakenduste loomisel.2. Kuvarakenduse ning haldusserveril oleva liidese arendamisel saab kasutadaüksteisest sõltumatuid tehnoloogiaid.21

Haldusserveril otsustasime realiseerida Pythonis kirjutatud teenuste serveri, millegakasutajaliideste kuvarakendused oleksid võimelised ühtset liidest kasutades suhtlema.Teenuste serveri realiseerimist on täpsemalt kirjeldatud Peatükis 5.3.5 Serveri tarkvaraga seotud probleemidEelnevalt välja toodud hulga virtualiseerimiseks vajalike tehnoloogiate OpenNodeserveril kokku sobitamine põhjustas mitmeid probleeme. Põhiline probleem seisnesametlikult kompileeritud tarkvarapakettide konfiguratsioonis. OpenNode serveritarkvaras avastasime probleeme KVM ja Libvirt tarkvarapakettidega. Vigadelahendamiseks kasutatud modifitseeritud tarkvarapaketid on kättesaadavaks tehtudläbi eraldi loodud OpenNode koodivaramu.3.5.1 Probleem KVM tarkvarapakettidegaKVM tarkvarapaketi puhul esines probleem kerneli mooduliga. Nimelt on ametlikustCentOS koodivaramust pakutav KVM kerneli moodul kompileeritud silmas pidadesametlikku CentOS 5.4 Linuxi kerneli versiooni 2.6.18-164.el5.x86_64. Kuna agaOpenNode serveri operatsioonisüsteem kasutab modifitseeritud OpenVZ Linuxikernelit , siis KVM mooduli laadimine lõppes veaga.Lisaks erinevale kerneli versiooninumbrile KVM paketis erinesid ka KVM pooltnõutavad kerneli sümbolid OpenVZ kerneli poolt pakutavatest, mis põhjustasveasituatsiooni KVM tarkvarapaketi paigaldamisel.Probleemi lahendasime CentOS koodivaramust võetud lähtekoodi põhjal KVMtarkvarapaketi uuesti kompileerimisega, määrates operatsioonisüsteemi kerneliksvastava OpenVZ kerneli versiooni ning defineerides KVM mooduli poolt oodatavadsümbolid OpenVZ kerneliga ühilduvaks. Lähtekoodi põhjal uuesti kompileeriminelahendas meie probleemid nii KVM mooduli laadimisel kui ka vastava tarkvarapaketipaigaldamisel.3.5.2 Probleem Libvirt tarkvarapaketigaOpenNode serveri tarkvaras esines ka probleem tarkvaraga Libvirt. Nimelt on CentOSkoodivaramus pakutav ametlik Libvirt tarkvarapakett kompileeritud vaid QEMU jaXen tehnoloogiatel põhinevate virtuaalmasinate haldamiseks vajalike liidestega.OpenNode serveril kasutame aga QEMU (koos KVM kerneli mooduliga) ja OpenVZ22

virtualiseerimistehnoloogiaid.Probleemi lahendamiseks tuli, sarnaselt KVM-le, ametlikust koodivaramust pärittarkvarapakett uuesti kompileerida, lisades ka OpenVZ tehnoloogia liidestekasutamise võimaluse. Lõpptulemusena saadud Libvirt tarkvarapakett võimaldablisaks KVM/QEMU virtuaalmasinatele ka OpenVZ konteinerite haldamise.23

4 OPENNODE SERVERI PAIGALDUSMEETODVastavalt Peatükis 1 toodud eesmärkidele vajas OpenNode serveri tarkvarapaigaldusmeetodit, mis peab võimaldama operatsioonisüsteemi, tarkvarapakettide jakonfiguratsioonide lihtsustatud ning automatiseeritud paigaldamist riistvaraliseleserverile. Järgnevates alapeatükkides käsitletakse paigaldusmeetodi valikut ja väljatöötamist.4.1 Paigaldusmeetodi valikOpenNode serveri tarkvara paigaldusmeetodi valimisel jäi sõelale kaks erinevatvarianti:1. Värskelt paigaldatud OpenNode serveri kõvaketaste peegeldamine teisteleriistvaralistele serveritele.2. CentOS operatsioonisüsteemi paigaldusprogrammi Anacondamodifitseerimine OpenNode serveri tarkvara paigaldamiseks.Kuigi meetod nr. 1 pakub täisautomaatset paigaldusprotsessi, siis meetodil nr. 2 olidjärgmised eelised:1. Kõvaketaste peegeldamine teistele riistvaralistele serveritele meetodis nr. 1eeldab neilt sarnast riistvaralist konfiguratsiooni. Ametlikupaigaldusprogrammi modifitseerimine võimaldab OpenNode serveri tarkvarapaigaldada erinevate konfiguratsioonidega serveritele.2. Võimalik on kasutada ning modifitseerida CentOS-i Pythonis kirjutatudpaigaldusprogrammi Anaconda.3. Anaconda võimaldab lisada programmi uusi kasutajavorme, saamakskasutajalt paigaldusprotsessi ajal tagasisidet.4. Kasutaja poolne valikute tegemine annab võimaluse riistvaralisel serveriltekitada ka erivajadustele vastavaid konfiguratsioone.5. Anaconda pakub paigaldusprotsessi sammude kirjeldamiseks lahendustKickstart, mis hõlbustab paigaldusmeetodi väljatöötamist.Eelnevalt toodud põhjustest lähtuvalt valisime OpenNode serveri tarkvara24

paigaldamiseks meetodi nr. 2. Järgmistes alapeatükkides kirjeldataksepaigaldusprogrammis Anaconda tehtud muudatusi ja lahenduse Kickstart kasutamist.4.2 Paigaldusprogrammi Anaconda modifitseerimineAnaconda modifitseerimise käesolevas töös põhjustas vajadus saada paigaldamise ajalsüsteemiadministraatorilt tagasisidet. Anaconda pakub võimalust keeles Python ningkasutades pyGTK abil GTK+ GUI teeki lisada paigaldusprogrammi uusikasutajavorme.Järgmistes punktides on kirjeldatud Anacondasse sisse viidud muudatusi.4.2.1 Kõvaketaste partitsioneerimisskeemide kasutajavormEsimene Anacondasse sisse viidud modifikatsioon puudutas kõvaketastepartitsioneerimist puudutavat kasutajavormi. Nimelt otsustasime, et paigaldusprotsessilihtsustamiseks peaks süsteemiadministraatoril olema võimalus valida üks järgmistestkõvaketaste partitsioneerimisskeemidest:1. Riistvaraline RAID skeem / Ilma RAID-ta skeem2. Linuxi tarkvaraline RAID1 skeem3. Käsitsi partitsioneerimisskeemi loomineOpenNode serveri paigaldusprotsessis asendab kõvaketaste partitsioneerimisskeemivaliku kasutajavorm Anaconda vaikimisi tervitusekraani. Kasutatavatpartitsioneerimisskeemi valiku ekraanipilti kirjeldab Joonis 5.25

Joonis 5 Kasutajavorm kõvaketaste paritsioneerimisskeemi valikuksVastavalt valikule luuakse Anaconda standardsete funktsioonidega OpenNode serveripartitsioneerimisskeem (toodud punktis 4.2.2). Standardfunktsioonide kasutamisetõttu on süsteemiadministraatoritel võimalik loodud partitsioneerimisskeemiAnaconda sisseehitatud vahenditega detailselt redigeerida. Linuxi tarkvaralise RAID1partitsioneerimisskeemi redigeerimise kasutajavormi kirjeldab Joonis 6.26

Joonis 6 Valitud partitsioneerimisskeemi detailne redigeerimine4.2.2 Kõvaketaste partitsioneerimiskeemidEelmises punktis välja toodud kaks partitsioneerimise valikut kasutavad mõlemadvaikimisi ühesugust alusskeemi, mida kirjeldatakse Joonisel 7.swap / /vz /storage /backup/bootLVM partitsioonide gruppKõvaketasJoonis 7 OpenNode serveril kasutatav vaikimisi partitsioneerimisskeemEsimese skeemi valimise korral luuakse OpenNode serveri partitsioonid esimeselefüüsilisele kettale (riistvaralise RAID puhul esimesele kettamassiivile). OpenNodeserveri kõik partitsioonid, välja arvatud /boot, on loodud LVM partitsioonide gruppi,lihtsustamaks hilisemat üksikute partitsioonide haldamist.27

Teise skeemi valimise korral hõlmab Joonisel 7 olev “Kõvaketas” OpenNode serverikahte esimest füüsilist ketast, millele luuakse Linuxi tarkvaraline RAID1. ReaalsedLinuxi tarkvaralisel RAID1-l olevad partitsioonid on sama struktuuriga kui esimeseskeemi valikugi puhul.OpenNode serveri partitsioonid täidavad järgmiseid ülesandeid:• /boot – sisaldab operatsioonisüsteemi kernelit ning Grub käivitushaldurikonfiguratsioone• swap – partitsioon virtuaalmälu jaoks• /vz – sisaldab OpenVZ operatsioonisüsteemi mallide ning virtuaalsetekonteinerite failide hoidmiseks• /backup – sisaldab regulaarseid tagavarakoopiad• /storage – sisaldab KVM/QEMU failipõhiseid kettaseadmeid,operatsioonisüsteemide paigaldusmeediate ISO faile, virtuaalmasinatemallifaile• / - juurpartitsioon, mis sisaldab kõiki faile peale nende, mis asuvadeelnimetatud partitsioonidel4.2.3 Tarkvarapakettide valikuvõimalusedÜks Peatükis 1 toodud ülesanne oli komplekteerida minimaalne virtualiseerimistvõimaldav tarkvarakooslus. Ülesande täitmiseks eemaldasime esialgsest CentOSpaigaldusmeediast mittevajalikud tarkvarapaketid. Ainult vajalike tarkvarapakettidepaigaldusmeediasse jätmisega saavutasime meedia mahu kahanemise suurusjärgus4GB-lt 0.5GB-le.Kuna kõik mittekasutatavad tarkvarapaketid on paigaldusmeediast eemaldatud, siisotsustasime modifitseerida Anaconda programmifaile ning lülitada tavapärasepakettide valiku välja. Tarkvaralist vahendit Kickstart, milles määratakse kindlakspaigaldatavad tarkvarapaketid, on käsitletud järgmises alapeatükis.4.3 Paigaldusprotsessi kirjeldamise võimalus KickstartCentOS paigaldusprogramm Anaconda pakub süsteemiadministraatorile võimaluseoperatsioonisüsteemi paigaldamise protsessi eelnevalt kirjeldada. Sellisepaigaldusprotsessi kirjeldamise vahendiks Anacondas on Kickstart.28

Lisaks Anaconda kasutajaliidese modifitseerimisele otsustasime paigaldusmeedialoomisel kasutada ka Kickstarti tema selge struktuuri ning lihtsa muutmisvõimalusetõttu. Kickstarti kasutamine võimaldab paigaldamisprotsessi edaspidiseid muutuseidkirjeldada ühes failis ning vältida sellega pidevat Anaconda programmifailidemodifitseerimist.Kickstart failil on kindlaks määratud struktuur, mis koosneb järgmistestsektsioonidest:1. Paigaldusprotsessi üldvalikud (options)2. Paigaldatavate tarkvarapakettide ning paketigruppide nimekiri (%packages)3. Paigaldusprotsessi eelsed ning järgsed tegevused (%pre, %post)Järgmistes punktides kirjeldatakse täpsemalt iga Kickstart struktuuri sektsiooni eraldi.4.3.1 Paigaldusprotsessi üldvalikudOpenNode serveri puhul kasutasime üldvalikuid, et kindlaks määrata järgmisedpaigaldusprotsessi seadistused:• OpenNode serveri puhul on tegemist uue paigaldusega, millepaigaldusmeediaks kasutatakse CD/DVD meediat.• Paigaldusprotsess on interaktiivne, mis võimaldab paigaldamise ajalsüsteemiadministraatoril eeldefineeritud väärtuseid muuta.• firstboot utiliit, mis võimaldab turva- ning võrguseadete muutmist, onesmakordsel serveri käivitamisel sisse lülitatud.• Paigaldatud operatsioonisüsteem kasutab kasutajate paroolide krüpteeritudhoidmiseks shadow faili.Üldvalikud võimaldaksid eelnevalt ka kindlaks määrata kõvaketastepartitsioneerimisskeemi, kuid OpenNode serveri puhul teostatakse skeemi valik ningpartitsioonide loomine modifitseeritud Anacondas.4.3.2 Paigaldatavate tarkvarapakettide ning paketigruppide nimekiriKäesolevas Kickstart faili sektsioonis koostasime nimekirja tarkvarapakettidest ningpaketigruppidest, mis reaalselt värskele OpenNode serverile paigaldatakse. Pakettidening gruppide defineerimine nimekirjana võimaldab hiljem paigaldatavate pakettide29

koosluse lihtsat muutmist.4.3.3 Paigaldusprotsessi eelsed ning järgsed tegevusedKäesolev sektsioon võimaldab eelnevalt defineerida tegevused, mida sooritataksevastavalt enne (%pre) ja pärast (%post) paigaldusprotsessi. Tegevused esitatakseKickstart failis skriptikeelte (BASH või Python) programmikoodidena.OpenNode serveri tarkvara paigaldamisel paigaldusprotsessi eelseid tegevusi eisooritatud. Juhul, kui partitsioneerimisskeemi valik ei toimuks modifitseeritudAnaconda ekraanivormide abil, oleks võimalus Pythoni Snack teegi abil luua %presektsioonis tekstipõhine kasutajavorm partitsioneerimisskeemi valikuks. Samutivõimaldab %pre sektsioon luua tekstipõhiseid kasutajavorme ka teiste seadistustevalimiseks.OpenNode serveri paigaldusprotsessi järgselt (%post sektsioonis) sooritataksejärgmised tegevused:• Virtuaalmasinate jaoks vajaliku võrgusilla loomine ning konfigureerimine.• OpenVZ virtualiseerimistehnoloogia jaoks vajalike süsteemimuutujatemuutmine.• OpenVZ virtualiseerimistehnoloogia utiliitide konfiguratsioonifailidemuutmine.• Koodivaramute konfiguratsioonifailide ning signeerimisvõtmete tõstmineOpenNode serverile.• Koodivaramute prioriteetide ning ignoreeritavate tarkvarapakettidenimekirjade muutmine.• /vz, /storage ning /backup failipuude olemasolu ning vajadusel nende loominejuurpartitsioonile.• OpenNode serveri tööks mittevajalike teenuste välja lülitamine.30

5 OPENNODE KESKHALDUSE TEENUSTE SERVERPunkti 3.4.2 kohaselt peab OpenNode haldusserver pakkuma kasutajaliidestekuvarakendustele võimalust edastada operatsioonide sooritamise käske üksikuteleOpenNode serveritele. Käesolevas peatükis kirjeldatakse täpsemalt OpenNodekeskhalduse teenuste serveri toimimist. Järgnevalt toodud teenuste serveri kirjeldus eiole lõplik, sest silmas pidades teenuste serverite lihtsat laiendatavust on uute teenusteloomine kerge. Toodud teenused ning nende kirjeldused on töös toodudillustreerimaks teenuste serveri tööpõhimõtet.5.1 Teenuste serveri andmevahetusprotokollidKuna OpenNode virtualiseerimislahenduse esmase kasutajaliidese kuvarakendusearendamine on planeeritud QooxDoo raamistikul, siis vajasime teenuste serverit,millega kasutatav raamistik võimalikult lihtsalt ühilduks.QooxDoo projektis on loodud võimalus suhtlemiseks serveritel asuvate teenustega.Seega võtsime täpsema vaatluse alla QooxDoo poolt pakutavate teenustega suhtlemiseprotokolli ning kaalusime selle sobivust loodaval teenuste serveril kasutamiseks.QooxDoo raamistiku vastavas objektis kasutatakse serveri poole pöördumiseks HTTPGET päringut järgmisel kujul:http://server:teenuste_port/?id=pöördumise_id&service=teenuse_nimi&method=meetodi_nimi&params=[meetodi_parameeter1, ...]Raamistiku vastavad objektid ootavad serverilt vastust JSON formaadis järgmiselkujul:{"error""id""result": “võimalik tekkinud erind”,: “esialgse pöördumise identifikaator”,: “operatsiooni käivitamise tulemus”}31

Kui vaadata eelpool toodud suhtlusprotokolli, siis selgub, et rahuldatud on põhilisedOpenNode teenuste serveri vajadused. Andmevahetus teenuste serveriga eeldabteenuste poole pöördumist sarnaselt kohalike meetodite poole pöördumisega,kasutades tekstipõhiselt esitatavaid parameetreid. Ka teenuste poolt tagastatavadoperatsioonide tulemused on reeglina lühikesed ning esitatakse tekstipõhistena.Samuti on eelnevalt toodud teenuste poole pöördumise protokoll piisavalt lihtne, ettulevikus realiseerida pöördumisteks vajalikud objektid ka teistes keeltes kirjutatudkuvarakendustele.Esialgsesse JSON vastuseformaati viisime sisse ühe uuenduse – nimelt mekapseldasime võtmega “result” väärtuse veel omakorda dictionary andmestruktuuriks,lisades vastusesse võtmega “type” väärtuse....“result” :{“type” : “vastuse tüüp”,“result” : “operatsiooni käivitamise tulemus”}...Võtme “type” väärtusena tagastab teenuste server operatsiooni tulemuse allika tüübi –kas vahemälust võetud vanem versioon või operatsiooni käivitamise värske tulemus.See muudatus sai tehtud eesmärgiga kasutajaliideste kuvarakendusi pareminiinformeerida tehtud päringu vastuse allikast.Kuna kasutatav haldusraamistik Func on realiseeritud keeles Python ning omab samaskeeles teistele programmidele liideseid, siis realiseerisime teenuste serveri samutikeeles Python, et vältida Funcile suunatud käskluste vahepealsetprogrammeerimiskeelte vahelist teisendamist.5.2 Teenuste serveri ülesehitusRealiseeritud teenuste serverit võib vaadelda mitmekihilisel mustril põhinevastruktuurina, kus funktsioneerivad järgmised mitmekihilisele arhitektuurileiseloomulikud kihid: [11, lk 19-22]32

1. Teenuste serveri põhikontroller, mis käivitab etteantud pordil lihtsa serveri ningjääb ootama pöördumisi ning suunab need edasi vajalikele teenustele.2. Teenuste klassid ning nendes sisalduvates meetodites asuv tööloogika Funcoperatsioonide välja kutsumiseks. Teenuste klassid suhtlevad andmete saamiseksomakorda andmevahetuse kihiga.3. Andmevahetuse kiht on omakorda jagatud kolme erineva komponendi vahel:a. CacheManager vahemälu kontroller, mille ülesandeks andmebaasishoitavate vahemälu kirjete pärimine, uuendamine ning lisamine.Vahemälu kontroller teenindab teenuste klasside meetodeid,võimaldades neil kasutajaliidesele tagastada eelnevate Func päringutetulemusi. Vahemälu kirjetes sisalduvad varasemalt läbi viidud Funcoperatsioonide tulemused.b. Func kontroller, mis käivitab OpenNode serveritel Func meetodeid jatagastab läbi viidud operatsioonide tulemusi.c. Andmebaasikontroller, mille ülesandeks on otsene suhtlus andmebaasisasuva vahemälutabeliga ning samas ka kasutajate sessioonihaldusetabeliga. Esialgses teenuste serveri implementatsioonis kasutasimelihtsat andmebaasisüsteemi sqlite.Lõppkasutaja ja teenuste serveri vahel seisvat kasutajaliidese kuvarakendust võibomakorda vaadata keerulisema sisemise struktuuriga presentatsioonikihina, mis saabvajalikud andmed teenuste serveri põhikontrollerilt. Teenuste serveri üldstruktuur ontoodud Joonisel 8 asuva klassidiagrammina.33

Joonis 8 Teenuste serveri komponentide seotust kajastav klassidiagramm.5.3 Teenuste serveri põhikontrollerPõhikontroller kujutab endast keeles Python kirjutatud programmi, mis täidab liideseülesannet serveri poolt pakutavate teenuste ning teenuseid vajava kasutajaliidesekuvarakenduse vahel. Side kasutajaliidese kuvarakenduse ning teenuste serveri vaheltoimub üle standardse HTTPS protokolli, pakkumaks turvalist sidet.Teenuste serveri põhikontroller teostab oma elutsükli vältel järgmised toimingud:1. Käivitab etteantud pordil ning IP-aadressil lihtsa HTTP serveri.2. Seob teenuste klassid vastavate teenuste nimedega (HTTP GET pöördumisesparameeter “service”).3. Alustab HTTP GET pöördumiste ootamist.4. Suunab kättesaadud HTTP GET pöördumise vajalikule teenuse klassile (võitagastab veateate, kui teenus puudub)5. Tagastab teenuse klassilt tulnud vastuse kasutajaliidesele HTTP response kujul34

5.4 CacheManager vahemälu kontrollerOpenNode teenuste serverile lisasime ka Func päringute tulemuste vahemälu koosvastava kontrolleriga järgmistel põhjustel:1. Vahemälu olemasolu võimaldab vähendada võrguliiklust keskse haldusserverining üksikute OpenNode serverite vahel. CacheManager kontrolleri olemasoluvõimaldab vajadusel tagastada kasutajaliidesele vahemälus hoitavaid eelnevateFunc päringute tulemusi (näiteks harva muutuvad OpenNode serveritekonfiguratsiooniparameetrite väärtuseid).2. Vahemälu olemasolu võimaldab kasutajaliidese poolt välja kutsuda teenustemeetodeid, mille operatsioonid kestavad kauem, kui HTTP ühenduse timeout.CacheManager vahemälu kontrolleri töö ning juhtimine on koondatud kahtemeetodisse:1. get_cache – Vastavalt etteantud võtmele saadab päringu andmebaasikontrollerile ning tagastab vahemälu andmebaasist leitud kirje.2. save_cache – Saadab andmebaasi kontrollerile vahemälu kirjesalvestamise/uuendamise päringu.5.4.1 Vahemälu tööloogika Teenuste serveri jaoks vahemälu implementeerimisel kasutasime alusmaterjalinaMark Grandi poolt kirjeldatud vahemälu toimimismehanismi [5, lk 283-302]. Nimelttoimub vahemälust andmete pärimine ning salvestamine CacheManager klassivahendusel, kuid nende tegevuste algatajateks on teenuste klassid.Hõlbustamaks vahemälu puhul andmete aegumise tuvastamist, ootab teenuste serveriga pöördumise juures ka ajanihke parameetrit, mille abil teavitatakse teenusteserverit, kui vanad konkreetse pöördumisega kasutatavad andmed olla võivad. Seeannab võimaluse sooritada ka operatsioone, mille andmed ei tohi tulla vahemälust –ajanihke parameetriks tuleb sel juhul määrata 0.Ajanihke parameetri edastamise nõudega panime andmete ajalise kehtivuse piiridemääramise kasutajaliidese kuvarakenduse ülesandeks, st. igas üksikus kasutajaliidesekuvarakenduses on võimalik otsustada vajalike andmete uudsuse üle.Detailsemalt toimub vahemälu kasutamine operatsioonide läbiviimisel:35

1. Ühe konkreetse teenuse klassi meetod kutsutakse teenuste serveri kontrolleripoolt välja.2. Väljakutsutud teenuse meetod kutsub välja CacheManager klassi meetodiget_cache() päringuvõtmega, mis on string struktuuriga –“teenus-meetod-[parameeter1,parameeter2,...,parameeterN]”. Selline võti onunikaalne igale kindlale serverile (serverite grupile) määratud Func väljakutsekohta.3. Väljakutsutud teenuse meetod kontrollib CacheManager klassi get_cache()meetodi tagastatud tulemust.4. Kui vahemälu kirje tagastati, siis:a. Kui vahemälu kirje ei ole aegunud, siis tagastatakse ta tulemusenateenuste serveri kontrollerile. Aegumise tuvastamine teostataksetehtega hetke_aeg - andmete_aeg < ajanihke_parameeter.b. Kui vahemälu kirje on aegunud, siis:i. Pöördub väljakutsutud teenuse meetod omakorda Funckontrolleri poole ning kutsub seega OpenNode serveril väljavastava Func meetodi.ii. Väljakutsutud teenuse meetod salvestab Func kontrolleriltsaadud tagastustulemuse vahemälu andmebaasitabelisse.iii. Väljakutsutud teenuse meetod tagastab teenuste serverikontrollerile Func kontrollerilt saadud tagastustulemuse.5. Kui vahemälu kirjet ei tagastatud, siis:a. Pöördub väljakutsutud teenuse meetod omakorda Func kontrolleripoole ning kutsub OpenNode serveril välja vastava Func meetodi.b. Väljakutsutud teenuse meetod salvestab Func kontrollerilt saadudtagastustulemuse vahemälu andmebaasitabelisse.c. Väljakutsutud teenuse meetod tagastab teenuste serveri kontrollerileFunc kontrollerilt saadud tagastustulemuse.36

5.4.2 Vahemälu andmebaasitabel “cache”Vahemälu realiseerisime selliselt, et ta kasutab ainult ühte ning lihtsa struktuurigaandmebaasitabelit “cache”. Tabelis 1 on eraldi välja toodud andmebaasitabeli “cache”kirjeldus.Välja nimi Välja tüüp Välja kirjelduscache_key string tabeli primaarvõti kujul “teenus-meetod-[parameeter1,parameeter2,...,parameeterN]”cache_value string vahemälu kirje väärtus, mis kujutab endastreeglina Func kontrolleri väljunditcache_timestamp number vahemälu kirje salvestamise/muutmise aeg(ajatempel)Tabel 1 Vahemälu andmebaasitabeli kirjeldus.5.5 Andmebaasi kontrollerAndmebaasi kontrollerisse koondasime kogu andmebaasiga suhtlemise loogika, sh.Ühenduste loomine ning andmebaasipäringute sooritamise. Teenuste serverilsuhtlevad andmebaasiga kaks komponenti – sessioonihaldus ning vahemälukontroller.Vahemälu kontrolleri jaoks realiseerisime andmebaasi kontrolleris järgmised kaksmeetodit:1. get_cache_data – Tagastab andmebaasitabelist “cache” etteantud võtmelevastava vahemälu kirje ning kirje ajatempli väärtuse.2. update_cache_data – Kui etteantud võti on andmebaasitabelis “cache” jubaolemas, siis uuendatakse vastava võtme vahemälu kirjet ning ajatemplit. Kuietteantud võtmega kirjet andmebaasitabelis “cache” pole, siis luuakse uus kirjeetteantud andmete põhjal.Sessioonihalduse läbiviimiseks realiseerisime andmebaasi kontrolleris järgmisemeetodi:1. get_session_data – Tagastab andmebaasitabelist “session” etteantud sessiooni37

identifikaatorile vastava sessiooni info.2. insert_session_data – Lisatakse uus / uuendatakse olemasoleva sessiooniinformatsiooni andmebaasitabelisse “session”. Kui lisatava sessiooniidentifikaatorile vastav sessioon juba eksisteerib, siis meetodiga uuendataksesessiooni ajatempli väärtust.5.5.1 Sessioonihalduse andmebaasitabel “session” Sessioonihalduse realiseerimise selliselt, et ta kasutab ainult ühte ning lihtsastruktuuriga andmebaasitabelit “session”. Tabelis 2 on eraldi välja toodudandmebaasitabeli “session” kirjeldus.Välja nimi Välja tüüp Välja kirjeldussessid String tabeli primaarvõti, sessiooni identifikaatoruser String sessiooniga seotud kasutaja identifikaatortimestamp Number sessiooni viimase toimingu ajatempelTabel 2 Vahemälu andmebaasitabeli kirjeldus.5.6 Teenuste klassidJärgnevates punktides on ära toodud teenuste serveril asuvad teenuste klassid, koosnende poolt pakutavate meetodite sisuga.5.6.1 GeneralService teenuste baasklassGeneralService klassi kasutasime baasklassina kõigile ülejäänud teenuste klassidele.Baasklassis realiseerisime meetodid ning funktsionaalsuse, mida vajavad oma töökserinevat tüüpi teenuste klassid.GeneralService klassis realiseeritud funktsionaalsus:1. Suhtlemine vahemälu kontrolleriga2. Suhtlemine otse admebaasikontrolleriga3. Exception klassi abil erindite teisendamine4. Func operatsioonide väljakutsumine38

5.6.2 CertmasterService teenuste klassCertmasterService klass pakub OpenNode serverite Func sertifikaatide allkirjastamisening tühistamise teenuseid. Realiseeritud teenused on vajalikud haldusserveri ningOpenNode serverite Func klientide vaheliste turvaliste ühenduste loomiseks ningkatkestamiseks.Klassi pakutavad teenused on realiseeritud järgmiste meetoditena:• list_requests – Tagastab haldusserverile tehtud sertifikaatideallkirjastamisnõuete nimekirja. Nimekiri sisaldab allkirjastamisnõuded teinudOpenNode serverite hostname-sid.• sign_request – Allkirjastatab etteantud hostname-ga OpenNode serverisertifikaadi allkirjastamisnõue. OpenNode virtualiseerimislahendusesrealiseerib sertifikaadi allkirjastamine serveri lisamist hallatavate serveritenimekirja.• list_signed – Tagastab hallatavate serverite nimekirja (nimekiri serveritest,mille sertifikaadid on haldusserveri poolt allkirjastatud).• remove_signed – Kustutab hallatavate serverite nimekirjast etteantud serveri.5.6.3 OpenVZService teenuste klassOpenVZService klass pakub OpenNode serveritel asuvate OpenVZ virtuaalmasinatehaldamiseks vajalikke teenuseid. Realiseeritud teenuste puhul eeldatakse, et OpenVZvirtuaalmasinad kasutavad standardseid malle ja konfiguratsioonifaile ningvirtuaalmasinad asuvad standardsetes /vz failipuu alamkataloogides.Klassi pakutavad teenused on realiseeritud järgmiste meetoditena:• list_vms – Tagastab nimekirja etteantud serveri(te)l asuvatest OpenVZvirtuaalmasinatest.• start_vm – Käivitab etteantud OpenVZ virtuaalmasina.• stop_vm – Peatab etteantud OpenVZ virtuaalmasina.• create_vm – Loob uue OpenVZ virtuaalmasina vastavalt määratud mallilening eeldefineeritud konfiguratsioonifailile. Lisaks võimaldab uuelevirtuaalmasinale määrata eeldefineeritud konfiguratsioonifailist erinevadIP-seadistused, hostname, ressursside kasutamise piirangud.39

• delete_vm – Peatab ja hävitab etteantud OpenVZ virtuaalmasina.• migrate_vm – live-migreerib OpenVZ konteineri ühelt OpenNode serveriltetteantud teisele OpenNode serverile. Migreerimise protsessi kirjeldataksetäpsemalt Peatükis 6.3.5.6.4 KVMService teenuste klassKVMService klass pakub OpenNode serveritel asuvate KVM/QEMUvirtuaalmasinate haldamiseks vajalikke teenuseid. Realiseeritud teenuste puhul onarvestatud võimalustega KVM/QEMU virtuaalmasinate loomist nii failipõhisteleketastele, LVM loogilistele ketastele ning reaalsetele plokk-seadmetele.Klassi pakutavad teenused on realiseeritud järgmiste meetoditena:• list_vms – Tagastab nimekirja etteantud serveri(te)l asuvatest KVM/QEMUvirtuaalmasinatest.• start_vm – Käivitab etteantud KVM/QEMU virtuaalmasina.• stop_vm – Peatab etteantud identifikaatoriga KVM/QEMU virtuaalmasina.• create_file_based_image – Loob etteantud parameetritega failipõhise kettaqcow2 formaadis. Failipõhine ketas luuakse OpenNode serverilstandardasukohta /storage/images/• delete_file_based_image – Kustutab etteantud failipõhise ketta OpenNodeserverilt.• list_file_based_image – Tagastab OpenNode serveri(te)l asuvate failipõhisteketaste nimekirja.• list_file_based_image_used – Tagastab OpenNode serveri(te)l asuvatefailipõhiste ketaste nimekirja, mis sisalduvad virtuaalmasinatekonfiguratsioonifailides.• create_vm_file_based – Loob etteantud failipõhisele kettale uueKVM/QEMU virtuaalmasina.• create_vm_lvm_based – Loob etteantud LVM loogilisele kettale uueKVM/QEMU virtuaalmasina.• create_vm_disk_based – Loob etteantud reaalsele plokk-seadmele uue40

KVM/QEMU virtuaalmasina.• delete_vm – Peatab ja hävitab etteantud KVM/QEMU virtuaalmasina.• live_migrate_vm – live-migreerib KVM/QEMU virtuaalmasina üheltOpenNode serverilt etteantud teisele OpenNode serverile. Juhul kuilive-migreerimine pole võimalik, siis tagastatakse veateade. Migreerimiseprotsessi kirjeldatakse täpsemalt Peatükis 6.3.• offline_migrate_vm – offline-migreerib KVM/QEMU virtuaalmasina üheltOpenNode serverilt etteantud teisele OpenNode serverile.5.6.5 LVMService teenuste klassLVMService klass pakub OpenNode serveritel LVM loogiliste ketaste haldamiseksvajalikke teenuseid. LVM loogiliste ketaste jaoks teenuste realiseerimisel pidasimesilmas just KVM/QEMU virtuaalmasinate loomisel loogiliste ketaste olemasoluvajalikkust.Klassi pakutavad teenused on realiseeritud järgmiste meetoditena:• list_vg – Tagastab nimekirja OpenNode serveri(te)l asuvatest LVM loogilisteketaste gruppidest.• list_lv – Tagastab nimekirja OpenNode serveri(te)l asuvatest LVM loogilistestketastest.• create_lv – Loob OpenNode serverile etteantud parameetritega uue LVMloogilise ketta etteantud ketaste gruppi.• delete_lv – Kustutab OpenNode serverilt etteantud LVM loogilise ketta.5.6.6 Exception klassTeenuste serveri kasutamisel koos Func haldusraamistikuga tekkis probleem erinditehaldamisega. Nimelt, kui OpenNode serveril asuvas Func moodulis/meetodis esineserind, siis tagastab Func vea tagastatava vastuse kehas. Eelnevalt välja toodudQooxDoo JSON tagastusformaat eeldab aga, et erind asub “error” parameetriväärtuses mitte tagastuse kehas.Exception klassiga lahendasime eelnevalt mainitud probleemi, teisendades Funcmeetodi erindi JSON formaadi “error” parameetri erindiks. Exception klassi meetodid41

on nähtavad ja ligipääsetavad vaid teenuste serveri sisestele klassidele.5.6.7 AuthService klassAuthService klass pakub teenuste serveri kasutamiseks kasutajate autentimiseksvajalikke teenuseid.Kasutajate autentimine toimub kasutajanime ning parooli alusel. Autentimisekshakatakse kasutama Pluggable Authentication Modules (PAM) mooduleid, etsidestada teenuste server lahti autentimisandmete hoidmisest.Eduka autentimise korral genereeritakse käimasoleva sessiooni ID, mida on kasutajalvõimalik enda tuvastamiseks kasutada. Vaikimisi kehtib konkreetse kasutaja sessiooniID 10 minutit tema viimasest tegevusest.Klassi pakutavad teenused on realiseeritud järgmiste meetoditena:• authenticate – kasutatakse kasutaja tuvastamiseks ja “sisselogimise”läbiviimiseks. Eduka kasutaja tuvastamise korral luuakse kehtiva sessiooni IDja tagastatakse see kasutajale.• deauthenticate – kasutatakse kehtiva sessiooni lõpetamiseks ja“väljalogimise” läbiviimiseks.Sessioonide kehtivuse ning õigsuse kontrollimiseks vajalikud meetodid onrealiseeritud kättesaadavaks teenuste serveri sisestele klassidele.42

5.7 Näidisoperatsiooni läbiviimineJoonisel 9 on graafiliselt kujutatud tarkvarakomponentide (-kihtide) kasutamisthaldusoperatsiooni läbiviimisel OpenNode virtualiseerimislahenduses KVMvirtuaalmasinate nimekirja leidmise näitel.Joonis 9 KVM virtuaalmasinate nimekirja leidmise näidispäringu läbiviimine43

6 FUNC HALDUSMOODULID OPENNODE SERVERILSelleks, et eelnevas peatükis välja toodud haldusserveri teenused suudaksidOpenNode virtuaalmasinatel läbi viia haldusoperatsioone, kasutatakse OpenNodevirtualiseerimislahenduses Func haldusraamistikku. Järgnevates alapeatükkides ontoodud täpsem ülevaade Func kasutamisest haldusserveri ja OpenNode serveriteliidestamisel. Sarnaselt teenuste serverile ei ole järgnevalt välja toodud Funcmoodulite nimekiri lõplik. Uute teenuste realiseerimisel on võimalik lisada uusi ningmuuta olemasolevaid Func mooduleid.6.1 Func haldusraamistikValdkonnast ülevaate tegemisel sai eraldi välja toodud Func raamistiku modulaarselaiendamise omadus. Modulaarsus jagab Func haldusraamistiku omakorda mitmetekskihtideks. Joonisel 10 asuv klassidiagramm annab ülevaate, kuidas Funchaldusraamistiku erinevad kihid asetsevad ning millest komponentidest/moodulitestkoosnevad.HaldusserverOpenNode serverJoonis 10 Func haldusraamistiku komponentide ning moodulite seotust iseloomustavklassidiagramm.Joonis 10 näitab, et Func vajab tööks komponente nii kesksel haldusserveril kui kaüksikul OpenNode serveril. Haldusserveril asub Func kontroller, mille abil liidestubhaldusraamistikuga teenuste server. Func klientobjekt ning tööks vajalikud moodulid44

asuvad kõik OpenNode serveril (st. haldusserverile ei pea eraldi lisama kliendi poolrealiseeritud moodulite kirjeldusi).Põhiline töö haldusoperatsioonide sooritamisel tehakse aga ära OpenNode serveritelasuvates Func moodulites. Neid mooduleid ning nende kasutamist kirjeldataksejärgmises alapeatükis.6.2 Func moodulid OpenNode serverilJoonisel 10 olid toodud põhilised kasutust leidvad Func haldusraamistiku moodulidOpenNode serverid. Neist LVM ja OpenVZ moodulid on tervenisti loodud ning KVMmoodulit on modifitseeritud OpenNode virtualiseerimislahenduse tarbeks. Certmaster,Command ja Hardware moodulid on kasutuses muutmata vaikimisi kujul.Järgmistes punktides on kirjeldatud eelnevalt välja toodud OpenNodevirtualiseerimislahenduses kasutatud põhilised Func moodulid.6.2.1 KVM moodulKVM moodul on sisseehitatud ametlikult jagatavasse Func tarkvarapaketti. KVMmooduli ülesandeks on pakkuda võimalust, kasutades Libvirt tarkvara, hallataKVM/QEMU virtuaalmasinaid. Libvirt tarkvaraga ühendub KVM moodul kasutadesvastavat Python liidest.KVM mooduli pakutavatest meetoditest kasutasime OpenNodevirtualiseerimislahenduses KVM/QEMU virtuaalmasinate haldamiseks järgmiseidmeetodeid:• list_vms – Tagastab KVM/QEMU virtuaalmasinate nimekirja.• autostart – Võimaldab KVM/QEMU virtuaalmasina automaatse käivitumiseserveri käivitumisel.• create – Võimaldab olemasoleva KVM/QEMU konfiguratsiooni põhjalvirtuaalmasina loomist (sisuliselt virtuaalmasina kävitaminekonfiguratsioonifaili põhjal).• shutdown – Võimaldab saata KVM/QEMU virtuaalmasinale shut-downsignaali virtuaalmasina peatamiseks.• destroy – Võimaldab jõuga peatada KVM/QEMU virtuaalmasina töö.45

• undefine – Võimaldab hävitada KVM/QEMU virtuaalmasina.Lisaks ametlikus tarkvarapaketis olevatele meetoditele realiseerisime KVM moodulisjärgmised meetodid:• create_new_vm_file_based – Loob uue failipõhise kettaga KVM/QEMUvirtuaalmasina.• create_new_vm_lvm_based – Loob uue LVM loogilist kõvaketast kasutavaKVM/QEMU virtuaalmasina.• create_new_vm_disk_based – Loob uue plokk-seadmel asuva KVM/QEMUvirtuaalmasina.• get_vm_type – Tagastab KVM/QEMU virtuaalmasina tüübi (failipõhine,LVM põhine või plokk-seadme põhine).• live_migrate_vm – Kasutatakse KVM/QEMU virtuaalmasinalive-migreerimiseks ühelt OpenNode serverilt teisele OpenNode serverile.Migreerimise protsessi kirjeldatakse täpsemalt Peatükis 6.3.• offline_migrate_vm – Kasutatakse virtuaalmasina offline-migreerimiseksühelt OpenNode serverilt teisele OpenNode serverile.• create_file_based_image – Loob uue failipõhise ketta.• delete_file_based_image – Kustutab olemasoleva failipõhise ketta.• list_file_based_image – Tagastab olemasolevate failipõhiste ketastenimekirja.• list_file_based_image_used – Tagastab virtuaalmasinatel kasutuses olevateolevate failipõhiste ketaste nimekirja.6.2.2 OpenVZ moodulOpenVZ mooduli ülesandeks on Func haldusraamistiku laiendamine võimalusegahallata OpenVZ konteinereid. OpenVZ mooduli loomisel on põhjana kasutatud KVMmoodulit, kust on laenatud Libvirt liidese kasutamise ning ametlikust tarkvarapaketistvõetud meetodite loogika (konteinerite käivitamise, peatamise ning hävitamisemeetodid).Lisaks KVM moodulist võetud meetoditele realiseerisime OpenVZ moodulis46

järgmised meetodid:• create_new_vm – Loob etteantud malli ning konfiguratsioonimuutujate(hostname, ressursside kasutamise limiidid, võrguseaded) uue OpenVZkonteineri.• save_vm_config_param – Salvestab/muudab üksiku OpenVZ konteinerikonfiguratsioonimuutuja väärtust.• migrate_vm – live-migreerib OpenVZ konteineri ühelt OpenNode serveriltteisele. Migreerimise protsessi kirjeldatakse täpsemalt Peatükis 6.3.6.2.3 LVM moodulLVM mooduli ülesandeks on Func haldusraamistiku laiendamine võimalusegaOpenNode serveril hallata LVM loogilisi kettaid ja ketaste gruppe. LVM loogilisteketaste haldamise vajadus pakub tuge KVM moodulile, kus on ette nähtud võimalusedLVM loogilistele ketastele KVM/QEMU virtuaalmasinate loomiseks.LVM ketaste haldamiseks realiseerisime järgmised meetodid, mis kutsuvad välja jakasutavad standardseid LVM haldusutiliite vgdisplay, lvdisplay, lvcreate, lvremove:• list_vg – Tagastab nimekirja OpenNode serveril olevatest LVM ketastegruppidest.• list_lv – Tagastab nimekirja OpenNode serveril olevatest LVM loogilistestketastest.• create_lv – Loob OpenNode serverile etteantud parameetritega uue LVMloogilise ketta etteantud ketaste gruppi.• delete_lv – Kustutab OpenNode serverilt etteantud ketaste grupist etteantudLVM loogilise ketta.6.2.4 Certmaster moodulCertmaster mooduli, mis on sisseehitatud ametlikult jagatavasse Func tarkvarapaketti,ülesandeks on pakkuda Func kliendile SSL sertifikaatide loomise ning haldamisevõimalusi.Certmaster moodulit kasutavad Func kontroller ning klient, kui toimub automaatnesertifikaatide loomise ning allkirjastamise protsess OpenNode serveri sidumisel47

haldusserveriga.6.2.5 Hardware moodulHardware moodul, mis on samuti sisseehitatud ametlikult jagatavasse Functarkvarapaketti, võimaldab Func kontrolleril käivitada meetodeid, mis tagastavadinformatsiooni OpenNode serveri riistvara ning ressursikasutuse kohta.6.2.6 Command moodulCommand mooduli, mis on samuti sisseehitatud ametlikult jagatavasse Functarkvrapaketti, ülesandeks on pakkuda Func kontrollerile võimalus käivitada Funckliendil käsurearakendusi. Command mooduli meetod run toimib vahekihina Funckontrolleri ning kliendil asuva Linuxi shell-i vahel.6.3 Virtuaalmasinate migreerimineEelnevates peatükkides, keskhalduse teenuste serveri ning Func moodulite ülesehitusekohta, on viidatud nii OpenVZ kui ka KVM/QEMU virtuaalmasinate migreerimisele.Käesoleva töö kontekstis on eelnevalt migreerimise all mõeldud konkreetsevirtuaalmasina liigutamist ühelt füüsiliselt OpenNode serverilt teisele OpenNodeserverile. Esialgu realiseeritakse virtuaalmasinate migreeriminevirtualiseerimistehnoloogia kesksena, st. ei võimaldata OpenVZ konteinerimigreerimist KVM/QEMU virtuaalmasinaks ja vastupidi.Järgmistes punktides kirjeldatakse lühidalt nii OpenVZ kui ka KVM/QEMUvirtuaalmasinate migreerimist.6.3.1 Migreerimise ettevalmistamineKuna, nii OpenVZ kui ka KVM/QEMU virtuaalmasinate migreerimine toimub otseOpenNode serverilt (server A) OpenNode serverile (server B), siis on vaja luuaajutiselt migreerimise ajaks kahe serveri vahele turvaline ühendus. EsialgsesOpenNode lahenduse realisatsioonis kasutatakse üksikute serverite vahelise ajutiseusalduse loomiseks SSH ühendust koos PKI infrastruktuuriga.SSH ühenduse kasutamine sai valitud, kuna nii OpenVZ kui ka KVM/QEMUtehnoloogiate poolt pakutavad migratsiooni-tööriistad omavad sisseehitatud tuge üleSSH ühenduse migreerimiseks. Lisaks võimaldab SSH kasutamine mõlema48

tehnoloogia korral vältida ühenduse loomise tööloogika dubleerimist.Migreerimise ettevalmistamisel kontrollitakse läbi teenuste serveri, millel on olemasturvaline ühendus mõlema OpenNode serveriga (serverid A ja B), kas OpenNodeserverite vahel on juba loodud SSH ühenduse jaoks PKI infrastruktuuril põhinevusaldus. Kui serveril A pole loodud SSH ühenduse jaoks avaliku/privaatse võtmepaari, siis luuakse enne migreerimist vastavad võtmed. Juhul kui serverile B polevarasemalt kopeeritud serveri A avalikku võtit, siis kopeeritakse enne migreerimistserverile B serveri A avalik võti.Eelnevate toimingute tulemusel on võimalik alustada virtuaalmasina migreerimistserverilt A serverile B.6.3.2 OpenVZ konteineri migreerimineOpenNode serveritel toimub OpenVZ konteineri live-migreerimine ära kasutadesOpenVZ kerneli omadusi, mis võimaldavad konteineri täieliku hetkeseisundi (niifailid kui ka töötavad protsessid) salvestamist ja hilisemat salvestatud seisunditaastamist.Nimelt toimub serveri A ja serveri B vastavate konteinerite failide ning protsessideseisundite sünkroniseerimine ilma serveri A migreeritavat konteinerit migreerimisekeskel peatamata. Vaid migreerimise lõpus tekib hetkeline paus konteineri töös, kuiviiakse läbi lõplik failide ning protsesside seisundite sünkroniseerimine ningpeatatakse serveri A konteiner ja taastatakse serverile B migreeritud konteineriprotsesside seisund.Eelnevalt kirjeldatud live-migreerimine paistab nähtamatuna nii konteinerile kui kakonteinerit kasutavatele klientidele. Kuna serverile B migreeritud konteineri seisundon serveril A asunud konteineri peatamiseelse seisundi üks-ühele koopia, siis ei tajukonteineri protsessid muutust füüsilises serveris. Konteinerit kasutavad kliendidtajuvad migreerimise lõpus tekkivat hetkelist pausi kui väikest häiret võrguühenduses.6.3.3 KVM/QEMU virtuaalmasina migreerimine KVM/QEMU virtuaalmasina migreerimisel realiseeritakse OpenNode serveritel kakslähenemisviisi live ja offline.OpenNode serveritel realiseeritav KVM/QEMU live-migreerimine võimaldab49

migreerimist juhul, kui:1. Virtuaalmasina failisüsteem on defineeritud võrgus jagatud kettapinnal, mis onsamaaegselt kättesaadav nii serverile A kui ka serverile B.2. Failitee, mille külge on jagatud kettapind laetud, peab olema serveril A jaserveril B ühesugune.3. Server A ja server B on sama versiooni OpenNode serverid. St. et serveritelepaigaldatud tarkvarapakettide versioonid ühtivad omavahel.4. Serveri A ja serveri B võrgukonfiguratsioonid peavad olema ühesugused.Eelnevalt toodud nõuete täitmisel lubatakse läbi viia KVM/QEMU virtuaalmasinalive-migreerimine serverilt A serverile B. KVM/QEMU live-migreerimine toimubosalt sarnaselt OpenVZ migreerimise loogikale. Sarnaselt eelnevas punktis mainitulepeatub virtuaalmasina töö hetkeks vaid migreerimise lõpus. Samas erinevalt OpenVZmigreerimisest ei sünkroniseerita serveri A ja serveri B vahel virtuaalmasinafailisüsteemi, kuna see asub mõlemale samaaegselt kättesaadaval jagatud kettapinnal.KVM/QEMU virtuaalmasina live-migreerimise puhul kopeeritakse jasünkroniseeritakse serverite vahel virtuaalmasina konfiguratsiooni fail(id) ningvirtuaalmasina mälutõmmis.Juhul, kui live-migreerimine pole võimalik virtuaalmasina failisüsteemi asukoha tõttu(failisüsteem pole võrgus jagatud kettal), siis viiakse läbi offline-migreerimine.Vastandina live-migreerimisele tekitab offline migreerimine virtuaalmasinapikemaajalise maasoleku.offline-migreerimise puhul peatatakse esmalt serveris A ajutiselt virtuaalmasina töö(suspend operatsioon). Seejärel luuakse serveril B virtuaalmasina failisüsteemi jaoksvajalikud virtuaalsed kettad ning kopeeritakse üle eelnevalt loodud SSH ühenduseserverilt A serverile B virtuaalmasina kogu failisüsteem. Lisaks failisüsteemilekopeeritakse serverile B ka virtuaalmasina konfiguratsioonifail ning ajutiselt peatatudvirtuaalmasina mälutõmmis.Juhul kui kõik vajalikud failid on serverile B korrektselt kopeeritud, siis käivitataksemigreerimisprotsessi lõpus serveril B migreeritud virtuaalmasin. Kuna serverile Bkopeeriti virtuaalmasina ning kõigi tema failide identne koopia, siis virtuaalmasinkäivitub sarnaselt live-migratsiooni lõpufaasile.50

On olemas veel ka teine võimalus OpenNode serveritel KVM/QEMU virtuaalmasinaoffline-migreerimseks. Nimelt, kui serveri B võrgukonfiguratsioon ei ühti serveri Akonfiguratsiooniga või pole võimalik serveril B luua virtuaalmasina failisüsteemijaoks virtuaalseid kettaid, mis vastaksid üks-ühele serveril A olevate ketasteasupaigaga, ei toimi eelnevalt mainitud tsenaarium korrektselt. Kui virtuaalmasinat jatema faile ei õnnestu üks-ühele vastavuses kopeerida serverile B, siis ebaõnnestubmälutõmmise põhjal virtuaalmasina hilisem käivitamine. Sellisel juhul peatatakseserveril A virtuaalmasina töö ning viiakse virtuaalmasin seisundisse “välja lülitatud”.Peatatud virtuaalmasina failisüsteemide jaoks luuakse virtuaalsed kettad serveril Bkasutaja määratud asupaikadesse ning uuendatakse vastavad failiteed virtuaalmasinakonfiguratsioonifailides. Virtuaalmasina failisüsteem kopeeritakse üle SSH ühendusetavapäraselt. Lisaks viiakse vajadusel virtuaalmasina konfiguratsioonifail vastavusseserveri B võrgukonfiguratsiooniga. Peale eelnevate toimingute läbiviimist käivitataksevirtuaalmasin serveril B. Kirjeldatud offline-migreerimine tekitab virtuaalmasinakõige pikema maasoleku.6.3.4 Migreerimise lõpetamineMigreerimise lõpetamisel toimitakse nii OpenVZ kui ka KVM/QEMU puhulsarnaselt. Nimelt katkestatakse ajutine SSH ühenduse usaldus serveri A ja serveri Bvahel juhul, kui seda enne migreerimist ei eksisteerinud. Juhul kui juba ennemigreerimist oli SSH ühenduse usaldus olemas, siis varasemat konfiguratsiooni eimuudeta.51

7 Võrdlus sarnaste lahendustegaKuna OpenNode virtualiseerimislahendus on loodud vaba tarkvara põhisena, siisvõrdluses kasutatakse samuti sarnaseid vaba tarkvara virtuaalmasinatehalduslahendusi Proxmox VE ja OpenSymbolic.7.1 Võrdlus Proxmox VE-gaSarnaselt OpenNode virtualiseerimislahendusele pakub ka Proxmox VE lisakshaldusliidesele ka riistvaralisele serverile paigaldamiseks eraldi operatsioonisüsteemi.Serveri operatsioonisüsteemina kasutab Proxmox VE Debian Linuxit (võrreldesOpenNode juures kasutatava CentOS Linuxiga).Virtualiseerimistehnoloogiatest võimaldab Proxmox VE nii OpenVZ kui ka KVMvirtuaalmasinate kasutamist. Toetatud on ka OpenVZ konteinerite paigaldamineeeldefineeritud mallide põhjal.Üks olulisemaid lisaväärtusi, mida OpenNode virtualiseerimislahendus pakub, onserveri operatsioonisüsteemi paigaldamisel tarkvaralise RAID-i kasutamine. KuiOpenNode serveri paigaldusmeedia võimaldab luua automaatselt tarkvaralisel RAID-lpõhineva partitsioneerimisskeemi, siis Proxmox VE arendajad on tarkvaralise RAID-ikasutamise võimaluse välja jätnud.Proxmox VE virtuaalmasinate haldusliides sisaldub riistvaralisele serverilepaigaldatavas operatsioonisüsteemis. Samas on kasutajale jäänud võimalushaldusliidesega siduda ka teisi Proxmox VE servereid (ühendus toimub üle SSHPKI infrastruktuuri). Võrreldes eelnevaga pakuvad OpenNode haldusvahendidsuuremat paindlikkust - kasutajaliides ja teenuste server on eraldatud ning teenusteserver ei pea asuma OpenNode serveril.Tarkvarauuendusi pakutakse Proxmox VE serverile sarnaselt OpenNode-ga läbieraldiseisva koodivaramu. See annab kasutajatele mõningase suurema kindluse, etkoodivaramust kättesaadavad paketid on eelnevalt testitud ning omavahelkokkusobivad.52

7.2 Võrdlus OpenSymbolic-gaVõrreldes OpenNode ja Proxmox VE-ga on OpenSymbolic vaid serverite kesknehaldusvahend, eraldi paigaldatavat operatsioonisüsteemi OpenSymbolic-ga ei kaasne.OpenSymbolic on sarnaselt OpenNode-ga loodud Func raamistiku peale, mis tagabkeskhalduse ühilduvuse CentOS/RHEL/Fedora Linux operatsioonisüsteemekasutatavate serveritega.OpenSymbolic haldusrakendus toetab virtualiseerimistehnoloogiatest KVM-i, Xen-ija VM-Ware-t. Toetatud on ka eelnevalt mainitud tehnoloogiatel põhinevatevirtuaalmasinate paigaldamine eeldefineeritud mallide abil. Virtuaalmasinatehaldamine toimub, sarnaselt OpenNode-le, läbi Libvirt tarkvara.Kuna OpenSymbolic on vaid serverite haldusvahend, siis onsüsteemiadministraatoritele antud vabad käed serveritel kasutatava tarkvarakomplekteerimiseks. See vabadus tähendab aga, et süsteemiadministraatoril tulebtäiendavalt näha vaeva, et enne töökeskonda paigaldamist kontrollida serveritelkasutatavate tarkvarapakettide omavahelisi sõltuvussuhteid ning sobivust.7.3 Võrdluse kokkuvõtteksEelnevast võrdlusest selgub, et OpenNode virtualiseerimislahenduse ülesehitus eikattu täpselt kummagagi võrreldutest. Pigem omab OpenNode teatud ühiseidtunnusjooni Proxmox VE lahendusega ning teatud ühiseid jooni OpenSymbolic-ga,lisades samal ajal omalt poolt ka uusi omadusi.Serverile paigaldatava operatsioonisüsteemi olemasolu tõttu sarnaneb OpenNodeProxmox VE-le ning eraldiseisva keskhalduse olemasolu lähendab OpenNode-tOpenSymbolicuga. Keskhalduse võimalustesse lisab OpenNode juurde OpenVZkonteinerite haldamise võimalused. Serveri operatsioonisüsteemile lisab OpenNodeäriklassi Linuxi stabiilsuse ja turvalisuse omadused ning võimaluse paigaldamiselkasutada ka tarkvaralist RAID-i.53

8 KOKKUVÕTEKäesoleva töö alguses püstitati eesmärkideks välja töötada täis- jakonteinervirtualiseerimist toetav OpenNode tarkvaraline kooslus koospaigaldusmeediaga ning OpenNode serverite keskseks haldamiseks vajalikinfrastruktuur.Täis- ja konteinervirtualiseerimist toetava tarkvaralise koosluse loomisel sobitatiCentOS Linuxi operatsioonisüsteemi poolt ametlikult pakutavadtarkvarakomponendid OpenVZ projekti poolt pakutava Linuxi kerneliga.Kokkusobivusprobleeme tekitasid tarkvarapaketid (KVM, Libvirt), mis olidkompileeritud silmas pidades ametlikku CentOS/RHEL kernelit ning ainultKVM/QEMU virtualiseerimistehnoloogiat. Töö käigus selgus, et sellised ühilduvusprobleemid olid lahendatavad tarkvarapakettide lähtekoodist ümberkompileerimisegastandardsetest erinevate valikutega.OpenNode serveri paigaldusmeetod loodi ametliku CentOS/RHELpaigaldusprogrammi Anaconda põhjal, mida laiendati eeldefineeritudpartitsioneerimisskeemide (nii riist- kui ka tarkvaralise RAID-i jaoks) pakkumiseks.Paigaldusprotsessi üldine kirjeldamine ja seadistamine viidi läbi vahendiga Kickstart.Kickstarti kasutati ka paigalduse järgseks konfiguratsiooni seadistamiseks, etoperatsioonisüsteem sobituks korraga nii KVM kui ka OpenVZ tehnoloogiatega.OpenNode virtualiseerimislahenduse keskhalduse infrastruktuur sai kavandatud kaheeraldiseisva kihina. Üksteisest eraldati kasutajaliidese kuvarakendus ning reaalseltserverite haldamise eest vastutav kiht. Käesolevas töös vaadeldi OpenNode serveritehaldamise infrastruktuurist teenuste serveri kihti. Kasutajaliideste kuvarakendusiteenindav teenuste server loodi kasutades keelt Python lihtsa HTTP serverina.Teenuste serveriga andmevahetus realiseeriti läbi HTTP GET päringute ning JSONformaadis vastussõnumite. Kasutajaliideste kuvarakenduste suhtlus teenuste serverigakorraldati üle turvalise HTTPS ühenduse.Turvalise ühenduse loomine hallatavate OpenNode serveritega lahendati Funchaldusraamistikku kasutades. Hallatavatel OpenNode serveritel läbi viidavadoperatsioonid realiseeriti Func moodulites asuvate meetoditena, mis andis teenusteserveril võimaluse operatsiooni käivitamiseks pöörduda Func kontrolleri vastava54

meetodi poole.Vähendamaks võrguliiklust teenuste serveri ning hallatavate OpenNode serveritevahel liideti teenuste serveriga ka vahemälu kontroller, mille ülesandeks sai läbiviidud Func operatsioonide tulemuste säilitamine teenuste serveril.Võrdlusest sarnaste lahendustega Proxmox VE ja OpenSymbolic selgus, etOpenNodel on eelnevalt mainitutega palju ühist. Samas lisas OpenNode sarnasteleomadustele võrreldutega ka mitmeid tähtsaid omadusi, nagu näiteks äriklassi Linuxioperatsioonisüsteemi pakutav stabiilsus ja turvalisus ning OpenVZ konteineritekeskse haldamise võimalus.Töö käigus saavutati sissejuhatuses püstitatud eesmärkide täitmine. Lisaks analüüsitija realiseeriti oluline baasosa OpenNode virtualiseerimislahenduse infrastruktuurist.Samas ei anna eesmärgid, milleni käesolevas töös jõuti veel täielikku virtuaalmasinatehaldusplatvormi. Sammud OpenNode virtualiseerimislahenduse edasiseksarendamiseks peaksid olema järgmised:• Teenuste serverit kasutava kasutajaliideste kuvarakenduste realiseerimine niiveebipõhistena kui ka desktop-rakendustena.• Luua tarkvarakomponent OpenVZ konfiguratsioonifaili ressursipiirangutearvutamiseks virtuaalmasina põhiparameetrite (mälu hulk, kõvakettaleraldatava pinna suurus) alusel.• Luua tarkvarakomponent olemasoleva OpenVZ konteineri pakendamiseksOpen Virtualization Format (OVF) standardile vastavasse virtuaalmasinamalli.• Luua tarkvarakomponent olemasoleva KVM virtuaalmasina pakendamiseksOVF standardile vastavasse virtuaalmasina malli.• Lisada teenuste serverile teenused olemasolevatest virtuaalmasinatest mallideloomiseks ning nende mallide alusel uute virtuaalmasinate loomiseks.• Analüüsida võimalusi kiiremaks ja efektiivsemaks offline-migreerimiseks, kuiserverite konfiguratsioonide erinevuse tõttu pole live-migreerimine võimalik.55

9 VIITED1. Crosby S., Brown, D. (2006), The Virtualization Reality. – Queue, 10 (4),34-41.2. De Haan, M. (2008), Open source project: Func, the Fedora Unified NetworkController – Red Hat Magazine [E-ajakiri] (http://magazine.redhat.com/)(9.03.2010)3. Deshane, T., Shepherd, A., Matthews. J., Ben-Yehuda, M., Shah, A., Rao., B.Quantitative Comparison of Xen and KVM [WWW](http://www.todddeshane.net/research/Xen_versus_KVM_20080623.pdf)(9.03.2010)4. Foundations of CentOS Linux. (2009). / R. Baclit, C. Sicam, P. Membrey, J.Newbigin. 1st ed. Apress.5. Grand, M. Patterns in Java: A Catalog of Reusable Design Patterns Illustratedwith UML. 2nd ed. vol 1. Wiley, 2002.6. Habib, I. (2008), Virtualization with KVM – Linux Journal, 166. [E-ajakiri](http://www.linuxjournal.com/)7. Kivity, A., Kamay, Y., Laor, D., Lublin, U., Liquori, A. (2007), kvm: theLinux Virtual Machine Monitor – Proceedings of the Linux Symposium 2007: 27-30th June 2007, Ottawa, Canada, 225-230.8. Kolyshkin, K. Virtualization in Linux [WWW]http://download.openvz.org/doc/openvz-intro.pdf (09.03.2010)9. Menasce, D. (2005), Virtualization: Concepts, applications, and performancemodeling. George Mason University, USA.10. OpenVZ User’s Guide (ver. 2.7.0-8) [WWW]http://download.openvz.org/doc/OpenVZ-Users-Guide.pdf (9.03.2010)11. Patterns of Enterprise Application Architecture. (2002). / M. Fowler, D. Rice,M. Foemmel, E. Hieatt, R. Mee, R. Stafford. Addison Wesley.12. Rosenblum, M., Garfinkel T. (2005). Virtual Machine Monitors: CurrentTechnology and Future Trends – IEEE Computer Magazine, Mai 2005, 34-43.56

13. Shah, A. (2008), Deep Virtue: Kernel-based virtualization with KVM – LinuxMagazine, 86, 37-39.14. Soltesz, S., Pötzl, H., Fiuczynski, M., Bavier, A., Peterson, L. (2007),Container-based operating system virtualization: a scalable, high-performancealternative to hypervisors. - Proceedings of the 2nd ACM SIGOPS/EuroSysEuropean Conference on Computer Systems 2007 : 21-23rd March 2007,Lisbon, Portugal, 275-287.15. Vliet, M. (2009), Creating and Controlling KVM Guests using libvirt.University of Victoria, Canada.57