Lustre/ZFS Verteiltes Dateisystem auf neuen Sohlen - GUUG

Lustre/ZFS 

Verteiltes Dateisystem auf neuen Sohlen 

Daniel Kobras 

science + computing ag 

IT-Dienstleistungen und Software für anspruchsvolle Rechnernetze 

Tübingen | München | Berlin | Düsseldorf

science+computing ag 

Gegründet 1989 

Standorte Tübingen 

München 

Berlin 

Düsseldorf 

Mitarbeiter 258 

Anteilseigner Bull S.A. (100%) 

Umsatz 10/11 26,66 Mio. Euro 

Portfolio 

IT Service für komplexe Berechnungsumgebungen 

Umfassende Lösungen für Linux- und Windows-basiertes HPC 

scVENUS Systemmanagement-Software zur effizienten Administration 

homogener und heterogener Netze 

Seite 2 

Daniel Kobras | Lustre/ZFS - Verteiltes Dateisystem auf neuen Sohlen | GUUG FFG 2013 

© 2013 science + computing ag

High-Performance-Anything 

Seite 3 



Vertikale Skalierung (Scale-Up) 

http://www.flickr.com/photos/xjrlokix/4379281690/ 

„Größer ist besser“ 

© 2010 Ben Fredericson, CC BY 2.0 

+ einfache Handhabung 

– Migrationsaufwand 

– meist hohe Investition nötig 

© 2006 Graham Richardson, CC BY 2.0 

http://www.flickr.com/photos/didbygraham/121743548/ 

Seite 4 



Horizontale Skalierung (Scale-Out) 

„Wenn einer allein es nicht schafft, nimm zwei.“ 

http://www.flickr.com/photos/xjrlokix/4379281690/ 

http://www.flickr.com/photos/chilangoco/4709515902/ 

© 2010 Ben Fredericson, CC BY 2.0 

© 2010 Edgar Jimenez, CC BY-SA 2.0 

+ Bedarfsgerechtes Wachstum möglich 

– Komplexes verteiltes System 

Seite 5 



Wenn Scale-Out schiefgeht 

http://www.flickr.com/photos/joiseyshowaa/2402764792/ 

© 2008 B. Katz, CC BY-SA 2.0 

Seite 6 




Scale-Out benötigt Koordination 


© 2008 B. Katz, CC BY-SA 2.0 

Seite 7 




Ideale Kombination: 

So viel Scale-Up wie möglich 

So viel Scale-Out wie nötig 


© 2008 B. Katz, CC BY-SA 2.0 

Seite 8 



High-Performance-Storage 

Seite 9 



Scale-Up für Dateisysteme 

• Immer mehr Storagekapazität pro Server 

• Anwender wollen immer größere Dateisysteme 

> Gefahr von fehlerhaften Daten steigt 

> fsck dauert immer länger 

• Aktuelle lokale Dateisysteme müssen 

• Zu hohe Kapazitäten hin skalieren 

• Mit Plattendefekten umgehen können 

• Integrität ohne fsck sicherstellen können 

• Hybride Architekturen aus SSD und HDD verwalten 

können 

• Beispiele: ZFS, btrfs 

Seite 10 



Scale-Out für Dateisysteme 

• Einzelne Fileserver können hohe Kapazitäten verwalten 

• Bandbreite einzelner Fileserver bleibt beschränkt 

• Umstieg auf schnellere Interconnects erfordert Austausch der 

kompletten Netzinfrastruktur 

> Scale-Out-Speichersysteme bündeln mehrere getrennte 

Fileserver zu logischen Gesamtsystem (Cluster-Dateisysteme, 

verteilte Dateisysteme) 

• Beispiele: GPFS, Lustre, glusterfs, FhgFS, Ceph, … 

• Verwenden in der Regel lokale Dateisysteme im Backend 

Seite 11 



Scale-Out für Dateisysteme 

• Einzelne Fileserver können hohe Kapazitäten verwalten 

• Bandbreite einzelner Fileserver bleibt beschränkt 

• Umstieg auf schnellere Interconnects erfordert Austausch der 

kompletten Netzinfrastruktur 

> Scale-Out-Speichersysteme bündeln mehrere getrennte 

Fileserver zu logischen Gesamtsystem (Cluster-Dateisysteme, 

verteilte Dateisysteme) 

• Beispiele: GPFS, Lustre, glusterfs, FhgFS, Ceph, … 

• Verwenden in der Regel lokale Dateisysteme im Backend 

• Ideal: Kombination mit leistungsfähigem lokalen Dateisystem 

(z.B. ZFS, btrfs) 

Seite 12 



Exkurs: Lustre-Funktionsweise 

Client Client Client Client 

LAN 

Metadaten- 

Server 

Objekt- 

Server 1 

Objekt- 

Server 2 

Block- 

Gerät 

Block- 

Gerät 

Block- 

Gerät 

Seite 13 





/fs1/a.out? 

Metadaten- 

Server 

/fs1/a.out = 

OSS1: obj 7Block- 

OSS2: obj 19Gerät 

LAN 

Objekt- 

Server 1 

obj 7 obj 19 

Block- 

Gerät 

Objekt- 

Server 2 

Block- 

Gerät 

Seite 14 





/fs1/a.out = 

OSS1: obj 7 

OSS2: obj 19 

Metadaten- 

Server 

/fs1/a.out = 



LAN 

Objekt- 

Server 1 

obj 7 obj 19 

Block- 

Gerät 

Objekt- 

Server 2 

Block- 

Gerät 

Seite 15 





/fs1/a.out = 

OSS1: obj 7 

OSS2: obj 19 

LAN 

obj 19? 

obj 7? 

Metadaten- 

Server 

/fs1/a.out = 



Objekt- 

Server 1 

obj 7 obj 19 

Block- 

Gerät 

Objekt- 

Server 2 

Block- 

Gerät 

Seite 16 



Lustre mit ZFS-Backend 

Seite 17 



Status Lustre/ldiskfs 

• Größte Dateisysteme im Bereich von ca. 50-100PByte, ca. 1TB/s 

• lokales Backend basiert auf ext3/ext4 („ldiskfs“) 

• Zertifizierungen/Fault Isolation erfordert Partitionierung der OSTs 

in kleine lokale Dateisysteme, typisch Raid6 (8+2) à 24 TB 

• Dadurch: starke Fragmentierung, hoher Verwaltungsaufwand, 

Beschränkung für maximale Dateigröße (ohne Striping) 

Seite 18 



Defizite Lustre/ldiskfs 

• 2007: LLNL identifiziert auf seinen Supercomputern 

Schwachstellen der Skalierbarkeit von Lustre 

• fsck-Dauer 

• Maximale Partitionsgröße (OST) pro Server (OSS) 

• Zuverlässigkeit erfordert teure Hardware 

• Performance-Probleme beim Checkpointing großer Jobs 

• Unzulänglichkeiten in ldiskfs und seiner Schnittstelle zu md- 

Raid/Device Mapper als Ursache 

> LLNL evaluiert alternative Dateisystem-Backends 

> LLNL initiiert Projekt für Lustre mit ZFS als lokalem Backend 

> LLNL startet Kernel-Port für ZFS unter Linux 

Seite 19 



Defizite Lustre/ldiskfs 

• 2007: LLNL identifiziert auf seinen Supercomputern 

Schwachstellen der Skalierbarkeit von Lustre 

• fsck-Dauer 

• Maximale Partitionsgröße (OST) pro Server (OSS) 

• Zuverlässigkeit erfordert teure Hardware 

• Performance-Probleme beim Checkpointing großer Jobs 

• Unzulänglichkeiten in ldiskfs und seiner Schnittstelle zu md- 

Raid/Device Mapper als Ursache 

> LLNL evaluiert alternative Dateisystem-Backends 

> LLNL initiiert Projekt für Lustre mit ZFS als lokalem Backend 

> LLNL startet Kernel-Port für ZFS unter Linux 

Seite 20 



Exkurs: Checkpointing und CoW 

• Checkpoint von massiv parallelem Job: viele Knoten/Prozesse 

schreiben gleichzeitig in dieselbe Datei 

Rank 0 

Rank n 

Blöcke 

• ldiskfs: 

• Allokator weist Blöcke zu, bevor I/O-Muster bekannt 

• Wählt möglichst große, zusammenhängende Bereiche aus 

• ZFS: 

• Copy-on-Write: Allokator weist Blöcke beim Schreiben zu 

Seite 21 

• Kann Plattenzugriffe linearisieren 



Dürfen die das? 

• Problem: GPL (Linux-Kernel, Lustre) inkompatibel zu CDDL 

(ZFS) 

• Daher bislang war ZFS-Ports für BSD, aber unter Linux nur als 

FUSE-Port im Userland 

• Lösung für vollwertiges ZFS-Kernelmodul: 

• Solaris Porting Layer (SPL) unter GPL als Schnittstelle 

zwischen Linux-Kernel und ZFS 

• ZFS-Modul nutzt keine GPL-only Symbole 

• ZFS-Modul nutzt nur API-Funktionen 

• ZFS-Modul wird separat von SPL und Linux-Kernel 

vertrieben nur im Quellcode 

> keine „derived work“ von GPL- und CDDL-Code 

• Ähnlicher Status wie OpenAFS 

Seite 22 



Historie 

2007 2008 2009 2010 2011 2012 2013 

zfson 

linux 

Lustre 

btrfs ZFS 

LLNL 

CFS Sun Oracle Whamcloud 

Sun Oracle 

Chris Mason/Oracle 

OpenSFS/EOFS 

Xyratex 

Nexenta 

Joyent 

... 

Intel 

CM/ 

FusionIO 

Seite 23 



Historie 

2007 2008 2009 2010 2011 2012 2013 

zfson 

linux 

Lustre 

btrfs ZFS 

LLNL 

CFS Sun Oracle Whamcloud 

Sun Oracle 

Chris Mason/Oracle 

OpenSFS/EOFS 

Xyratex 

Nexenta 

Joyent 

... 

Intel 

CM/ 

FusionIO 

Seite 24 



Vereinfachter Aufbau Lustre-Targets 

MDT/OST 

fsfilt 

ldiskfs/ext3 

ldiskfs/ext4 

Seite 25 



Neues Backend-Dateisystem (Theorie) 

MDT/OST 

fsfilt 

ldiskfs/ext3 ldiskfs/ext4 ZFS 

Seite 26 



Neues Backend-Dateisystem (Praxis) 

MDT/OST 

OSD 

ldiskfs/ext3 ldiskfs/ext4 ZFS 

Seite 27 



Komponenten ZFS 

Posix 

Interface 

(ZPL) 

Block 

Interface 

(ZVOL) 

Transactional 

Transactional 

Objects 

Objects 

(DMU, ZIL, ...) 

Pooled 

Storage 

(VDEV, ZIO, ARC, ...) 

Seite 28 



Komponenten ZFS + Lustre/ZFS 

Posix 

Interface 

(ZPL) 

Block 

Interface 

(ZVOL) 

Object 

Interface 

(osd-zfs) 

Transactional 

Transactional 

Objects 

Objects 

(DMU, ZIL, ...) 

Pooled 

Storage 

(VDEV, ZIO, ARC, ...) 

Seite 29 



Hands-On Lustre/ZFS 

Seite 30 



Praxis: zfsonlinux bereitstellen 

• DIY ist ein Muss: 

% git clone (...) oder wget (...) 

% ./configure 

% make rpm 

# rpm -i (...) 

• Solaris Porting Layer: 

• https://github.com/chaos/spl/ 

• Download-Tarball veraltet 

• ZFS: 

Seite 31 

• Aktuell: spl-0.6.0-rc14 

• https://github.com/chaos/zfs/ 

• Download-Tarball und Master-Branch veraltet! 

• Aktuell: zfs-0.6.0-rc14 



Praxis: Lustre/ZFS bereitstellen 

• Quellen für Lustre mit ZFS-Unterstützung: 

• https://github.com/chaos/lustre/ (orion-Branches) 

• http://git.whamcloud.com/fs/lustre-dev.git/ (orion-Branch) 

• http://git.whamcloud.com/fs/lustre-release.git/ (master) 

• Feature Release Lustre 2.3 (Technologie-Preview, nur 

OSTs) 

• Demnächst: Maintenance Release Lustre 2.4 

• Übersetzen und installieren: 

# ./configure --without-ldiskfs 

# make rpms 

# rpm -i (...) 

• Keine Kernel-Patches für Lustre-Server mehr nötig! 

Seite 32 



Praxis: MDS einrichten 

• Beispiel: MDS/MGS mit ZFS-Backend auf vier Platten mit Raid10 

in gemeinsamem Pool einrichten 

# zpool create -f -O canmount=off meta \ 

mirror /dev/sdb /dev/sdc \ 

mirror /dev/sdd /dev/sde 

# mkfs.lustre --mgs –fsname=lustre \ 

--backfstype=zfs meta/mgs 

# mkfs.lustre --mdt --fsname=lustre \ 

--index=0 --mgsnode=192.168.100.1@tcp \ 

--backfstype=zfs meta/mdt 

# mount -t lustre meta/mgs /lustre/MGS 

# mount -t lustre meta/mdt \ 

/lustre/lustre-MDT0000 

• Empfehlung eigentlich: separater Pool für jeden Lustre-Dienst 

Seite 33 



Praxis: MDS einrichten 

• Beispiel: MDS/MGS mit ZFS-Backend auf vier Platten mit Raid10 

in gemeinsamem Pool einrichten 

# zpool create -f -O canmount=off meta \ 

mirror /dev/sdb /dev/sdc \ 

mirror /dev/sdd /dev/sde 

# mkfs.lustre --mgs –fsname=lustre \ 

--backfstype=zfs meta/mgs 

# mkfs.lustre --mdt --fsname=lustre \ 


--backfstype=zfs meta/mdt 

# mount -t lustre meta/mgs /lustre/MGS 

# mount -t lustre meta/mdt \ 

/lustre/lustre-MDT0000 

• Empfehlung eigentlich: separater Pool für jeden Lustre-Dienst 

Seite 34 



Praxis: OSS einrichten 

• Beispiel: OST mit ZFS-Backend auf zehn Platten mit Raidz2 

einrichten 

# mkdir -p /lustre/lustre-OST0000 

# mkfs.lustre --ost --fsname=lustre \ 


--backfstype=zfs data/ost0000 raidz2 \ 

/dev/sd[b-k] 

# mount -t lustre data/ost0000 \ 

/lustre/lustre-OST0000 

• Der data-zpool wird implizit durch mkfs.lustre angelegt 

Seite 35 



Praxis: OSS einrichten 

• Beispiel: OST mit ZFS-Backend auf zehn Platten mit Raidz2 

einrichten 

# mkdir -p /lustre/lustre-OST0000 

# mkfs.lustre --ost --fsname=lustre \ 


--backfstype=zfs data/ost0000 raidz2 \ 

/dev/sd[b-k] 

# mount -t lustre data/ost0000 \ 

/lustre/lustre-OST0000 

• Der data-zpool wird implizit durch mkfs.lustre angelegt 

Seite 36 



Praxis: Änderungen im Verhalten 

• df auf Servern zeigt Platzbedarf auf Targets nicht mehr an. 

(Alternativen: zfs list oder lfs df auf Client) 

• Lustre-Mountdata steht in ZFS-Properties: 

# zfs get all meta/mgs | grep lustre: 

meta/mgs lustre:flags 100 local 

meta/mgs lustre:svname MGS local 

meta/mgs lustre:version 1 

local 

meta/mgs lustre:index 0 local 

meta/mgs lustre:fsname lustre local 

• Zugriff auf Backend-FS über Snapshots: 

# zfs snap meta/mgs@snap1234 

# mount -t zfs meta/mgs@snap1234 \ 

/lustre/mgs-snap 

# llog_reader \ 

/lustre/mgs-snap/CONFIGS/lustre-client 

Seite 37 



Zusammenfassung 

• Lustre+ZFS kombiniert Scale-Out- mit Scale-Up-fähigem 

Dateisystem 

• Hoher Datendurchsatz 

• Dateisystem-Limits weit jenseits aktueller Anforderungen 

• Permanente Integritätsprüfung für Daten und Metadaten 

• Online-Scrubbing 

• Nur Commodity-Hardware nötig, kein Vendor-Lock-In 

• In Kürze in Lustre 2.4 Maintenance Release verfügbar (aktuell im 

Feature Freeze, Release geplant für 30. April 2013) 

• ZFS-Port für Linux als „Abfallprodukt“ 

Seite 38 



Ausblick 

• Performance 

• ZFS-Blockgröße anheben auf 1MB 

• Integration ZFS Write-Cache (ZIL) 

• Zuverlässigkeit 

• Integration ZFS-Fault-Management/automatische 

Verwaltung von Hot-Spares 

• Konsistenter Lustre-Check über sämtliche MDT/OST 

• End-to-end-Checksums 

• Features 

• Snapshots auf Lustre-Ebene 

Seite 39 



Quellen 

• ZFS-Port für Linux: 

• http://zfsonlinux.org 

• Quellcode SPL/ZFS-Port: 

• Lustre: 

Seite 40 

• https://github.com/chaos/spl/ 

• https://github.com/chaos/zfs/ 

• http://git.whamcloud.com/fs/lustre-release.git/ 

• http://downloads.whamcloud.com/public/lustre/ 

• Informationen zu Lustre/ZFS 

• http://zfsonlinux.org/docs/LUG11_ZFS_on_Linux_for_Lustre.pdf 

• http://www.opensfs.org/wpcontent/uploads/2011/11/LUG12_ZFS_Lustre_for_Sequoia.pdf 

• http://www.eofs.eu/fileadmin/lad2012/21_Andreas_Dilger_Intel_Lustre- 

ZFS-2.4_LAD12.pdf 



Vielen Dank für Ihre Aufmerksamkeit. 

Daniel Kobras 

science + computing ag 

www.science-computing.de 

Telefon 07071 9457-0 

info@science-computing.de

Lustre/ZFS Verteiltes Dateisystem auf neuen Sohlen - GUUG

Erfolgreiche ePaper selbst erstellen

Template löschen?

Als Template speichern?