Das Forschungszentrum Jülich - d-nb, Archivserver DEPOSIT.D-NB ...

Data Management
Seit Aufnahme der Produktion werden auf dem System sehr große Datenmengen erzeugt und
abgespeichert. Die vorhandene Plattenkapazität von 50 TeraBytes reicht nicht aus, die bisher
erzeugten Datenmengen zu speichern. Deshalb wird eine hierarchische Speichersoftware (TSM/HSM)
eingesetzt, die für eine automatische und benutzertransparente Migration zwischen Platte und
Magnetkassette im Bandroboter sorgt.
Zur Umsetzung dieses Konzeptes wurden Untersuchungen zum Layout und der Performance des
neuen General Parallel File Systems (GPFS) sowie zur Wechselwirkung von Backup/Restore und
Hierarchical Storage Manager (HSM) durchgeführt. Umfangreiche Analysen gemeinsam mit IBM und
STK waren notwendig, um Fehler beim Zugriff von parallelen Anwendungen auf migrierte Dateien zu
lokalisieren und zu beheben.
Netzwerk-Anbindungen
Das ZAM plante, realisierte und überwachte die Netzwerkanbindung des IBM Supercomputers. Über
einhundert Fast Ethernet-, sechzig Gigabit Ethernet-Anschlüsse und ein HiPPI-Anschluss in elf IP-
Netzen und Broadcast-Domänen werden für die Jump-interne Kommunikation, die Anbindung an das
Campus-Netz JuNet und das nationale Wissenschaftsnetz G-WiN, sowie für das Projekt DEISA
genutzt. Durch den Einsatz von Ethernet Channeling kann von JuNet mit einer Bandbreite von
mehreren Gigabit pro Sekunde auf Jump zugegriffen werden. Die Arbeiten am G-WiN-Zugang
konzentrierten sich auf die Planung und Durchführung der Umschaltung auf eine FZJ-eigene
Glasfaserverbindung zum G-WiN Access Router des DFN-Vereins in Aachen. Zur weiteren
Verbesserung der Verfügbarkeit wurde der bestehende 622-Mbit/s-Zugang durch einen separaten 34
Mbit/s-Backup-Zugang ergänzt, auf den im Bedarfsfall automatisch umgeschaltet wird.
Anwenderunterstützung
Gemäß den Empfehlungen des HGF-Senats wurde damit begonnen, das Capability Computing auf
Jump auszubauen. Dazu wurden bislang 12 rechenintensive Programme untersucht, die Ursachen für
unzureichende Programmgeschwindigkeit oder Skalierung analysiert. Umstrukturierungen der
Programme oder die Verwendung alternativer Algorithmen werden in Zusammenarbeit mit den
Benutzern durchgeführt. Letzteres ist ein Langzeit-Prozess, der künftig noch intensiver fortgesetzt
wird.
Als bevorzugter Batch-Zugang zum IBM-Supercomputer Jump wird seit dem 1. Juli 2004, nach
umfangreichen Tests durch ZAM-Mitarbeiter, die Grid-Software UNICORE eingesetzt. Fehler in der
Software wurden beseitigt, von Benutzern benötigte Funktionen hinzugefügt. Zusätzlich wurde eine
Reihe von Beispiel-Jobs für typische Jump-Anwendungen bereitgestellt, die den Umstieg auf die neue
Grid-Zugangs-Software wesentlich erleichterten. Inzwischen wird durchschnittlich 20% der Rechenzeit
auf Jump durch Batchjobs genutzt, die über UNICORE submittiert wurden.
Projekte
DEISA (Distributed European Infrastructure for Scientific Application), ein von der EU für fünf Jahre im
6. Rahmenprogramm gefördertes Infrastrukturprojekt, hat das Ziel, ein europäisches virtuelles
Supercomputerzentrum unter Beteiligung von acht nationalen Zentren zu schaffen. Das ZAM ist in alle
Arbeitspakete des Projektes eingebunden. Die IBM-Systeme der Partner nutzen das globale parallele
Filesystem GPFS von IBM, um einen einheitlichen Datenraum zu realisieren. Die notwendigen
Weiterentwicklungen der künftigen Version von GPFS werden gemeinsam mit IBM durchgeführt.
Zwischen den Systemen bei IDRIS, CINECA, RZG und FZJ wurde ein gemeinsames Filesystem
eingerichtet. Im ZAM wurde das GPFS für die Nutzung in DEISA soweit optimiert, dass Daten mit der
maximalen Netzbandbreite zu den Partnern übertragen werden können. Das ZAM arbeitet an
Definition und Implementierung einer einheitlichen Benutzerumgebung und dem
zentrenübergreifenden Benutzer- und Batch-Management mit. Es ist federführend bei der Installation
und Konfiguration von UNICORE in den beteiligten Zentren.
232