Installation Guide, RHEL 5, NFS, 5.0 - bei der ATIX AG

ased on 

Enterprise IT Platform 

Installation Guide 

RHEL5, NFS, version

Datum 07.11.2011 Version 2.0 Seite 1/29 

Referenz-Architektur 

zu 

Installation der 

com.oonics Enterprise IT Platform 

Version: 2.0 

Datum: 07.11.2011 

com.oonics: Version 5.0 

Linux Distribution: RHEL5 

Sharedroot: NFS 

ATIX AG 

Einsteinstr. 10 

85716 Unterschleißheim 

Version: 2.0


Inhaltsverzeichnis 

1. Über das Dokument.....................................................................................3 

1.1. Kurzinhalt................................................................................................3 

1.2. Konventionen..........................................................................................3 

1.2.1. Warnung.......................................................................................... 3 

1.2.2. Hinweis............................................................................................3 

1.2.3. Tipp..................................................................................................3 

1.2.4. Benutzereingabe:............................................................................ 3 

1.2.5. Bildschirmausgabe:.........................................................................4 

1.2.6. Variable Werte.................................................................................4 

1.3. Leser.......................................................................................................4 

2. Die com.oonics Enterprise IT Platform.....................................................5 

3. Voraussetzungen......................................................................................... 7 

3.1. Benötigte Informationen......................................................................... 7 

3.2. Benötigte Software................................................................................. 7 

3.2.1. Red Hat Enterprise Linux 5............................................................. 7 

3.2.2. com.oonics Enterprise IT Platform..................................................8 

3.3. Benötigte Infrastruktur............................................................................ 8 

3.3.1. DHCP Server (Linux).......................................................................8 

3.3.2. DHCP Server (Windows)................................................................9 

3.3.3. TFTP Server.................................................................................... 9 

3.3.4. NFS Server....................................................................................10 

3.4. Lokale RHEL5 Standardinstallation......................................................11 

4. com.oonics NFS Sharedroot Installation ............................................... 12 

4.1. Red Hat Software Pakete ....................................................................12 

4.2. Einhängen des NFS Exports, kopieren des root Filesystems..............13 

4.3. chroot ins neue Root............................................................................ 14 

4.4. Einrichten oder überprüfen der com.oonics Software Channel...........15 

4.5. Installation der com.oonics und Cluster Software Pakete....................15 

4.6. Einrichten der Sharedroot Konfiguration.............................................. 16 

4.6.1. Red Hat Cluster Konfigurationsdatei ............................................16 

4.6.2. Lokale Konfigurationsdateien (empfohlen)...................................18 

4.7. Anpassungen des Linux Betriebssystems............................................19 

4.8. Erstellen der PXE Boot Konfiguration..................................................23 

5. Einrichten von com.oonics Enterprise Copy..........................................26 

5.1. Initrd Verwaltung...................................................................................26 

5.1.1. mkinitrd.xml................................................................................... 26 

5.2. Localclone.............................................................................................26 

5.2.1. localclone.xml................................................................................26 

6. Anhang........................................................................................................28 

6.1. Paketliste.............................................................................................. 28


1. Über das Dokument 

1.1. Kurzinhalt 

Die ATIX Referenz-Architektur Dokumentation beschreibt den von ATIX getesteten 

und unterstützten Weg der Installation der com.oonics Enterprise IT Platform. 

In diesem Dokument wird die Installation der com.oonics Enterprise IT Platform auf 

Basis von RHEL5 und NFS Sharedroot Dateisystem beschrieben. 

1.2. Konventionen 

In dem Dokument gelten folgende Konventionen: 

1.2.1. Warnung 

Achtung: 

Hier ist Vorsicht geboten! 

1.2.2. Hinweis 

Hinweis: 

Ein Hinweis für Sie! 

1.2.3. Tipp 

Tipp: 

Ein guter Tipp! 

1.2.4. Benutzereingabe: 

Die Kommandozeileneingabe als Benutzer root wird durch den Prompt 

[servername]# eingeleitet: 

[Servername]# echo Hello World


1.2.5. Bildschirmausgabe: 

Hello World 

1.2.6. Variable Werte 

Variable Werte werden in eckigen Klammern dargestellt: [Meine Variable] 

Werte, die an die jeweilige Konfiguration anzupassen sind oder davon abhängig sind, 

werden orange und fett markiert: 

[Servername]# hostname 

workshop1 

Shell Variablen werden durch ein „$“ Zeichen und großen Buchstaben dargestellt: 

[Servername]# export COM_NODENAME1=“testnode1“ 

[Servername]# echo $COM_NODENAME1 

testnode1 

1.3. Leser 

Die Dokumentation richtet sich an erfahrene Linux System Administratoren.


2. Die com.oonics Enterprise IT Platform 

Die com.oonics Enterprise IT Platform konsolidiert Server- und Speichersysteme und 

ermöglicht so Hochverfügbarkeit, optimale Skalierbarkeit und einfaches 

Management. 

Die com.oonics Enterprise IT Platform ist für Unternehmen jeder Größe geeignet und 

spiegelt die individuellen Bedürfnisse des Anwenders wieder. 

Doch Bedürfnisse ändern sich, darum ist es wichtig eine flexible, modulare 

Infrastruktur zu besitzen, die sich einfach erweitern und umstrukturieren lässt. 

Deshalb besteht die com.oonics Enterprise IT Platform aus einem flexiblen 

Baukastensystem aus Industriestandard-Komponenten auf Linux-Basis. Die 

Plattform gewährleistet die Freiheit zur Veränderung 

Zusätzlich liefert die com.oonics Enterprise IT Platform eine Lösung für eine der 

bedeutendsten Aufgaben der IT: Kostensenkung und gleichzeitige Optimierung der 

Leistungsfähigkeit und Verfügbarkeit von Anwendungen wie File und Web Services, 

Datenbanken (z. B. Oracle, PostgreSQL, MySQL), anspruchsvollen ERP-Systemen 

(z. B. SAP) und Server Virtualisierung. 

Das modulare Baukastensystem der com.oonics Enterprise IT Platform: 

Bei der com.oonics Enterprise IT Platform haben alle Server direkten Zugriff auf die 

Speichergeräte und können diese konkurrierend gleichermaßen beschreiben und 

lesen. Ein Linux Shared-Filesystem verbindet dabei Applikations-Server und ein 

angebundenes Speichernetzwerk und ermöglicht parallele Filesystem-Zugriffe von 

allen Cluster-Knoten aus auf ein zentrales Speichersystem. Das Konzept der 

com.oonics Enterprise IT Platform besteht darin, dass die Cluster-Knoten vollständig 

ohne Festplatten auskommen, direkt vom Speichernetzwerk booten und sogar die 

Systemdaten teillen.


Innerhalb der com.oonics Enterprise IT Platform werden Server mit gleichen 

Aufgaben logisch zu Clustern zusammengefasst. Die Zuweisung ist jedoch flexibel 

und kann jederzeit geändert werden. So können z. B. Datenbank-Server (Blau) durch 

einfaches Neustarten zu Web-Servern (Gelb) umfunktioniert werden, um z. B. auf 

Lastspitzen reagieren zu können. 

Des Weiteren können von einer Installation, automatisiert und in kurzer Zeit, beliebig 

viele Kopien erzeugt und gesichert werden, z. B. zur Erzeugung von Test-, 

Entwicklungs- und Produktionsumgebungen (QA-Tier-Stufen). Gleichermaßen wird 

com.oonics auch für Rolling-Updates (Software Updates ohne Unterbrechung) 

verwendet, die Funktionalitäten müssen jedoch vom Cluster und vom Linux- 

Betriebsystem unterstützt werden. 

Die com.oonics Enterprise IT Platform besteht aus foldenden Basis-Komponenten: 

• com.oonics Sharedroot Cluster 

Der com.oonics Sharedroot Cluster ist ein nach dem „pay as grow“-Prinzip 

skalierbarer Single System Image Cluster für Hochverfügbarkeits- und 

Hochleistungsanwendungen. 

• com.oonics Bare Metal Boot 

Mit com.oonics Bare Metal Boot kann eine bestehende 

Betriebssysteminstallation ohne weitere Anpassungen und ohne 

Migrationsaufwand, sowohl auf unterschiedlicher Hardware (z. B. IBM, HP 

etc.) als auch auf unterschiedlichen Virtualisierungsplattformen (z. B. 

VMware, XEN, KVM etc.) betrieben werden. 

• com.oonics GrayHead 

Der com.oonics GrayHead ist die zentralisierte Monitoring- und Management- 

Applikation zur proaktiven und reaktiven Überwachung der gesamten 

Infrastruktur. 

• com.oonics Enterprise Copy 

Die com.oonics Enterprise Copy ist ein Cluster oder Single-Server Cloning 

Framework zur Erstellung von lokalen oder remote Shadow Installationen für 

Testsysteme, Disaster Recovery Konzepten oder Roll-Out Szenarien. Der 

Framework ist in gängige Enterprise Backup- und Storage-Lösungen 

integrierbar. 

• com.oonics Live DVD 

Die com.oonics Live DVD enthält alle com.oonics Tools und ist im ATIX Web- 

Shop erhältlich. 

• com.oonics Disaster Recovery 

Das com.oonics Disaster Recovery Feature ermöglicht die automatische 

Erstellung von bootfähigen Disaster Recovery-Installationen sowie das 

Anlegen von Disaster Recovery-Sicherungen zur einfachen 

Wiederherstellung des Systems. 

Die folgende Anleitung ist Teil der ATIX Referenz-Architektur Reihe. 

In diesem Dokument wird die Installation des com.oonics Sharedroot Clusters mit 

NFS als Shared-Filesystem beschrieben. Als Linux Enterprise Distribution kommt 

Red Hat Enterprise Linux 5 (RHEL5) zum Einsatz.


3. Voraussetzungen 

3.1. Benötigte Informationen 

Für den Installationsprozess des com.oonics Sharedroot Clusters werden folgende 

Informationen benötigt. In der Spalte „Genutzter Wert“ sind die in den folgenden 

Beispielen genutzten Werte verzeichnet 

Name Beschreibung Genutzter Wert 

Clustername Name des Clusters testcuster 

Knotenzahl Initiale Anzahl der Clusterknoten 2 

dhcp-server Netzwerk Adresse des dhcp Servers 192.168.120.1 

tftp-server Netzwerk Adresse des TFTP Servers 192.168.120.1 

nfs-server Netzwerk Adresse des NFS Servers 192.168.120.1 

Knoten1 Name des ersten Clusterknotens workshop1 

MAC1_1 Erste MAC Adresse des Knoten1 00:0c:29:60:d2:10 

MAC1_2 Zweite MAC Adresse des Knoten1 Für Test optional 

IP_INT_1 IP Adresse für PXE und NFS Zugriff 

Knoten1 

192.168.120.50 

IP_PUB_1 Public IP Adresse für Knoten 1 Für Test optional 

Knoten2 Name des zweiten Clusterknotens workshop2 

MAC2_1 Erste MAC Adresse des Knoten2 00:0c:29:36:79:e3 

MAC2_2 Zweite MAC Adresse des Knoten2 optional 

IP_INT_2 IP Adresse für PXE und NFS Zugriff 

Knoten2 

192.168.120.60 

IP_PUB_2 Public IP Adresse für Knoten 2 Für Test optional 

3.2. Benötigte Software 

Die com.oonics Enterprise IT Platform basiert auf einer Enterprise Linux Distribution. 

In diesem Fall wird das Red Hat Enterprise Linux 5 eingesetzt. 

Die com.oonics Software Version ist 5.0 

3.2.1. Red Hat Enterprise Linux 5 

Es wird eine gültige Red Hat Enterprise Linux 5 (RHEL5) Software Subscription 

benötigt. 

Wir empfehlen die Nutzung der in com.oonics integrierten Red Hat Software 

Subscription (RHEL5 for com.oonics). Für Fragen steht Ihr ATIX Ansprechpartner 

(vertrieb@atix.de) gerne für Sie bereit. 

Die aktuell unterstützte Version ist RHEL5.7 oder höher.


3.2.2. com.oonics Enterprise IT Platform 

Für die Installation der com.oonics Enterprise IT Platform wird eine com.oonics 

Software Subscription benötigt. Diese wird in zwei Varianten ausgeliefert: 

1. com.oonics Enterprise IT Platform inkl. RHEL5 

2. com.oonics Enterprise IT Platform standalone 

Haben Sie Fragen zu der com.oonics Software Subscription? Ihr ATIX 

Ansprechpartner (vertrieb@atix.de) ist gerne für Sie da. 

Die aktuell unterstützte com.oonics Version ist 5.0 oder höher. 

3.3. Benötigte Infrastruktur 

Die Server oder Clusterknoten (Knoten) der com.oonics Enterprise IT Platform für 

NFS erhalten ihre Boot Konfiguration durch ein Preboot eXecution Environment 

(PXE). Die Systemverzeichnise (root) werden von einem NFS Server bereitgestellt. 

Im Folgenden wird die Umgebung beschrieben, die aus einem DHCP Server, einem 

TFTP Server und einem NFS Server besteht. 

3.3.1. DHCP Server (Linux) 

Der DHCP Server muss die Clusterknoten erkennen und sie auf PXEboot verweisen. 

Im Folgenden wird beispielhaft die Installation und Konfiguration eines Linux 

basierten DHCP Servers beschrieben. Die hier verwendeten com.oonics 

Clusterknoten sind workshop1 und workshop2. 

dhcp-server# yum install dhcp 

dhcp-server# cat /etc/dhcpd.conf 

ddns-update-style ad-hoc; 

allow booting; 

allow bootp; 

option routers 192.168.120.10; 

option subnet-mask 255.255.255.0; 

option domain-name "workshop.atix"; 

option domain-name-servers 192.168.3.121; 

default-lease-time 21600; 

max-lease-time 43200; 

subnet 192.168.120.0 netmask 255.255.255.0 { 

#range 192.168.120.100 192.168.120.200; 

deny unknown-clients; 

} 

group { 

#tftp server 

next-server 192.168.120.10; 

#This is the pxe bootloader file 

filename "pxelinux.0"; 

# One host block per client. This network only has one. 

host workshop1 { 

option host-name "workshop1";


hardware ethernet 00:0c:29:60:d2:10; 

fixed-address 192.168.120.50; 

} 

host workshop2 { 

option host-name "workshop2"; 

hardware ethernet 00:0c:29:36:79:e3; 

fixed-address 192.168.120.60; 

} 

} 

dhcp-server# chkconfig dhcpd on 

dhcp-server# /etc/init.d/dhcpd start 

3.3.2. DHCP Server (Windows) 

Sollte ein Windows basierter DHCP Server genutzt werden, sind die DHCP Optionen 

066 (Filename) und 067 (Startserver) wie folgt zu setzten: 

• 066 (Filename): pxelinux.0 

• 067 (Startserver): 192.168.120.10 

Diese Optionen werden entweder pro Rechner (Leaseeintrag im DHCP) oder global 

gesetzt. 

3.3.3. TFTP Server 

Der TFTP Server stellt alle notwendigen Dateien für den Linux boot Prozess zur 

Verfügung. Die Installation eines TFTP Servers unter Linux wird im folgenden 

beispielhaft beschrieben: 

tftp-server# yum install tftp-server syslinux 

tftp-server# cat /etc/xinetd.d/tftp 

[…] 

service tftp 

{ 

socket_type = dgram 

protocol = udp 

wait = yes 

user = root 

server = /usr/sbin/in.tftpd 

server_args = -v -s /tftpboot 

disable = no 

per_source = 11 

cps = 100 2 

flags = IPv4 

} 

tftp-server# service xinetd restart 

Hinweis 

tftp ist standardmässig auf disable=yes


3.3.4. NFS Server 

Für die Installationen der com.oonics Enterprise IT Platform für NFS wird folgende 

NFS Server Konfiguration benötigt: 

NFS Server Export Optionen: 

Option Beschreibung 

rw Das NFS Filesystem wird mit schreib-/leserechten exportiert 

sync Schreiboperationen werden erst bestätigt, wenn diese auf ein 

stabiles Storagesystem geschrieben worden sind 

no_root_squash „root squashing“ wird deaktiviert 

fsid=XX XX ist ein eindeutiger identifier für das exportierte Filesystem 

Filesystem Pfade: 

Wir empfehlen, dass die Filesysteme für den NFS Export unter 

/srv/nfs/comoonics eingehängt werden. Dort finden sich wiederum die Basis- 

Verzeichnisse für die einzelnen Cluster mit folgenden Unterverzeichnissen: 

• root (der eigentliche Produktionscluster) 

• root_clone (der clone des Produktionsclusters) 

• config (optional, Konfigurationsdateien, die zum Cluster gehören, aber u.U. 

nicht in die Rootfilesysteme passen 

Filesystem Größen: 

Die über NFS bereitgestellten Verzeichnisse müssen folgende 

Kapazitätsanforderungen erfüllen: 

export Mindestgröße Empf. Größe 

/srv/nfs/comoonics/[clustername]/root 10GB 20GB 

/srv/nfs/comoonics/[clustername]/root_clone 10GB 20GB 

Im Folgenden wird beispielhaft die Konfiguration auf einem Linux NFS Server für ein 

com.oonics Sharedroot Filesystem beschrieben. 

nfsserver# mkdir -p /srv/nfs/comoonics/testcluster/root 

nfsserver# mkdir -p /srv/nfs/comoonics/testcluster/root_clone 

nfsserver# cat /etc/exports 

/srv/nfs/comoonics/testcluster/root 

192.168.120.0/255.255.255.0(rw,no_root_squash,sync,fsid=1) 

/srv/nfs/comoonics/testcluster/root_clone 

192.168.120.0/255.255.255.0(rw,no_root_squash,sync,fsid=2) 

[…]


3.4. Lokale RHEL5 Standardinstallation 

Für die Installation der com.oonics Enterprise IT Platform für RHEL5 - NFS wird ein 

installiertes RHEL5 benötigt. 

Bei Bedarf können folgende Installationsoptionen abgewählt werden. 

• „Legacy Software Support“ auswählen 

• Kein „GNOME“ 

• Keine „Servers“ 

• Keine „Applications“ 

• selinux deaktiviert 

• iptables (Firewall) deaktiviert


4. com.oonics NFS Sharedroot Installation 

Die Installation des Betriebssystems für die com.oonics Enterprise IT Platform auf 

NFS Sharedroot erfolgt in folgenden Schritten: 

1. Anpassung der RedHat Pakete 

2. Einrichten des NFS Exports 

3. Einhängen des NFS Exports 

4. Kopieren der lokalen RHEL5 Installation auf das NFS Export 

5. chroot ins neue root Verzeichnis 

6. Einrichten des com.oonics yum channels 

7. Konfiguration der sharedroot Umgebung 

8. Erstellen der Initial Ramdisk (initrd) 

9. Anpassung des Bootdevices. 

4.1. Red Hat Software Pakete 

In diesem Schritt werden weitere Red Hat Software Pakete installiert. 

Gemäß unserer Empfehlung wird davon ausgegangen, dass für die Installation der 

com.oonics Enterprise IT Platform eine gültige com.oonics Software Subscription und 

eine RHEL5 for com.oonics Software Subscription eingesetzt wird. 

Das System soll im com.oonics Enterprise IT Platform Software Management 

System (COM-RHN) (http://rpm.atix.de) 

angemeldet sein. Dafür ist das ATIX SSL 

Zertifikat sowie Anpassungen in der Datei /etc/sysconfig/rhn/up2date 

notwendig. 

workshop1# rpm --import http://rpm.atix.de/pub/comoonics-RPM- 

GPG.key 

workshop1# cat /etc/sysconfig/rhn/up2date 

[…] 

serverURL[comment]=Remote server URL 

serverURL=http://rpm.atix.de/XMLRPC 

[…] 

useNoSSLForPackages=1 

[…] 

Das System muss registriert werden. 

workshop1# rhnreg_ks --activationkey=


Hinweis 

Ihren persönlichen Activation Key erhalten Sie von Ihrem ATIX Ansprechpartner. Bei 

Fragen zu Ihrem Activation Key können Sie sich jederzeit an support@atix.de 

wenden. 

Im Anschluss können die zusätzlich benötigten Red Hat Software Pakete installiert 

werden: 

workshop1# yum clean all 

workshop1# yum install strace systemtap nmap mc vim-enhanced ntp 

screen net-snmp sysstat yum-utils libxslt-python 

Wenn möglich, sollten zusätzlich folgende Pakete installiert ... 

workshop1# yum install rsyslog postfix 

... und die dann nicht mehr benötigten Pakete deinstalliert werden: 

workshop1# rpm -e sendmail 

workshop1# rpm -e sysklogd 

4.2. Einhängen des NFS Exports, kopieren des root 

Filesystems 

Die selinux Umgebung muss deaktiviert sein. Dazu wird folgender Befehl 

eingegeben: 

workshop1# setenforce 0 

Die selinux Konfigurationsdatei muss überprüft und gegebenenfalls angepasst 

werden: 

workshop1# cat /etc/sysconfig/selinux 

# This file controls the state of SELinux on the system. 

# SELINUX= can take one of these three values: 

# enforcing - SELinux security policy is enforced. 

# permissive - SELinux prints warnings instead of enforcing.


# disabled - No SELinux policy is loaded. 

SELINUX=disabled 

# SELINUXTYPE= can take one of these two values: 

# targeted - Targeted processes are protected, 

# mls - Multi Level Security protection. 

SELINUXTYPE=targeted 

Standardmäßig wird die Sharedroot Umgebung in /mnt/newroot gemountet und 

eingerichtet. 

Nachfolgend wird die lokale Installation auf den NFS Einhängepunkt kopiert. 

workshop1# mkdir /mnt/newroot/ 

workshop1# mount -o nolock -t nfs 

192.168.120.1:/srv/nfs/comoonics/testcluster/root /mnt/newroot/ 

workshop1# yum clean all 

workshop1# cp -ax / /mnt/newroot/ 

workshop1# cp -ax /boot/* /mnt/newroot/boot/ 

Hinweis: 

Das /boot Verzeichnis muss extra kopiert werden, da es von cp -x als anderes 

Filesystem (Mountpoint) ausgeschlossen wird. 

4.3. chroot ins neue Root 

Es werden /proc, /sys und /dev des laufenden Systems in der chroot Umbegung 

benötigt. 

workshop1# mount --rbind /dev /mnt/newroot/dev/ 

workshop1# mount -t proc proc /mnt/newroot/proc 

workshop1# mount -t sysfs none /mnt/newroot/sys 

Anschließend kann in das neue root Filesystem /mnt/newroot gewechselt werden. 

workshop1# chroot /mnt/newroot


4.4. Einrichten oder überprüfen der com.oonics Software 

Channel 

Für die Installation der com.oonics Software Pakete muss der zugehörige Software 

Channel für das System abonniert sein. 

Hierzu wird im com.oonics Enterprise IT Platform Software Management System 

(http://rpm.atix.de) unter „Systems“ → „[SYSTEMNAME]“ → „Alter channel 

subscriptions“ der „comoonics“ Channel ausgewählt. 

Hinweis 

Durch die Registrierung des Systems mittels Activation Key werden die com.oonics 

Channel automatisch hinzugefügt. 

4.5. Installation der com.oonics und Cluster Software Pakete 

Folgende com.oonics Pakete müssen installiert werden: 

workshop1# yum install comoonics-bootimage comoonics-bootimageextras-nfs 

comoonics-cdsl-py comoonics-ec-py comoonics-cs-xsl-ec 

comoonics-bootimage-listfiles-rhel5-nfs comoonics-bootimagelistfiles-firmware 

Das Paket comoonics-bootimage-extras-localconfigs-5.0 sollte nur dann installiert 

werden, wenn die Installation über lokale Konfigurationsdateien erfolgt (empfohlen). 

Zusätzlich muss folgendes Red Hat Paket installiert werden: 

workshop1# yum install pyparted 

Optional sind je nach Bedarf folgende Pakete zu installieren: 

Für die Nutzung von rsyslog: 

workshop1# yum install comoonics-bootimage-listfiles-rsyslogd 

Optional kann zusätzlich ein Hochverfügbarkeitscluster eingerichtet werden. Hierzu 

müssen folgende Pakete installiert werden: 

workshop1# yum install cman rgmanager


Das Paket comoonics-bootimage-extras-network wird benötigt, wenn der 

NFS Sharedroot Export über tagged VLANs gemountet werden soll: 

workshop1# yum install comoonics-bootimage-extras-network 

4.6. Einrichten der Sharedroot Konfiguration 

Initial wird das com.oonics Repositiory für die Context Dependent Symbolic 

Links (CDSL) erstellt. 

workshop1# com-cdslinvadm create --maxnodeidnum=KNOTENANZAHL+2 

Die neu erstellte CDSL Infrastruktur soll gemountet werden: 

workshop1# mount --bind /.cluster/cdsl/1/ /.cdsl.local/ 

Die com.oonics Enterprise IT Platform 5 unterstützt zwei unabhängige Möglichkeiten 

der Systemkonfiguration, die im folgenden beschrieben werden. Im nächsten Schritt 

muss sich für eine der beiden Methoden entschieden werden. 

1. Red Hat Cluster Konfigurationsdatei 

2. Lokale Konfigurationsdateien (empfohlen) 

4.6.1. Red Hat Cluster Konfigurationsdatei 

Um die com.oonics Konfiguration in die Red Hat Cluster Konfigurationsdatei zu 

speichern, muss diese erweitert oder neu erstellt werden. 

Die /etc/cluster/cluster.conf Datei muss erstellt werden. Als Vorlage kann 

folgende Datei dienen: 

 

 

 

 

 

 


 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Hinweis: 

Wenn Netzwerkkarten unterschiedlicher Hersteller verwendet werden, ist es 

empfohlen, für die NICs driver=“kernelmodul“ zu setzen. 

z.B.: 

 

Hinweis: 

Wenn ein Hochverfügbarkeits- oder GFS- Cluster eingerichtet werden soll, muss die 

Datei cluster.conf entsprechend erweitert werden. 

cluster.conf Syntax validieren: 

workshop1# com-queryclusterconf nodeids 

Die Netzwerkkartenkonfiguration muss angepasst werden (wenn möglich - keine 

MAC Adressen in den -ifcfg Dateien und die in cluster.conf definierten NICs mit 

onboot=no versehen). Das betrifft alle Netzwerkkarten!: 

workshop1# cat /etc/sysconfig/network-scripts/ifcfg-eth0 

DEVICE=eth0 

BOOTPROTO=none 

ONBOOT=no


4.6.2. Lokale Konfigurationsdateien (empfohlen) 

Die Konfiguration der com.oonics Enterprise It Platform wird in lokale 

Konfigurationsdateien abgespeichert. Dies stellt die empfohlene Methode dar. 

Erstellen der Netzwerk-Konfiguration für alle Knoten: 

workshop1# cd /etc/sysconfig/network-scripts 

workshop1# cat ifcfg-eth0 

BOOTPROTO="static" 

IPADDR="192.168.120.50" 

NETMASK="255.255.255.0" 

GATEWAY="192.168.120.10" 

DEVICE="eth0" 

ONBOOT="no" 

STARTMODE="nfsroot" 

Das Paket comoonics-bootimage-extras-localconfigs muss installiert werden. 

workshop1# yum install comoonics-bootimage-extras-localconfigs 

Die Netzwek Konfigurationsdatei muss hostabhängig gemacht werden: 

workshop1# com-mkcdsl --hostdependent ifcfg-eth0 

Wenn statische IP Adressen verwendet werden, müssen die hostabhängigen 

Netzwekkonfigurationsdateien angepasst werden. 

workshop1# cat /.cluster/cdsl/1/etc/sysconfig/networkscripts/ifcfg-eth0 


IPADDR="192.168.120.50" 


GATEWAY="192.168.120.10" 

DEVICE="eth0" 

ONBOOT="no" 


workshop1# cat /.cluster/cdsl/2/etc/sysconfig/networkscripts/ifcfg-eth0 


IPADDR="192.168.120.60" 

NETMASK="255.255.255.0"


GATEWAY="192.168.120.10" 

DEVICE="eth0" 

ONBOOT="no" 


workshop1# cat /.cluster/cdsl/default/etc/sysconfig/networkscripts/ifcfg-eth0 


IPADDR="192.168.120.X" 


GATEWAY="192.168.120.10" 

DEVICE="eth0" 

ONBOOT="no" 


Die „/var/run“ bind Mountpoints müssen konfiguriert werden. 

workshop1# cat /etc/cdsltab 

bind /.cluster/cdsl/%(nodeid)s/var/run /var/run __initrd 

Für die Nutzung des com.oonics distributed shell (com-dsh) müssen die Hostnamen 

der Cluster Knoten in die Datei /etc/comoonics/groups/all eingetragen werden. 

workshop1# cat /etc/comoonics/groups/all 

workshop1 

workshop2 

4.7. Anpassungen des Linux Betriebssystems 

Für die com.oonics Enterprise IT Platform sind ein paar Anpassungen an dem 

Betriebssystem notwendig, welche im Folgenden beschrieben werden. 

Es ist notwendig, dass das /tmp Verzeichnis hostabhängig oder lokal ist. 

Für ein hostabhängiges /tmp Verzeichnis wird ein symbolischer Link gesetzt: 

workshop1# rm -rf /tmp/ 

workshop1# ln -s /var/tmp/ /tmp 

Hinweis: 

Lokale /tmp Filesysteme werden über einen Eintrag in der Datei /etc/fstab 

erstellt.


Die hostabhängigen sowie die gemeinsam genutzten Verzeichnisse sollen nun 

festgelegt werden. 

Hinweis: 

Bitte immer den vollständigen, direkten Pfad angeben. 

Tipp: 

Sollten sich unnötige Dateien wie z.B. Logs in /var/ befinden, ist es aus 

Platzgründen sinnvoll, diese vorab zu löschen. 

workshop1# com-mkcdsl --hostdependent /var/tmp/ /var/account 

/var/cache /var/local /var/lock /var/log /var/spool 

/var/lib/dbus /var/lib/dhclient /var/run 

/var/lib/logrotate.status /etc/blkid /etc/sysconfig/network 

Es muss ein für alle Server im Cluster gemeinsames Lock-Verzeichnis angelegt 

werden: 

workshop1# mkdir /var/sharelock 

/etc/fstab muss angepasst werden – Die Einträge für das alte rootfs und /boot 

müssen entfernt werden: 

workshop1# cat /etc/fstab 

192.168.120.1:/srv/nfs/comoonics/testcluster/root / nfs 

nolock,defaults 0 0 

/dev/vg_local/lv_swap swap swap defaults 0 0 

/dev/vg_local/lv_tmp /var/tmp ext3 defaults 1 2 

tmpfs /dev/shm tmpfs defaults 0 0 

devpts /dev/pts devpts gid=5,mode=620 0 0 

sysfs /sys sysfs defaults 0 0 

proc /proc proc defaults 0 0 

Die hostabhängigen Mountpoints für /var/run müssen angelegt werden. 

/var/run muss bei Bedarf noch zusätzlich mit einem lvm Unterverzeichnis 

versehen werden: 

workshop1# rm /var/run 

workshop1# mkdir /var/run 

workshop1# for i in $(seq 1 $(com-cdslinvadm --get maxnodeidnum )) 

default;do mkdir /$(com-cdslinvadm --get tree)/$i/var/run/lvm ;done


/etc/mtab muss auf /proc/mounts umgeleitet werden: 

workshop1# cd /etc/ 

workshop1# rm -f mtab 

workshop1# ln -s /proc/mounts mtab 

Achtung: 

Nach einem Systemupdate können die chkconfig Einstellungen wieder auf default 

stehen – Services wie kudzu müssen nach einem Update kontrolliert werden. 

Es muss sichergestellt sein, dass Hostnames und Hostname-Auflösung für den 

Cluster zuverlässig funktioniert. 

Da die Datei /etc/sysconfig/network hostabhängig ist, muss diese für jeden 

Clusterknoten angepasst werden. 

Tipp: 

Editieren hostabhängiger Dateien: vi akzeptiert Wildcards in Dateinamen und 

Pfaden → alle Dateien werden geöffnet: 

workshop1# vi /.cluster/cdsl/*/etc/sysconfig/network 

/etc/sysconfig/network: 

workshop1# cat /etc/sysconfig/network 

NETWORKING=yes 

NETWORKING_IPV6=yes 

HOSTNAME=workshop1 

/etc/hosts: 

workshop1# cat /etc/hosts 

# Do not remove the following line, or various programs 

# that require network functionality will fail. 

127.0.0.1 localhost.localdomain localhost 

::1 localhost6.localdomain6 localhost6 

192.168.120.50 workshop1 

192.168.120.60 workshop2


Standardmäßig sollen folgende Services ein bzw. ausgeschaltet werden: 

workshop1# for service in gpm kudzu restorecond smartd pcscd 

bluetooth hidd irda mdmpd yum-updatesd ip6tables iptables; do echo 

$service off; chkconfig $service off; done 

workshop1# for service in netconsole ntpd snmpd rsyslog; do echo 

$service on; chkconfig $service on; done 

Tipp: 

sshd frühzeitig starten, um beim Booten (vor Aktivierung des Cluster Stacks) die 

Möglichkeit zu haben, mittels ssh auf das System zuzugreifen: 

workshop1# chkconfig sshd off 

workshop1# sed -i /etc/init.d/sshd -r -e 's/# chkconfig: 

([[:digit:]]+) [[:digit:]]+ ([[:digit:]])/# chkconfig: \1 20 \2/' 

workshop1# chkconfig sshd on 

Warnung: 

Wenn ein Red Hat Cluster Manager gestartet werden soll, ist darauf zu achten, 

dass selinux und iptables richtig konfiguriert sind! 

Bestimmte cronjobs sollen ausgeschaltet werden: 

rm /etc/cron.*/rpm /etc/cron.*/makewhatis.cron 

/etc/cron.*/mlocate.cron /etc/cron.*/prelink 

/etc/cron.*/makewhatis.cron /etc/cron.*/99-raid-check 

Der Zeitabgeich mit einem zentralen Server soll angepasst werden: 

# # cat > /etc/cron.daily/ntp ntpdate time-server &>/dev/null && hwclock --systohc &>/dev/null 

> EOF 

workshop1# chmod a+x /etc/cron.daily/ntp


Die ssh-Keys sollten generiert werden, damit man ohne Abfragen zwischen den 

Nodes über ssh wechseln kann: 

workshop1# ssh-keygen 

workshop1# cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys 

workshop1# chmod 600 /root/.ssh/authorized_keys 

workshop1# com-dsh hostname 

Eine neue initrd soll gebaut werden (im Falle eines Kernelupdates bzw. Xen-Kernel 

muss die Kernelversion explizit angegeben werden): 

workshop1# /opt/atix/comoonics-bootimage/mkinitrd -f 

/boot/initrd_sr-$(uname -r).img $(uname -r) 

4.8. Erstellen der PXE Boot Konfiguration 

Nachdem der Sharedroot Cluster eingerichtet ist und die initrd Datei erstellt wurde, 

muss der PXE Boot Server noch abschließend konfiguriert werden. 

Die Boot Verzeichnisse der Sharedroot Cluster werden mittels Bindmounts in das 

Verzeichnis des TFTP Servers gemountet. 

Dazu wird die Datei /etc/fstab auf dem TFTP Server angepasst. Aus 

Sicherheitsgründen werden Bindmounts direkt auf das /boot Verzeichnis des Clusters 

gesetzt: 

tftp-server# cat /etc/fstab 

[...] 

/srv/nfs/comoonics/testcluster/root/boot /tftpboot/testcluster 

auto bind 0 0 

tftp-server# mkdir /tftpboot/testcluster 

tftp-server# mount /tftpboot/testcluster 

Um eine Vereinfachung der PXE Boot Konfiguration zu erreichen, wird der Kernel 

und die initrd Dateien des Sharedroot Clusters auf einheitliche Namen abstrahiert: 

tftp-server# cd /tftpboot/testcluster/ 

tftp-server# ln -s vmlinuz-2.6.18-274.7.1.el5 vmlinuz.el5 

tftp-server# ln -s initrd_sr-2.6.18-274.7.1.el5.img initrd_sr.el5 

tftp-server# ln -s initrd_sr-2.6.18-274.7.1.el5.img.failsafe 

initrd_sr.el5.failsafe


Für jeden Server wird eine PXE-Boot Konfigurationsdatei mit dem Namen pxe. 

[nodename].conf erstellt. 

tftp-server# cat /tftpboot/testcluster/pxe.workshop1.conf 

# This is the com.oonics PXE boot config file 

timeout 100 

prompt 1 

default comoonics 

LABEL comoonics 

KERNEL /testcluster/vmlinuz.el5 

APPEND initrd=/testcluster/initrd_sr.el5 nodeid=1 

LABEL comoonics-failsafe 


APPEND initrd=/testcluster/initrd_sr.el5.failsafe nodeid=1 

LABEL comoonics-clone 


APPEND initrd=/testcluster/initrd_sr.el5 nodeid=1 

root=192.168.120.10:/srv/nfs/comoonics/testcluster/root_clone 

LABEL comoonics-clone-failsafe 


APPEND initrd=/testcluster/initrd_sr.el5.failsafe nodeid=1 

root=192.168.120.10:/srv/nfs/comoonics/testcluster/root_clone 

LABEL debug 


APPEND initrd=/testcluster/initrd_sr.el5 nodeid=1 com-debug 

com-step com-expert 

Nun werden symbolische Links für die PXE Boot-Konfigurationen angelegt. Diese 

dienen als Alias Adressen und sorgen für eine Vereinfachung der Administration des 

Systems: 

tftp-server# cd /tftpboot/pxelinux.cfg/ 

tftp-server# ln -s workshop1 01-00-21-5a-aa-61-e8 

tftp-server# ln -s workshop2 01-00-21-5a-48-72-50 

tftp-server# ln -s ../testcluster/pxe.workshop1.conf workshop1 

tftp-server# ln -s ../testcluster/pxe.workshop2.conf workshop2 

Der Cluster ist jetzt funktionsfähig und kann über PXE gebootet werden.


Tipp: 

Um die Funktionalität der Installation zu verifizieren, ist es sinnvoll einen weiteren 

Node in den Cluster zu booten, um eventuelle Änderungen auf dem ersten Node 

noch vornehmen zu können. 

Hinweis: 

Auf den Cluster-Knoten muss im BIOS PXE als default Bootdevice gesetzt werden 

Aus Gründen der Verfügbarkeit kann es sinnvoll sein, mehr als einen NIC für 

PXEboot einzurichten.


5. Einrichten von com.oonics Enterprise Copy 

com.oonics Enterprise Copy wird standardmäßig für folgende Aufgaben eingerichtet: 

Aufgabe Beschreibung 

mkinitrd Erstellen eines neuen initrds sowie ein failsafe backup 

localclone Erstellung eines bootfähigen Clones der Betriebssystem-Installation. 

5.1. Initrd Verwaltung 

5.1.1. mkinitrd.xml 

Die Datei mkinitrd.xml wird in dem Verzeichnis 

/etc/comoonics/enterprisecopy mit folgendem Inhalt erzeugt: 

workshop1# cat /etc/comoonics/enterprisecopy/mkinitrd.xml 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Um ein neues initrd zu erzeugen, wird nun einfach folgender com-ec Befehl 

ausgeführt: 

workshop1# com-ec /etc/comoonics/enterprisecopy/mkinitrd.xml 

5.2. Localclone 

5.2.1. localclone.xml 

Um eine lokale, bootfähige Kopie des Sharedroot Clusters erstellen zu können, wird 

die Datei localclone.xml mit folgendem Inhalt im Verzeichnis 

/etc/comoonics/enterprisecopy erstellt:


workshop1# cat /etc/comoonics/enterprisecopy/localclone.xml 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

workshop1# cd /etc/comoonics/enterprisecopy 

workshop1# cp /opt/atix/comoonics-cs/xsl/defaults.xsl . 

Der Clone-Prozess wird durch folgendes com-ec Kommando gestartet: 

workshop1# com-ec -x /opt/atix/comoonics-cs/xsl/localclone.xsl 

/etc/comoonics/enterprisecopy/localclone.xml


6. Anhang 

6.1. Paketliste 

Im folgenden ist die Liste der notwendigen und empfohlenen Softwarepakete 

dargestellt: 

Paket Beschreibung Status 

comoonics-cluster-py com.oonics cluster configuration utilities 

written in Python 

Notwendig 

comoonics-release com.oonics release package Notwendig 

comoonics-cdsl-py com.oonics cdsl utilities and library 

written in Python 

comoonics-ec-base-py com.oonics Enterprise Copy base 

libraries 

comoonics-ec-py com.oonics Enterprisecopy utilities and 

libraries written in Python 

comoonics-bootimagelistfiles-rsyslogd 

Notwendig 

Notwendig 

Notwendig 

Syslog listfiles for the rsyslog daemon Notwendig 

comoonics-base-py com.oonics minimum baselibraries Notwendig 

comoonics-tools-py com.oonics base tools Notwendig 

comoonics-bootimagelistfiles-all 

comoonics-bootimageinitscripts 

com.oonics listfilesfiles for all 

distributions 

Initscripts used by the com.oonics 

cluster environment. 

comoonics-storage-py com.oonics Enterprisecopy storage 

utilities and libraries written in Python 

comoonics-bootimage Scripts for creating an initrd in a 

com.oonics cluster environment 

comoonics-cs-xml XML and DTD Files for comoonics 

clustersuite 

comoonics-bootimageextras-nfs 

comoonics-cluster-toolspy 

comoonics-bootimagelistfiles-rhel5 

comoonics-bootimageextras-syslog 

comoonics-bootimageextras-localconfigs 

Notwendig 

Notwendig 

Notwendig 

Notwendig 

Notwendig 

Listfiles for nfs sharedroot configurations Notwendig für 

NFS 

com.oonics cluster tools Notwendig 

Extrafiles for RedHat Enterprise Linux Notwendig für 

RHEL5 

Syslog implementation for com.oonics Notwendig 

Extra for cluster configuration via local 

files 

Notwendig für 

lokale 

Konfigurationsdateien. 

comoonics-bootimage- Extrafiles for RHEL5 NFS support Notwendig


Paket Beschreibung Status 

listfiles-rhel5-nfs 

com.oonics-bootimagelistfiles-firmware 

Listfiles for including firmware images 

into the initrd. 

comoonics-cs-xsl-ec XSL Files for comoonics 

enterprisecopy to use cloning 

(master/localclone) 

Notwendig 

Notwendig

Installation Guide, RHEL 5, NFS, 5.0 - bei der ATIX AG

Erfolgreiche ePaper selbst erstellen

Template löschen?

Als Template speichern?