Graphpartitionierung - KIT

1 

Algorithmische Methoden für schwere 

Optimierungsprobleme 

Juniorprof. Dr. Henning Meyerhenke 

Institut für Theoretische Informatik 

Henning Meyerhenke, Institut für Theoretische Informatik 

Algorithmische Methoden für schwere Optimierungsprobleme 

KIT – Universität des Landes Baden-Württemberg und 

nationales Forschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu

2 

Wiederholung 

Algorithmus Improve 

Minimierung eines Quotientenkriteriums 

Kriterium geht ein bei Transformation in Flussproblem 

Jede Iteration findet das Optimum einer abgewandelten Zielfunktion 

durch Lösen des Flussproblems 


Algorithmische Methoden für schwere Optimierungsprobleme

2 

Wiederholung 

Algorithmus Improve 

Minimierung eines Quotientenkriteriums 

Kriterium geht ein bei Transformation in Flussproblem 

Jede Iteration findet das Optimum einer abgewandelten Zielfunktion 

durch Lösen des Flussproblems 

Haupttheorem, Teil 1: 

Jede Iteration liefert ein Ergebnis, das mindestens so gut ist wie das 

Ergebnis der besten Teilmenge der bisherigen Lösung 

Haupttheorem, Teil 2: 

Wenn die Lösung der Eingabe genügend Übereinstimmung mit dem 

Optimum hat, 

dann 1 ɛ -approximiert die Lösung S das Optimum 

Bedingung zur Übereinstimmung bei π(v) = 1: 

Anteil von C, der auch in A liegt, muss etwas größer sein als der 

erwartete Anteil von C in einer Zufallsmenge der Größe A 



3 

Vorlesung 11 

Programm: 

Graphpartitionierung 

Kernighan-Lin bzw. Fiduccia-Mattheyses 

Folien teilweise mit freundlicher Unterstützung von Daniel Mex 



4 

Inhalt 


Einführung 

Heuristiken 

Mehrebenen-Methode 




Einführung

5 

Szenario 

Sie haben einen Graphen gegeben und einen iterativen Algorithmus, 

der darauf operiert. 

Auf jedem Knoten wird eine Berechnung durchgeführt, deren Resultat 

von Werten des Knotens und seiner Nachbarn abhängt, die in der 

vorigen Iteration berechnet wurden. 

Beispiel: x (i+1) 

v 

:= x (i) 

v − α ∑u∈N(v)(x (i) 

v − x (i) 

u ) 




Einführung

5 

Szenario 







v 

:= x (i) 

v − α ∑u∈N(v)(x (i) 

v − x (i) 

u ) 

Sie haben ein paralleles System gegeben, auf dem der Algorithmus 

auf dem Graphen ausgeführt werden soll. 

Jeder Prozessor ist für einen Teil des Graphen zuständig. 




Einführung

5 

Szenario 







v 

:= x (i) 

v − α ∑u∈N(v)(x (i) 

v − x (i) 

u ) 

Sie haben ein paralleles System gegeben, auf dem der Algorithmus 

auf dem Graphen ausgeführt werden soll. 

Jeder Prozessor ist für einen Teil des Graphen zuständig. 

Frage: Wie erreichen Sie eine möglichst hohe Rechenleistung? 

Frage: Wie vermeiden Sie übermäßige Kommunikation? 




Einführung

6 

Beispielgraph 




Einführung

7 

Beispielgraph, Aufteilung in 12 Teile 

4253 vertices, no vertexweights, 24578 edges, no edgeweights, cut 439, pw interval [350..358] 




Einführung

8 

Definitionen 

Definition (Partition, Schnitt) 

Sei G = (V , E) ein ungerichteter Graph. 

Dann ist Π = (V 1, V 2, . . . , V k ) ⊂ V mit .k 

i=1 V i = V und 

V i ∩ V j = ∅ ∀i = j eine k-Partition des Graphen. 




Einführung

8 

Definitionen 






Ext(Π) = {{u, v} ∈ E; u ∈ V i, v ∈ V j mit i = j} ist die Menge der 

Kanten, die zwischen verschiedenen Teilen verlaufen und heißt 

Schnitt der Partition. 




Einführung

8 

Definitionen 






Ext(Π) = {{u, v} ∈ E; u ∈ V i, v ∈ V j mit i = j} ist die Menge der 

Kanten, die zwischen verschiedenen Teilen verlaufen und heißt 

Schnitt der Partition. 

ext(Π) = |Ext(Π)| stehe für die Kantenanzahl des Schnitts. 

Definition (Bisektion) 

Eine Partition (V 1, V 2) heißt balanciert, wenn | |V 1| − |V 2| | ≤ 1 gilt. Eine 

balancierte 2-Partition heißt auch Bisektion. 




Einführung

9 


Graphpartitionierungs-Problem (GPP) 

Sei G = (V , E, ω) ein Graph, partitioniere V 

in V = V1 ˙∪ . . . ˙∪ Vk durch eine Abbildung 

Π : V → {1, . . . , k} derart, dass 

Π balanciert ist (|V1| ≈ · · · ≈ |Vk |) und 

der Kantenschnitt ∑{u,v}∈E:Π(u)=Π(v) ω(u, v) 

minimiert wird. 

N P-schwer/-vollständig 

(Optimierung/Entscheidung) 

In der Praxis: 

Meist Einsatz von Heuristiken (zumindest 

bei großen Instanzen) 



Kantenschnitt 

Kommunikation 


Einführung

Inhalt 


Einführung 

Heuristiken 


10 Henning Meyerhenke, Institut für Theoretische Informatik 



Heuristiken

Gängige Heuristiken 

Kernighan-Lin / Fiduccia-Mattheyses 

Mehrebenen-Verfahren 

Spektrale Partitionierung 

Metaheuristiken 

Random Walks 

Flüsse 




Heuristiken

Kernighan-Lin bzw. 

Fiduccia-Mattheyses 

Lokale Suche mit variabler Tiefe 

Startzustand: ”Beliebige” Partition, meist 

balanciert 

Ähnliche Idee wie bei Lin-Kernighan für 

TSP: Lokale Suche, Knotenverschiebungen 

verbessern Kantenschnitt 

Gierig: Verschiebe Knoten mit höchster 

Verbesserung 




Heuristiken

Kernighan-Lin bzw. 

Fiduccia-Mattheyses 

Lokale Suche mit variabler Tiefe 

Startzustand: ”Beliebige” Partition, meist 

balanciert 

Ähnliche Idee wie bei Lin-Kernighan für 

TSP: Lokale Suche, Knotenverschiebungen 

verbessern Kantenschnitt 

Gierig: Verschiebe Knoten mit höchster 

Verbesserung 

Sehr schnell 

Bei ordentlicher Startlösung gute 

Kantenschnittwerte 

Woher bekommen wir eine gute 

Startlösung? 




Heuristiken


Lokale Methoden brauchen gute 

Startlösungen 

Suchraum beschränken, das 

Schneiden ”schwerer” Kanten 

vermeiden 




Heuristiken


Lokale Methoden brauchen gute 

Startlösungen 

Suchraum beschränken, das 

Schneiden ”schwerer” Kanten 

vermeiden 

Allgemeiner Ablauf: 

Rekursives Vergröbern 

Initiale Partitionierung 

Interpolation und lokale 

Verbesserung 




Heuristiken

Kernighan-Lin-Heuristik 

Gewinn-Konzept (gain) 

Gierige Knotenverschiebungen mit höchster Verbesserung: 

Definition (interner/externer Knotengrad, Gewinn) 

Interner Knotengrad intdeg(v) := ω({u ∈ V | {u, v} ∈ E, π(u)=π(v)}) 

Externer Knotengrad extdeg(v) := ω({u ∈ V | {u, v} ∈ E, π(u)=π(v)}) 

Verschiebung eines Knotens v ⇒ Gewinn gain(v) := extdeg(v) − intdeg(v) 

Tausch von u und v ⇒ Gewinn gain(u, v) := gain(u) + gain(v) − 2ω(u, v) 




Heuristiken

Kernighan-Lin-Heuristik 

Initialisierung 

Falls nicht Teil der Eingabe, initiale Partition berechnen (z.B. zufällig) 

Berechnung des Gewinns für alle Knoten (siehe Abb.) 

Alle Knoten unmarkiert setzen 

0 

2 

1 



1 

3 

– Berechnung des Gewinns fü 

– Verschiebung eines Knotens 

– Markieren des verschobenen 

2 

2 

1 

3 4 

-4 

1 

Abbildung: Kantengewichte, Partition und daraus resultierende Gewinne 

2 

1 

2 

1 

-6 

-3 

2 


Heuristiken

Schleife 

Kernighan-Lin-Verfahren 

● Nächster ● In jederErster Iteration: Schritt: Schritt 

Tausche – Aktualisierung unmarkiertes – Berechnung des Knotenpaar Gewinns des Gewinns 

mit 

für 

höchster 

alle Knoten 

Verbesserung 

Markiere beide Knoten 

– Verschiebung – Verschiebung eines Knotens eines Knotens mit maximalem mit maximalem Gewinn Gewinn der anderen 

Wichtig: Zyklenvermeidung 

Teilmenge 

– Markieren des verschobenen Knotens 

Markierte – Markieren 

Knoten werden 

des getauschten 

in aktueller 

Knoten 

Iteration nicht mehr betrachtet 

-2 

1 

-4 

1 

3 

0 

1 

02 

31 43 

4 

2 

-6 -4 

23 

1 

21 

-3 2 

1 

2 

2 

-3 1 



1 

1 

-6 

-3 

2 

1 

31 43 

4 

Kosten: 7Kosten: 9 Verschiebung Verschiebung Kosten: 7Kosten: 

7 

Abbildung: Situation nach Verschiebung eines Knotenpaars (nicht des besten in 

der Abb.!) mit Gewinn 2 

1 

1 

3 

23 

1 

21 

1 

2 

1 

2 

1 

2 

7 


Heuristiken

Pseudocode eines Durchgangs 

Neuen Durchgang starten, wenn sich Verbesserung ergeben hat 

1: function KERNIGHAN-LIN(G = (V , E, ω), Π = (V 1, V 2)) ⊲ n’ = |V 1| = |V 2| 

2: X 1 ← V 1 

3: X 2 ← V 2 ⊲ X 1 und X 2 stellen die aktuelle Lösung dar 

4: U := V ⊲ U ist Menge der unmarkierten Knoten 

5: Initialisiere gain-Werte 

6: for i ← 1 to n ′ do 

7: Wähle Knotenpaar a i ∈ X 1 ∩ U, b i ∈ X 2 ∩ U mit maximalem gain(a i, b i ) 

8: X 1 ← X 1 − {a i } ∪ {b i } ⊲ a i entfernen, b i einfügen 

9: X 2 ← X 2 − {b i } ∪ {a i } ⊲ b i entfernen, a i einfügen 

10: U ← U − {a i, b i } ⊲ Beide Knoten markieren 

11: Aktualisiere gain-Werte 

12: end for 

13: Wähle 1 ≤ k ≤ n ′ mit ∑ k i=1 gain(a i, b i ) > 0 und maximal 

14: Wende Tauschoperationen von 1 bis k an, um (V ′ 1 , V ′ 2 ) zu erhalten 

15: return beste gefundene und verbessernde Lösung (V ′ 1 , V ′ 2 ) 




Heuristiken

Eine erste Analyse: Laufzeit 


Initiale Partition: O(n) 

Initiale paarweise Gewinne: O(n 2 ) 

Markierung: O(n) 




Heuristiken






Pro Iteration pro Durchgang 

Aktualisierung der paarweisen Gewinne: O(n 2 ) 

Knotenpaar mit maximalem Gewinn berechnen: O(n 2 log n) 




Heuristiken









Laufzeit pro Durchgang: O(n 3 log n) 




Heuristiken









Laufzeit pro Durchgang: O(n 3 log n) 

Frage: Wo sehen Sie Verbesserungspotential? 




Heuristiken

Effizienzverbesserung 

Anpassung des Algorithmus 

Flaschenhals: Aktualisierung der Gewinne, Wahl des besten Paars 

Änderungen durch Fiduccia-Mattheyses: 

Verschiebung einzelner Knoten statt von Paaren 

Abwechselnd aus verschiedenen Knotenblöcken, um Balance zu 

erhalten 

Ermöglicht effiziente Speicherung und Aktualisierung der Gewinne mit 

zwei Bucket-Prioritätswarteschlangen 




Heuristiken


Anpassung des Algorithmus 

Flaschenhals: Aktualisierung der Gewinne, Wahl des besten Paars 

Änderungen durch Fiduccia-Mattheyses: 

Verschiebung einzelner Knoten statt von Paaren 

Abwechselnd aus verschiedenen Knotenblöcken, um Balance zu 

erhalten 

Ermöglicht effiziente Speicherung und Aktualisierung der Gewinne mit 

zwei Bucket-Prioritätswarteschlangen 

Weitere Einsicht: Gewinn-Aktualisierung nur bei Nachbarn notwendig 




Heuristiken


Bucket-Prioritätswarteschlange 

Pro möglichem Gewinn eine doppelt verkettete Liste (o.ä.) mit Knoten 

Zeiger von KnotenBucket-Datenstruktur auf ihre Einträge in der BPQ 

Zeiger auf maximalen Gewinn über alle Knoten 

● Bucket-Datenstruktur für beide Teilmengen 

v 9 9 

v 1 0 



v 9 9 

Knoten 

v 4 2 

v 7 

v 2 

v 17 

v 1 

v 1 

Gewinn 

|E|*w m a x 

. . . 

0 

. . . 

-|E|*w m a x 

D m a x 

Maximaler 

Gewinn 

Abbildung: Bucket-Datenstruktur nach Fiduccia-Mattheyses 

13 


Heuristiken

Bucket-Prioritätswarteschlange 

Operationen: 

Besten Knoten v finden und löschen: O(1) bzw. O(deg(v)) 

amortisiert (hier ohne Beweis), u.a. wegen Zeiger Dmax 

Anderen Knoten finden und löschen: O(1) 

Gewinne aller Nachbarn Bucket-Datenstruktur 

von v aktualisieren: O(deg(v)) 

⇒ Laufzeit pro Durchgang: O(m) bei ungewichteten Graphen 

● Bucket-Datenstruktur für beide Teilmengen 

v 9 9 



v 1 0 

v 9 9 

Knoten 

v 4 2 

v 7 

v 2 

v 17 

v 1 

v 1 

Gewinn 

|E|*w m a x 

. . . 

0 

. . . 

-|E|*w m a x 

D m a x 

Maximaler 

Gewinn 

13 


Heuristiken

Diskussion KL/FM 

KL/FM ist lokale Suche mit variabler Tiefe 

Begrenzte Möglichkeit aus lokalen Optima zu entkommen 

Beste Verbesserung wird genommen, aber Verschlechterungen sind 

kurzfristig möglich 

Zahl der Iterationen meist konstant 




Heuristiken







FM in der Praxis schnelle Heuristik wegen Bucket-PQ 

Bei kleinen Graphen gute Qualität 

Bei guter Startlösung auch bei großen Graphen sehr effektiv 

Nachteile: Fokussierung auf Kantenschnitt nicht bei allen 

Anwendungen vernünftig, Parallelisierung schwierig 




Heuristiken







FM in der Praxis schnelle Heuristik wegen Bucket-PQ 

Bei kleinen Graphen gute Qualität 

Bei guter Startlösung auch bei großen Graphen sehr effektiv 

Nachteile: Fokussierung auf Kantenschnitt nicht bei allen 

Anwendungen vernünftig, Parallelisierung schwierig 

⇒ Brauchen Mehrebenen-Methode für gute Startlösung! 




Heuristiken

Inhalt 


Einführung 

Heuristiken 





Mehrebenen-Methode


Allgemeiner Ablauf: 

Rekursives Vergröbern 

Initiale Partitionierung 

Interpolation und lokale 

Verbesserung 

Ziel: Struktur bei Vergröberung 

erhalten 

Einsicht: Initiale Partition 

bezogen auf Eingabe G viel 

besser als zufällige 




Mehrebenen-Methode

Vergröberungsverfahren 

Zu beachten 

Struktur des Graphen möglichst gut erhalten 

Knoten zusammenfassen, die vermutlich in einen Block gehören 

Schwere Kanten möglichst nicht schneiden 

Gängige Verfahren 

Matchings maximalen Gewichts 

Unabhängige Mengen, AMG 

Verschmelzungsoperation: Siehe Tafel! 




Mehrebenen-Methode

Matching 

Definition 

Ein Matching M ist eine Teilmenge von E, bei der keine zwei Kanten 

einen Knoten gemeinsam haben 

M größtmögliches Matching (engl.: maximum matching): 

|M| maximal unter allen Matchings in G 

M ist Matching maximalen Gewichts: 

∑e∈M ω(e) maximal unter allen Matchings in G 




Mehrebenen-Methode

Matching 

Definition 

Ein Matching M ist eine Teilmenge von E, bei der keine zwei Kanten 

einen Knoten gemeinsam haben 

M größtmögliches Matching (engl.: maximum matching): 

|M| maximal unter allen Matchings in G 

M ist Matching maximalen Gewichts: 

∑e∈M ω(e) maximal unter allen Matchings in G 

Der beste exakte MWM-Algorithmus in allgemeinen Graphen hat eine 

Laufzeit von O( √ n · m). 

Ziel: Bessere Laufzeit bei geringen Qualitätseinbußen. 




Mehrebenen-Methode

Matchings mit maximalem Gewicht in 

allgemeinen Graphen 

Gieriger Ansatz: 

Algorithm 1 Berechnung eines gewichteten Matchings mit Güte 2 

1: function GREEDYAPPROXMWM(G = (V , E, w)) 

2: Sortiere E absteigend nach Gewicht: E = {e 1, . . . , em}, w(e i ) ≥ w(e j ) ∀i < j 

3: M = ∅ 

4: while E = ∅ do 

5: Nehme nächste Kante e = (u, v) aus E und füge diese in M ein 

6: Entferne alle Kanten aus E, die zu u oder v inzident sind 

7: end while 

8: return M 

Beispiel: Siehe Tafel! 




Mehrebenen-Methode

Beispielproblem 

Eigenschaften des Greedy-Algorithmus 

Theorem 

Sei G = (V , E) ein Graph mit nicht-negativen Kantengewichten und sei 

M ∗ ein Matching mit maximalem Gewicht in G. 

GREEDYAPPROXMWM berechnet ein Matching M mit w(M ∗ ) ≤ 2w(M) 

in Zeit O(m log m). 




Mehrebenen-Methode

Beispielproblem 

Eigenschaften des Greedy-Algorithmus 

Theorem 

Sei G = (V , E) ein Graph mit nicht-negativen Kantengewichten und sei 

M ∗ ein Matching mit maximalem Gewicht in G. 

GREEDYAPPROXMWM berechnet ein Matching M mit w(M ∗ ) ≤ 2w(M) 

in Zeit O(m log m). 

Beweis. 

Laufzeit: Klar. Bleibt noch: Güte. 

Die als erstes gewählte Kante e = {u, v} ist schwerste Kante in G. 

Beim Löschen von e und aller inzidenten Kanten werden höchstens 

zwei Kanten e ′ und e ′′ von M ∗ entfernt. 

Es gilt: w(e ′ ) + w(e ′′ ) ≤ 2w(e). Rest: Übung. 




Mehrebenen-Methode

Zwischenfazit Graphpartitionierung 

Gängige Problembeschreibung: 

(Fast) Gleich große Knotenteilmengen 

Kantenschnitt minimal 




Mehrebenen-Methode





Anwendungen: 

Iterative Löser, z.B. bei numerischen Simulationen oder PageRank 

Teile-und-herrsche-Algorithmen 

Nächstes Mal mehr... 




Mehrebenen-Methode





Anwendungen: 

Iterative Löser, z.B. bei numerischen Simulationen oder PageRank 

Teile-und-herrsche-Algorithmen 

Nächstes Mal mehr... 

Algorithmen (bisher): 

Lokale Suchheuristik KL/FM: 

Verschiebe Knoten(paar) mit bestem Gewinn 

Mehrebenen-Ansatz zur Verbesserung der Effizienz von lokaler Suche 




Mehrebenen-Methode

Graphpartitionierung - KIT

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

Template löschen?

Als Template speichern?