3. Rilassamento Lagrangiano

Rilassamento Lagrangiano AA 2009/10 1 

Rilassamento Lagrangiano 

Tecnica più usata e conosciuta in ottimizzazione combinatoria per il 

calcolo di lower/upper bounds (Held and Karp (1970)). 

Si consideri il seguente problema P di programmazione lineare a 

numeri interi: 

(P) z(P) = min c T x 

s.t. Ax ≥ b (1) 

Bx ≥ d 

x ∈ {0,1} 

dove A è una matrice m1×n, B è una matrice m2×n, b è un vettore 

di dimensione m1, d è un vettore di dimensione m2 e c ed x sono vettori 

di dimensioni n. 

Supponiamo che i vincoli (1) siano vincoli “difficili”. 

Il Rilassamento Lagrangiano di P rispetto ai vincoli (1) si ottiene: 

1. rilassando dal problema P i vincoli (1); 

2. introducendo tali vincoli nella funzione obiettivo associando a loro 

un vettore di penalità, chiamato vettore delle penalità Lagrangiane 

(o moltiplicatori Lagrangiani). 

Modelli per le Decisioni - M. Dell’Amico/M. Iori


Il rilassamento Lagrangiano di P rispetto ai vincoli Ax ≥ b è il 

seguente problema L(λ): 

L(λ) z(L(λ)) = min c T x−λ(Ax−b) 

s.t. Bx ≥ d 

x ∈ {0,1} 

dove λ ≥ 0 è il vettore delle penalià Lagrangiane di dimensione m1 e 

L(λ) viene chiamata Funzione Lagrangiana. 

Esempio 1: 

(P) z(P) = min 3x1 +7x2+10x3 

s.t. x1 +3x2 +5x3 ≥ 7 

x1,x2,x3 ∈ {0,1} 

L(λ) z(L(λ)) = min 3x1+7x2 +10x3−λ(x1+3x2 +5x3−7) 

s.t. x1,x2,x3 ∈ {0,1} 

L’importanza di L(λ) sta nel fatto che z(L(λ)) , ∀λ ≥ 0, è un 

valido lower bound al costo della soluzione ottima di P, z(P). 

In certe condizione la soluzione ottima di L(λ) è anche la soluzione 

ottima di P. 



Teorema (Dualità Lagrangiana Debole). 

Il valore ottimo z(P) del problema P è maggiore o uguale al valore 

ottimo z(L(λ)) del problema L(λ), per ogni vettore λ ≥ 0, ovvero: 

Dimostrazione. 

z(P) ≥ z(L(λ)), ∀λ ≥ 0. 

Sia x ∗ la soluzione ottima di P. 

Si noti che x ∗ è anche una soluzione ammissibile per L(λ) per ogni 

λ ≥ 0. Si ha quindi che 

c T x ∗ −λ(Ax ∗ −b) ≥ z(L(λ)) 

ma λ(Ax ∗ −b) ≥ 0 (poichè λ ≥ 0 e Ax ∗ ≥ b), quindi 

c T x ∗ ≥ z(L(λ)) ovvero z(P) ≥ z(L(λ)), ∀λ ≥ 0. 



Set Covering Problem 

Il Set Covering Problem (SCP) è il problema di coprire le righe di 

una matrice m×n (aij) con coefficienti 0 ed 1, con un sottoinsieme di 

colonne a costo minimo. 

Sia xj una variabile binaria 0-1 definita come segue: 

xj = 

⎧ 

⎪⎨ 

⎪⎩ 

1 se la colonna j con costo cj è in soluzione; 

0 altrimenti. 

Una formulazione matematica per il problema SCP è la seguente: 

(SC) z(SC) = min n � 

cjxj 

j=1 

n� 

s.t. 

j=1 

aijxj ≥ 1, i = 1,...,m (2) 

xj ∈ {0,1}, j = 1,...,n 

Esempio 2: m = 3, n = 6, cj = [1,2,3,4,5,6] 

(aij) = 

Soluzione ottima S = {2,3} di costo 5. 

1 

2 

3 

⎡ 

⎢ 

⎣ 

1 2 3 4 5 6 

1 0 1 0 1 0 

0 0 1 1 0 1 

0 1 0 0 1 1 

Modelli per le Decisioni - M. Dell’Amico/M. Iori 

⎤ 

⎥ 

⎦


Il Rilassamento Lagrangiano del problema SC rispetto ai vincoli (2) 

è il seguente: 

(L(λ)) z(L(λ)) = min n � 

cjxj − 

j=1 

m � 

λi( 

i=1 

n � 

aijxj −1) 

j=1 

dove λi ≥ 0,i = 1,...,m. 

s.t. xj ∈ {0,1}, j = 1,...,n 

Il problema L(λ) può essere riscritto come segue: 

(L(λ)) z(L(λ)) = min n � 

(cj − 

j=1 

m � 

λiaij)xj + 

i=1 

m � 

λi 

i=1 

Posto Cj = cj − m � 

i=1 

s.t. xj ∈ {0,1}, j = 1,...,n 

λiaij,j = 1,...,n, L(λ) diventa: 

(L(λ)) z(L(λ)) = min n � 

Cjxj + 

j=1 

m � 

λi 

i=1 

s.t. xj ∈ {0,1}, j = 1,...,n 

la cui soluzione ottima può x ∗ essere calcolata ponendo: 

x ∗ j = 

⎧ 

⎪⎨ 

⎪⎩ 

1 se Cj ≤ 0; 

0 altrimenti. 

,j = 1,...,n 



Esempio 3 

Si consideri il seguente problem di Set Covering: 

(P1) z(P1) = min 2x1 +3x2+4x3+5x4 

s.t. x1 +x3 ≥ 1 

x1 +x4 ≥ 1 

x2 +x3 +x4 ≥ 1 

x1,x2,x3,x4 ∈ {0,1} 

La soluzione ottima è x1 = x2 = 1 e x3 = x4 = 0. 

Rilassando mediante le penalità Lagrangiane λ1, λ2 e λ3 i 3 vincoli di 

P1 si ottiene il seguente problema: 

(L(λ)) z(L(λ)) = min 2x1 +3x2+4x3+5x4 −λ1(x1+x3−1) 

ovvero 

−λ2(x1+x4−1)−λ3(x2 +x3 +x4−1) 

s.t. x1,x2,x3,x4 ∈ {0,1} 

(L(λ)) z(L(λ)) = min C1x1 +C2x2+C3x3 +C4x4 +λ1 +λ2 +λ3 

s.t. x1,x2,x3,x4 ∈ {0,1} 

dove 

C1 = 2−λ1−λ2 

C2 = 3−λ3 

C3 = 4−λ1−λ3 

C4 = 5−λ2−λ3 



Se λ1 = 1.5, λ2 = 1.6 e λ3 = 2.2 si ha: 

C1 = 2−λ1 −λ2 = −1.1 

C2 = 3−λ3 = 0.8 

C3 = 4−λ1 −λ3 = 0.3 

C4 = 5−λ2 −λ3 = 1.2 

per cui la soluzione ottima x ∗ di L(λ) é 

x ∗ 1 = 1,x∗ 2 = x∗ 3 = x∗ 4 

= 0 

di costo z(L(λ)) = −1.1+0+0+0+1.5+1.6+2.2 = 4.2 (≤ 5). 

Se λ1 = 1, λ2 = 1 e λ3 = 3 si ha: 

C1 = 2−λ1 −λ2 = 0 

C2 = 3−λ3 = 0 

C3 = 4−λ1 −λ3 = 0 

C4 = 5−λ2 −λ3 = 1 

per cui la soluzione ottima x ∗ è di L(λ) 

x ∗ 1 = x ∗ 2 = x ∗ 3 = x ∗ 4 = 0 

di costo L(λ) = 0+0+0+0+1+1+3 = 5 (= z(P1)). 

Si noti che x ∗ non è una soluzione ammissibile per P1. 

Si noti inoltre che esistono soluzioni ottime alternative di L(λ) tutte di 

costo z(L(λ)) = 5 che si ottengono ponendo x ∗ 1 = 1 e/o x ∗ 2 = 1 e/o 

x ∗ 3 = 1 e x ∗ 4 = 0. Fra tali soluzioni vi è anche la soluzione ottima di P1. 



Lagrangiano Duale 

Dal teorema della Dualità debole per cui z(L(λ)) ≤ z(P), ∀λ ≥ 0, 

si ha che l’ottimo z(DL) del seguente problema: 

(DL) z(DL) = max 

λ≥0 

[z(L(λ))] 

è un valido lower bound a z(P); ovvero z(DL) ≤ z(P). 

Il problema DL è detto Lagrangiano Duale di P. 

Duality Gap 

Nel caso in cui z(DL) < z(P) allora si dice che esiste un duality 

gap fra il problema P e il problema DL. 

Siaλla soluzione ottima del problema DL. Siainoltre xla soluzione 

ottima di RL(λ), ovvero: 

z(DL) = z(L(λ)) = cx−λ(Ax−b) 

Si consideri il caso in cui x è anche l’ottimo di P, ovvero z(P) = cx. 

È evidente che z(DL) < z(P) se λ(Ax−b) > 0. 



Esempio 4 

(P) z(P) = min 3x1 +7x2+10x3 

s.t. x1 +3x2 +5x3 ≥ 7 

x1,x2,x3 ∈ {0,1} 

(L(λ)) z(L(λ)) = min 3x1+7x2 +10x3−λ(x1+3x2+5x3−7) 

ovvero 

s.t. x1,x2,x3 ∈ {0,1} 

(L(λ)) z(L(λ)) = min (3−λ)x1+(7−3λ)x2+(10−5λ)x3+7λ 

s.t. x1,x2,x3 ∈ {0,1} 

Per calcolare z(DL), calcoliamo L(λ), λ ≥ 0: 

λ = 0, z(L(0)) = 0 e x = (0,0,0); 

λ = 1, z(L(1)) = 7 e x = (0,0,0); 

λ = 2, z(L(2)) = 14 e x = (0,0,0) oppure x = (0,0,1); 

λ = 7 44 , z(L(7)) 

= 3 3 3 

e x = (0,0,1) oppure x = (0,1,1); 

λ = 3, z(L(3)) = 14 e x = (0,1,1) oppure x = (1,1,1); 

λ > 3, z(L(λ)) = −2λ+20 e x = (1,1,1). 

Quindi esiste un gap di dualità in quanto z(DL) = 44 

3 

(= z(L(7 

3 ))), 

z(P) = 17 e x ∗ = (0,1,1), che corrisponde ad una delle soluzioni di 

z(L( 7 

3 )). 



Teorema (Dualità Lagrangiana Forte). 

Sia x la soluzione ottima di L(λ) per un dato λ ≥ 0. 

Se x e λ soddisfano le seguenti condizioni: 

x è ammissibile per P(ovvero Ax ≥ b) e (3) 

λ(Ax−b) = 0, (4) 

allora x è la soluzione ottima di P ed inoltre z(DL) = z(L(λ)). 

Dimostrazione. 

Dimostriamo x è una soluzione ottima di P. 

Essendo x soluzione ammissibile di P si ha 

cx ≥ z(P). (5) 

Per il teorema della dualità Lagrangiana debole si ha: 

Quindi da (5( e (6) si ottiene 

z(P) ≥ L(λ) = cx−λ(Ax−b) ). (6) 

� �� 

=0 per la (4 

cx ≥ z(P) ≥ cx ovvero z(P) = cx (= z(L(λ))). (7) 

Dimostriamo che z(DL) = z(L(λ)). 

Per come è definito il problema DL si ha che: 

Quindi da (7) e (8) si ottiene 

z(DL) ≥ L(λ) 

z(P) ≥ z(DL) 

z(DL) = z(P). 

⎫ 

⎪⎬ 

⎪⎭ 


(8)


Considerazioni 

Si noti che le condizioni del teorema della dualità lagrangiana forte 

sono sufficienti, ma non necessarie. 

Nell’esempio 4 la soluzione duale ottima che si ha per λ = 7 

3 

soluzione ottima del problema primale (x∗ = (0,1,1)), ma: 

λ(Ax−b) = λ(x1+3x2 +5x3−7) = 7 7 

(0+3+5−7) = 

3 3 

Dato un problema P: 

fornisce la 

�= 0 

Quali vincoli devono essere rilassati in modo Lagrangiano ? 

È necessario considerare rilassamenti per i quali la complessità computazionale 

necessaria per risolvere il problema L(λ) è di tipo polinomiale 

o pseudopolinomiale; 

Come risolvere il problema DL ? 

Il numero di penalità Lagrangiane necessarie per effettuare il rilassamento 

influenza la complessità computazionale necessaria per 

risolvere il problema DL; 

Che relazioni ci sono fra il Rilassamento Lineare di P ed il Rilassamento 

Lagrangiano di P ? 



Relazione fra il Rilassamento Lineare 

ed il Rilassamento Lagrangiano 

Il miglior lower bound ottenuto rilassando in modo Lagrangiano il problema 

P (ovvero la soluzione ottima del lagrangiano duale) è sempre 

maggiore o uguale al lower bound ottenuto dal rilassamento lineare di P 

Proprietà di integralità 

z(LP) ≤ z(DL) 

Definizione: proprietà di integralità. Si dice che il Rilassamento 

Lagrangiano L(λ) soddisfa la proprietà di integralità se la regione ammissibile 

di L(λ) (per un dato vettore λ ≥ 0) ha solo vertici interi. 

Ne consegue che 

per qualunque vettore di costi c T 

z(L(λ)) = z(ril. lineare di L(λ)) 

Teorema (Proprietà d’integralità). Se il Rilassamento Lagrangiano 

L(λ) di P soddisfa la proprietà di integralità, allora z(DL) = z(LP). 



Assegnamento Generalizzato 

Sono dati m contenitori ed n oggetti. Il contenitore j ha una 

capacità pari a bj (j = 1,...,m). Ogni oggetto i (i = 1,...,n) 

occupa una spazio pari a aij nel contenitore j (j = 1,...,m). Sia cij il 

costo per assegnare l’oggetto i al contenitore j. 

Si vuole assegnare ogni oggetto ad uno ed un solo contenitore nel rispetto 

della capacità dei contenitori e minimizzando il costo complessivo. 

Una formulazione matematica è la seguente: 

xij = 

⎧ 

⎪⎨ 

⎪⎩ 

1 se l’oggetto i viene assegnato al contenitore j; 

0 altrimenti. 

(AG) z(AG) = Min n � m� 

cijxij 

i=1j=1 

m� 

s.t. 

j=1 

n� 

i=1 

xij = 1,i = 1,...,n (9) 

aijxij ≤ bj,j = 1,...,m (10) 

xij ∈ {0,1},i = 1,...,n,j = 1,...,m 

I vincoli (9) impongono che ogni oggetto sia assegnato ad un ed un solo 

contenitore, mentre le disuguaglianze (10) impongono il vincolo sulla 

capacità dei contenitori. 



Si considerino i seguenti tre Rilassamenti del problema AG: 

- Rilassamento Lagrangiano rispetto ai vincoli (9): 

z(L1(λ)) = min n � m� 

(cij −λi)xij + 

i=1j=1 

n � 

λi 

i=1 

n� 

s.t. 

i=1 

aijxij ≤ bj,j = 1,...,m 

xij ∈ {0,1},i = 1,...,n,j = 1,...,m 

- Rilassamento Lagrangiano rispetto ai vincoli (10): 

z(L2(µ)) = min n � m� 

(cij +aijµj)xij − 

i=1j=1 

m � 

µjbj 

j=1 

s.t. m � 

j=1 

xij = 1,i = 1,...,n 

xij ∈ {0,1},i = 1,...,n,j = 1,...,m 

µj ≥ 0,j = 1,...,m 

- Rilassamento Lagrangiano rispetto ai vincoli (9) e (10): 

z(L3(λ,µ)) = min n � m� 

(cij −λi+aijµj)xij + 

i=1j=1 

n � 

λi− 

i=1 

m � 

µjbj 

j=1 

s.t. xij ∈ {0,1},i = 1,...,n,j = 1,...,m 

µj ≥ 0,j = 1,...,m 

Siccome L2 e L3 soddisfano la proprietà di integralità e possono essere 

facilmente risolti per ispezione. Si ha z(DL2 ) = z(DL3 ) = z(LP). 

Per quanto riguarda L1, si ha z(DL1 ) ≥ z(LP). Si noti che la 

risoluzione di L1(λ) coinvolge la risoluzione di m problemi di knapsack. 



Risoluzione del Lagrangiano Duale 

Teorema La Funzione Lagrangiana è concava. 

✻ 

z(L(λ)) = z(L(αλ 1 +(1−α)λ 2 )) 

z(L(λ 1 )) 

λ1 λ2 λ = αλ1 +(1−α)λ 2 

z(L(λ 2 )) 

αz(L(λ 1 ))+(1−α)z(L(λ 2 )) 

αz(L(λ 1 ))+(1−α)z(L(λ 2 )) ≤ z(L(λ)). 

Subgradiente 

Un vettore s è detto subgradiente di L(λ) in λ se soddisfa: 

✻ 

z(L(λ)) ≤ z(L(λ))+s(λ−λ) 

z(L(λ))+s(λ−λ)) 

z(L(λ)) 

λ λ 

z(L(λ)) 


✲ 

✲


Il Lagrangiano Duale 

(DL) z(DL) = max 

λ≥0 

[z(L(λ))] 

potrebbe essere risolto come un problema di Programmazione Lineare 

Continua, ma spesso risulta molto oneroso dal punto di vista computazionale. 

Per risolvere DL si usano perciò altri metodi, di tipo euristico, fra i 

quali l’ottimizzazione subgradiente. 

1. Calcola la funzione z(L(λ)) per λ dato. 

2. Calcola un subgradiente s in λ; 

3. λ := λ+θs (un passo nella direzione del subgradiente) 

4. Se non è attivo un criterio di arresto, then goto 1. 

Il metodo genera una sequenza finita di vettori λ 1 ,λ 2 ,...,λ k e di valori 

z(L(λ 1 )), z(L(λ 2 )), ...,z(L(λ k )) 

N.B. i valori z(L(λ i )) non sono monotoni ! 



Calcolo del subgradiente 

Dato λ sia x la soluzione di RL(λ), ovvero 

Per un generico λ si ha che 

z(L(λ)) = cx−λ(Ax−b) (11) 

z(L(λ)) = min 

x∈X (cT x−λ(Ax−b)) ≤ cx−λ(Ax−b) (12) 

Sottraendo dalla (12) la (11) si ottiene: 

ovvero 

z(L(λ))−z(L(λ)) ≤ −(λ−λ)(Ax−b) 

z(L(λ)) ≤ z(L(λ))−(Ax−b)(λ−λ) 

ne segue che s = −(Ax−b) è un subgradiente di z(L(λ)) in λ. 

Affinche z(L(λ)) sia maggiore di z(L(λ)) è necessario che: 

−(Ax − b)(λ − λ) > 0, ovvero, è necessario muoversi nella direzione 

del subgradiente: 

λ = λ+θs, θ > 0 

Il problema (non facile) è quello di determinare il valore di θ. 



Metodo del Subgradiente 

Indichiamo in forma di sommatoria i vincoli Ax ≥ b, ovvero, 

n� 

j=1 

aijxj ≥ bi, i = 1,...,m1. 

Algoritmo Subgradiente 

Step 1. Sia α un parametro predefinito. Poni LB = −∞. 

Sia inoltre z(UB) il costo di una soluzione euristica al problema. 

Si ponga λi = 0,i = 1,...,m1. 

Step 2. Si risolva il problema L(λ). 

Sia x ∗ la soluzione ottima di L(λ) di costo z(L(λ)). 

Poni LB = max[LB,L(λ)]. Se Ax ∗ ≥ b e λ(Ax ∗ −b) = 0 

allora x ∗ è la soluzione ottima di P. 

Step 3. Siano si, i = 1,...,m1, i subgradienti per i vincoli rilassati, 

calcolati come: 

si = bi− n � 

j=1 

aijx ∗ j , i = 1,...,m1. 

Step 4. θ = α[z(UB)−z(L(λ))] / m1 

� 

s 

i=1 

2 i . 

Step 5. Si aggiornino le Penalita’ Lagrangiane nel seguente modo: 

λi = max[0,λi+θsi], i = 1,...,m1. 

Vai allo Step 2. 



In genere 0 < α ≤ 2. 

Osservazioni 

Il valore di α va opportunatamente ridotto (α = α/2) se per ∆ 

iterazioni risulta z(L(λ)) ≤ LB. In genere ∆ = 20. 

In generale è necessario imporre un numero massimo di iterazioni 

all’algoritmo in quanto non vi è nessuna garanzia sulla sua terminazione. 

Il lower bound z(L(λ)) prodotto ad una generica iterazione può essere 

inferiore al lower bound prodotto all’iterazione precedente. 

Il lower bound LB tende a crescere rapidamente durante le primi 

iterazioni dell’algoritmo per poi convergere lentamente verso z(DL). 



Set Covering 

Si consideri il problema di Set Covering dell’esercizio 3. 

Una possibile iterazione del Metodo Subgradiente è la seguente. 

Step 1. Poni α = 2. 

Poni z(UB) = 6 (soluzione euristica ottenuta ponendo 

x1 = x3 = 1, x2 = x4 = 0). 

Poni λ1 = 1.5, λ2 = 1.6 e λ3 = 2.2. 

Step 2. La soluzione di L(λ) è x ∗ 1 = 1 e x ∗ 2 = x ∗ 3 = x ∗ 4 = 0 

con z(L(λ)) = 4.2 

Step 3. Le equazioni per il subgradiente sono: 

s1 = (1−x ∗ 1 −x∗3 ) = 0 

s2 = (1−x ∗ 1 −x∗4 ) = 0 

s3 = (1−x ∗ 2 −x∗ 3 −x∗ 4) = 1 

Step 4. θ = 2(6−4.2) 

(0 2 +0 2 +1 2 ) 

= 3.6 

Step 5. L’aggiornamento delle penalità Lagrangiane produce: 

λ1 = max(0,1.5+3.6(0)) = 1.5 



L’iterazione successiva produce: 

x∗ 1 = x∗2 = x∗3 = x∗4 = 1 con z(L(λ)) = −0.7 (< 4.2). 



Rilassamenti con vincoli di tipo diverso 

Si consideri il seguente problema P di programmazione lineare a 

numeri interi: 

(P) z(P) = min c T x 

s.t. A1x ≥ b1 

A2x ≤ b2 

A3x = b3 

Bx ≥ d 

x ∈ {0,1} 

(13) 

(14) 

(15) 

dove A1 è una matrice m1×n, A2 è una matrice m2×n ed A3 è una 

matrice m3 ×n. 

Il rilassamento Lagrangiano del problema P secondo i vincoli (13), 

(14) e (15) è il seguente: 

(L(λ,µ,ω)) z(L(λ,µ,ω) = min c T x−λ(A1x−b1)+ 

s.t. µ(A2x−b2)−ω(A3x−b3) 

Bx ≥ d 

x ∈ {0,1} 

λ,µ ≥ 0 

- λ: vettore di dimensione m1 associato ai vincoli (13); 

- µ: vettore di dimensione m2 associato ai vincoli (14); 

- ω: vettore (libero) di dimensione m3 associato ai vincoli (15); 



Nel caso del problema P lo Step 5 del Metodo del Subgradiente si 

modifica come segue: 

Calcolo dei subgradienti (Step 3): 

- Gi = b1 i − n � 

a 

j=1 

1 ijx ∗ j, i = 1,...,m1; 

- Fi = b2 i − n � 

a 

j=1 

2 ijx ∗ j, i = 1,...,m2; 

- Hi = b3 i − n � 

a 

j=1 

3 ijx ∗ j, i = 1,...,m3. 

Calcolo dello step T (Step 4): 

θ = 

m1 � 

G 

i=1 

2 i 

α(z(UB)−L(λ)) 

m2 � 

+ 

i=1 

F 2 

i 

m3 � 

+ H 

i=1 

2 i 

(16) 

Per quanto riguarda l’aggiornamento delle penalità Lagrangiane si 

ha (Step 5): 

- A1x ≥ b1: λi = max[0,λi+θGi], i = 1,...,m1; 

- A2x ≤ b2: µi = max[0,µi+θFi], i = 1,...,m2; 

- A3x ≤ b3: ωi = ωi +θHi, i = 1,...,m3.

3. Rilassamento Lagrangiano

Trasformi i suoi PDF in rivista online e aumenti il suo fatturato!

Delete template?

Save as template ?