Heuristique de choix de valeur dirigée par HQ dans les WCSP - Lina

Actes JFPC 2008Heuristique de choix de valeur dirigée par HQ dansles WCSPNicolas Levasseur Patrice Boizumault Samir LoudniGREYC, UMR60-72Campus Côte de Nacre, boulevard du Maréchal Juin, BP 518614032 CAEN Cedex{nicolas.levasseur,patrice.boizumault}@info.unicaen.fr loudni@iutc3.unicaen.frRésuméLe formalisme des WCSP [11, 14] (WeightedConstraint Satisfaction Problem) est un cadre généralpour modéliser et résoudre des problèmes d’optimisationsous contraintes. Les WCSP sont très souvent résoluspar des méthodes arborescentes qu’elles soient complètes(Depth First Branch and Bound) ou partielles(Limited Discrepancy Search) combinées avec des mécanismesde filtrage basés sur un calcul de minorants.Dans ces méthodes, les heuristiques de sélection dynamiquede variable (MinDom/FutDeg) et de valeur (MinAC)sont parmi les plus efficaces. Dans cet article, nousproposons des nouvelles heuristiques de sélection de valeurbasées sur la qualité des solutions (H-Quality). LaH-Quality d’une affectation estime sa capacité à êtreprésente dans des solutions de “bonne” qualité. Les expérimentationsréalisées avec LDS et DFBB sur des instancesréelles (CELAR) et aléatoires montrent que nosheuristiques guident plus efficacement la recherche queMinAC.1 IntroductionEn programmation par contraintes, les heuristiquesde sélection de variable et de sélection de valeur jouentun rôle primordial dans la résolution d’un problèmeen permettant de définir des stratégies de recherchespécifiques et efficaces. Si de telles stratégies ont étéétudiées intensivement dans le cadre des Problèmes deSatisfaction de Contraintes [6, 7, 2, 13], ce n’est pasencore le cas pour les WCSP.Le formalisme des WCSP (Weighted Constraint SatisfactionProblem) [11, 14] est un cadre général pourmodéliser et résoudre des problèmes d’optimisationsous contraintes. Les WCSP sont très souvent résoluspar des méthodes arborescentes qu’elles soient complètes(Depth First Branch and Bound) ou partielles(Limited Discrepancy Search [8]) combinées avec desmécanismes de filtrage basés sur un calcul de minorants.Dans ces méthodes, les heuristiques de sélectionde variable (MinDom/FutDeg [15]) et de valeur (MinAC)sont considérées parmi les plus efficaces.Dans cet article, nous proposons une nouvelle heuristiquede sélection de valeur dans le cadre des WCSPbasée sur la qualité des solutions. La H-Quality d’uneaffectation estime sa capacité à être présente dansdes solutions de “bonne” qualité. Notre heuristiqueselect-value-HQ ordonne les valeurs des variablespar ordre croissant des H-Quality. Les expérimentationsréalisées avec LDS et DFBB sur des instancesréelles (CELAR) et aléatoires montrent que sur la plupartde celles-ci, select-value-HQ guide plus efficacementla recherche que MinAC.La section 2 présente le cadre WCSP. Les sections3 et 4 rappellent et décrivent DFBB combiné avec lesmécanismes de filtrage. La section 5 détaille la versionde LDS que nous avons utilisée et la section 6l’heuristique de choix de valeur MinAC. La notion deH-Quality ainsi que les nouvelles heuristiques de sélectionde valeur qui en résultent sont définies dans la section7. Dans la section 8, nous comparons la notion deH-Quality à celle utilisée par MinAC. La section 9 estconsacrée aux expérimentations, puis nous concluons.2 Problème de Satisfaction deContraintes PondéréesUn WCSP (Weighted Constraint Sastisfaction Problem)est défini par un quadruplet (X , D, C, k), avecX = {x 1 , ..., x n } l’ensemble des variables (de taille n),1

5 Limited Discrepancy SearchLDS (Limited Discrepancy Search) est une méthodede recherche partielle introduite par Harvey et Ginsberg[8]. Soit h une heuristique dans laquelle on a unegrande confiance. Le principe de LDS est de suivrel’heuristique h lors du parcours de l’arbre de recherche,mais en considérant que h peut se tromper un petitnombre (δ) de fois. On s’autorise donc δ écarts (discrepancies)à l’heuristique h. Pour un nombre maximalδ d’écarts autorisé, LDS explore l’arbre de recherchede manière itérative selon un nombre croissant d’écartsallant de i = 0 à i = δ. A chaque itération, i est incrémentéde 1. Nous avons étendu LDS aux WCSPcomme dans [12] en trois étapes :D’un arbre binaire à un arbre n-aire. La comptabilisationdes écarts dans un arbre n-aire est un sujettrès rarement traité dans la littérature. Un écart de jest comptabilisé lorsque l’on sélectionne le (j+1)èmefils (selon l’heuristique h) à la place du premier. Ainsi,le choix du premier fils (selon h) provoquera un écartde 0, le choix du second un écart de 1, et ainsi de suite.De la satisfaction à l’optimisation. CommeDFBB, LDS essaie d’étendre une affectation partielleen une affectation complète. Soit A une affectationpartielle ; une phase de filtrage, basée sur le calcul d’unminorant LB(A) du coût de toutes les affectation complètesprolongeant A, permet comme pour DFBB (algorithme1), l’élagage de l’arbre de recherche.N’effectuer qu’une seule itération. Le principalinconvénient de LDS est la redondance d’explorationde certains nœuds. En effet, l’itération i revisite lesnœuds déjà visités aux itérations 0, 1, ..., et i − 1.Nous effectuons uniquement la dernière itération afinde ne pas revisiter plusieurs fois les mêmes sous arbres.L’algorithme 2 détaille le pseudo-code de LDS n-aire, A représente l’affectation courante, X f les variablesfutures et δ le nombre d’écarts à h. Au débutA = ∅, X f = X et δ =valeur maximale autorisée.Comme pour DFBB (algorithme 1), si toutes les variablessont affectées, on met à jour UB et la solutioncourante devient la meilleure solution connue. Sinon,on sélectionne la prochaine variable à affecter (ligne4) ; soit d i le domaine de x i ordonné par h. Dans laboucle while, un écart de j correspond au choix de la(j +1)ième valeur. Tant qu’il reste suffisament d’écarts(j ≤ δ) et de valeurs dans le domaine d i (d i ≠ ∅,la (j + 1)ième valeur est sélectionnée (ligne 7) et lenombre restant d’écarts est décrémenté à (δ − j). Sila phase de filtrage ne produit aucun domaine vide, larecherche se poursuit (ligne 9).123456789101112Algorithm 2: n-ary LDS for optimisation.function n-ary-LDS-PROBE-optim (A, X f , δ)beginif X f = ∅ thenUB ← V(A)return Ax i ← select-variable (X f )j ← 0while (d i ≠ ∅) ∧ (j ≤ δ) doa ← select-value (d i )if Filtering (A ∪ {(x i = a)}, X f \ {x i }, UB) thenBestS ← n-ary-LDS-PROBE-optim(A ∪ {(x i =a)}, X f \ {x i }, δ − j)13 return BestSendcancelFiltering (A, (x i = a), X f )d i ← d i \ {a}j ← j + 16 Heuristique de choix de valeur génériquepour les WCSPLes compteurs d’arc consistance (ac) détaillés section4 prennent en compte pour chaque affectation(x i = a) les coûts des contraintes qui seront nécessairementviolées lors de l’extension de l’affectationpartielle A avec (x i = a). En sélectionnant la valeurayant le compteur d’inconsistances minimal ac, la rechercheest guidée vers les sous-espaces de recherche lesmoins inconsistants. L’heuristique de choix de valeurMinAC décrite dans [11] est une heuristique générique(indépendante du problème) basée sur ces compteurs.Elle ordonne les valeurs des domaines des variablespar ordre croissant des valuations comptabilisées parles compteurs d’arc consistance.7 Heuristiques de choix de valeur baséessur les H-Quality pour WCSPLes choix effectués par MinAC dépendent fortementde la capacité des mécanismes de filtrage à détecter lesinconsistances futures. La plupart des algorithmes defiltrage sont basés sur un critère local (i. e. arc cohérence).De plus, nous avons constaté sur les nombreusesexpérimentations effectuées que MinAC engendraitde nombreux candidats ex-aequo.7.1 L’historique de la rechercheAu cours de la recherche, on effectue des observationsbasées sur la qualité des solutions obtenues. Eneffet, toutes les inconsistances étant connues dans lesaffectations complètes, on se base alors sur un critèreglobal plus indépendant des mécanismes de filtragepour dériver des heuristiques de choix de valeur.

Définition 1 L’historique de recherche H est définipar l’ensemble des solutions obtenues depuis le débutde la résolution.7.2 H-Quality d’une affectationLa notion de H-Quality d’une affectation, selon unhistorique, estime la capacité d’une valeur à être présentedans les solutions de “bonne” qualité, et doncsa capacité à guider la recherche vers les sous-espacesoù les inconsistances (somme des coûts des contraintesviolées) seront plus faibles.Définition 2 Pour x i ∈ X , a ∈ d i et un historique H.HQ val (x i , a, H) = min A∈H∧(xi=a)∈A V(A)HQ val (x i , a, H) représente le coût de la meilleure solutionde l’historique H contenant l’affectation (x i = a).Plus les solutions contenues dans H sont de bonnequalité, plus la notion de H-Quality devient pertinentecar approchant, pour chaque affectation (x i , a),la valeur théorique : min A∈d1×...×(x i=a)×...×d nV(A),qui représente le coût minimal d’une affectation complètecontenant (x i = a). Cette valeur qui ne peutêtre obtenue qu’en énumérant toutes les affectationscomplètes d’un problème, permettrait de prédire enhaut de l’arbre de recherche que l’affectation (x i = a)ne pourrait être étendue en une solution de qualitémeilleure que HQ val (x i , a, H). Par conséquent, nousavons choisi d’utiliser l’opérateur min dans la définitiondes H-Quality, car il permet de s’approcher aucours de la recherche de cette valeur, et également deguider vers les zones les moins inconsistantes.L’opérateur max nous a semblé inadapté, car le rôlede l’heuristique est de guider la recherche vers les solutionsde “bonne” qualité et non de “mauvaise”. Enfin,l’opérateur average nous a semblé inadapté également,car de nombreuses solutions étant générées pardes descentes gloutonnes sans filtrage (voir section 7.4pour plus de détails), elles sont régulièrement de moinsbonne qualité que la meilleure solution connue. Lamoyenne reflète alors plus les moins bonnes qualitésque les bonnes, et ne guide pas la recherche vers lesmeilleurs sous-espaces.Complexité. Pour une affectation (x i , a), on stockeen mémoire uniquement la meilleure (plus petite)HQ val (x i , a, H) ; l’espace mémoire nécessaire pour représenterH est donc en 0(n × d). Mettre à jour l’historiqueH, en ajoutant une solution A, se fait en O(n)(cf. la procédure update-HQ de l’algorithme 3).7.3 LDS guidée par des heuristiques basées sur lesH-QualityNous proposons l’heuristique select-value-HQ (cf.Algo. 3) qui trie les valeurs du domaine d’une variableAlgorithm 3: H-Quality heuristicsfunction select-value-HQ (d i ) begin1 Select a ∈ d i having the smallest H-Quality value2 Break the ties using MinAC3 return aendprocedure update-HQ(A, H)begin4 foreach (x i = a) ∈ A do5 if HQ val (x i , a, H) > V(A) thenHQ val (x i , a, H) ← V(A)6789101112endprocedure compute-HQOnce (A, d i , X f )beginfor a ∈ d i doif HQ val (x i , a, H) is unknown thenA ← greedy(A ∪ (x i = a), X f \ {x i })update-HQ(A, H)endprocedure compute-HQAll (A, d i , X f )beginfor a ∈ d i doA ← greedy(A ∪ (x i = a), X f \ {x i })update-HQ(A, H)endselon l’ordre croissant des valeurs d’H-Quality. A égalité,les ex-aequo seront départagés par MinAC. Cependant,lors de l’appel à cette fonction, certaines valeursd’H-Quality peuvent être inconnues : pour unevaleur a ∈ d i , H peut très bien ne contenir aucunesolution contenant (x i = a). Dans ce cas, nous choisissonsd’ajouter (x i = a) à l’affectation partielle etde l’étendre en une affectation complète à l’aide d’unedescente gloutonne. Pour combiner select-value-HQavec LDS (cf. Algo. 4), on doit :1. mettre à jour les H-Quality des affectations lorsqu’unenouvelle solution est trouvée (ligne 2) en appelantla procédure update-HQ ;2. appeler la procédure compute-HQOnce juste aprèsla sélection d’une variable (ligne 4) ;3. remplacer l’heuristique select-value par selectvalue-HQ(ligne 7).La pertinence de notre heuristique est directementliée à la diversité et au nombre de solutions présentesdans l’historique. Nous avons donc aussi étudié unecombinaison de l’algorithme de recherche avec une variantede select-value-HQ notée HQAll, la précédenteétant notée HQOnce, où l’on effectue à chaque nœud,une descente gloutonne pour chaque valeur du domaine(et non plus uniquement pour les valeurs d’H-Quality inconnues). Pour cela, il suffit de substituerl’appel à la procédure compute-HQOnce par un appelà la procédure compute-HQAll dans l’algorithme 4. Lesur-coût est négligeable car chaque descente gloutonnea une faible complexité, comme nous allons le voir.

compte des répercussions au niveau de l’ensemble dugraphe de contraintes.Notre heuristique de choix de valeur se base ellesur un critère global où toutes les inconsistances sontconnues. Cependant, contrairement à MinAC, elle netient pas compte directement de l’affectation partiellecourante pour affecter les variables futures, mais indirectement,car :1. les compteurs d’inconsistances sont utilisés parl’algorithme de filtrage, et ainsi les valeurs générant“beaucoup” d’inconsistances avec l’affectation partiellecourante seront filtrées, même si elles ont des “bonnes”valeurs d’H-Quality.2. les compteurs d’inconsistances guident les descentesgloutonnes qui permettent de mettre à jour égalementles H-Quality. Ces descentes, peuvent alors apporterdes informations qui sont prises en compte dans l’explorationdu sous-espace de recherche.3. les H-Quality ont été “apprises” sur des affectationspartielles différentes de l’affectation partielle courante,mais fortement similaires. En effet, hormis à la racinede l’arbre de recherche, LDS et DFBB ne modifientjamais complètement l’affectation partielle courante,seul le dernier choix est remis en cause, le reste del’affectation étant conservée.4. les H-Quality permettent de mémoriser lesmeilleures extensions d’affectations partielles similairesà la courante A. En effet, lors de la remise encause de la dernière affectation (x i = a), cela a peu dechances d’influencer l’ensemble des affectations des variablesfutures. Ainsi, l’affectation pour des variablesfutures éloignées (au sens du graphe des contraintes)de x i avec leur meilleure trouvée précédemment génèrera“peu” d’inconsistances. Cela est d’autant pluspertinent si le graphe de contraintes est structuré.9 Expérimentations9.1 BenchmarksInstances WCSP générées aléatoirement :chaque instance est caractérisée par un quadruplet< n, d, p 1 , p 2 > où n est le nombre de variables, dle nombre de valeurs par domaine, p 1 la connectivitédu graphe de contraintes (définissant le nombre decontraintes du graphe), et p 2 la dureté des contraintes(le pourcentage de n-uplets interdits par contrainte) etpar une distribution des coûts ; 20% des contraintes ontcomme valuation pour les n-uplets interdits ⊤, 20%1000, 20% 100, 20% 10 et 20% 1. Les tuples autorisésont pour valuation 0. Chaque courbe représente unemoyenne de 25 résolutions de l’évolution de la qualitémeilleure de la solution au cours du temps.Instances binaires RLFAP : le CELAR (Centred’Electronique de l’Armement) a fourni des instancesréelles d’affectation de fréquences radio (Radio LinkFrequency Assignment Problem [1]). Dans ces instances,l’objectif est d’affecter un nombre limité defréquences à un ensemble de liens radio définis entredes sites, dans le but de minimiser les interférencesdues à la réutilisation des fréquences. Dans nos expériences,nous avons considéré les sous-instances (Sub0à Sub4) de l’instance 6. Un pré-traitement est réaliséavant le début de la recherche sur chaque sous-instancedans le but de diminuer le nombre de variables et decontraintes.Chaque instance a été résolue par soit LDS, soitDFBB en utilisant soit MFDAC*, soit PFC-DAC.Pour LDS, l’écart (discrepancy) avait pour valeur 4,qui est la valeur optimale trouvée par [12] sur les instancesRLFAP ou 5. Toutes les stratégies de rechercheont été implémentées en Java en utilisant la bibliothèquechoco [9]. Toutes les expérimentations ont étéeffectuée sur un Pentium 4 d’1.6 GHz.Nous avons comparé MinAc à deux heuristiques :HQOnce qui effectue à chaque nœud, une recherchegloutonne pour initialiser les valeurs ayant des H-Quality inconnues et HQAll qui effectue à chaquenœud, une recherche gloutonne pour chaque valeur dudomaine. Pour l’heuristique de choix de variable, nousavons utilisé MinDom/FutDeg.9.2 DFBBLes figures 1 à 3 montrent les résultats obtenus avecMFDAC* sur différents problèmes aléatoires. Sur laclasse des problèmes “faciles” < 50, 10, 20, 60 > (fig.2), les résultats obtenus avec MinAC, HQAll et HQOncesont très similaires. Sur ces problèmes l’optimum a étéprouvé 24 fois sur les 25 résolutions par les trois heuristiques.Lorsque la connectivité augmente (fig. 3), nosheuristiques sont nettement plus efficaces que MinAC,toutefois l’optimum n’est jamais prouvé (le timeoutété fixé à 2 heures). Même sur des instances plus petitesayant la même connectivité < 40, 8, 48, 60 > (fig.1), le timeout a été atteint plus de 20 fois sur les 25résolutions pour les 3 heuristiques.En raison de son caractère local (arc-consistency),on observe que les éventuels mauvais choix de MinACont moins de conséquences sur les problèmes “faciles”,ce qui n’est pas le cas sur les problèmes “difficiles” oùles conséquences peuvent être très importantes.Sur les sous-instances de la scène 6 du Celar, nosheuristiques ont de meilleurs résultats sur l’instanceSub2 (fig. 5), et sont comparables sur l’instance Sub3(fig. 6). Notons toutefois que sur l’instance Sub0 (fig.4) MinAC est nettement meilleur. Cela peut s’expliquerpar le sur-coût induit par les descentes les gloutonneset du fait que cette instance est facile à résoudre

(l’optimum est obtenu en moins d’une seconde).9.3 LDSNous avons également comparé les trois heuristiquescombinées avec LDS sur les classes de problèmes aléatoires< 50, 10, p 1 , p2 >, avec p 1 égal à 20 ou 48 et différentesvaleurs de p 2 (figures 10-14). De nouveau, HQAllet HQOnce surpassent clairement MinAC sur la plupartdes instances. Par ailleurs, on observe que l’écartde performances entre les heuristiques s’accroît avecl’augmentation de la dureté et/ou de la connectivitédu graphe. En effet, en augmentant un de ces paramètres(ou les deux), on accroît les conséquences des“mauvais” choix, car le nombre d’inconsistances dansle graphe croît. En effet, MinAc guidée par l’arc consistancene permet pas d’anticiper ces conséquences, alorsque nos heuristiques basées sur les H-Quality, calculéesà partir d’affectations complètes où toutes les inconsistancessont connues, sont plus efficaces. En outre,les choix effectués par nos heuristiques assurent qu’aumoins une affectation (x i = a) est présente dans unesolution de qualité HQ val (x i , a, H).Notons que les performances de HQAll et HQOncesont très comparables au début de la recherche. Mais,dès que la qualité de l’historique est suffisamment pertinente,HQAll devient très efficace et surpasse HQOnce.En effet, les mises à jour régulières des H-Qualityavec les descentes gloutonnes diversifient l’historiqueet augmentent sa qualité, guidant la recherche vers dessous-espaces plus prometteurs.Sur les sous-instances de la scène 6 du Celar (figures7-9), HQAll obtient de meilleurs performances que MinAC,excepté sur l’instance Sub3 où les résultats sontcomparables.Nous avons étudié l’influence de la valeur de la discrepancysur nos heuristiques en augmentant celle-ci à5 (fig. 15 et 16). Les résultats reportés montrent queHQOnce et HQAll restent toujours plus pertinentes queMinAC. Nous avons également étudié l’influence desalgorithmes de filtrage sur notre heuristique en substituantMFDAC* par PFC-DAC (fig. 17 et 18), etil apparaît que HQOnce et HQAll sont moins sensiblesaux mécanismes de filtrage que MinAC et restent bienmeilleurs.10 ConclusionDans ce papier, nous avons proposé de nouvellesheuristiques de choix de valeur pour les WCSP baséessur la qualité des solutions. Les expérimentations surdes instances aléatoires et sur des problèmes réels (CE-LAR) montrent que nos heuristiques de choix de valeurguident plus efficacement la recherche sur la plupartdes instances. Nous souhaitons également confirmer lesrésultats obtenus par nos heuristiques en initialisant laborne supérieure par une méthode de recherche locale,et en utilisant EDAC comme algorithme de filtragecombiné avec une phase de pré-traitement [3].Références[1] B. Cabon, S. De Givry, L. Lobjois, T. Schiex, andal. Radio link frequency assignment. Constraints,4(1) :79–89, 1999.[2] H. Cambazard and N. Jussien. Identifying and exploitingproblem structures using explanation-basedconstraint programming. Constraints, 11(4), 2006.[3] Martin C. Cooper, Simon de Givry, and ThomasSchiex. Optimal soft arc consistency. In IJCAI, pages68–73, 2007.[4] S. de Givry, F. Heras, M. Zytnicki, and J. Larrosa.Existential arc consistency : Getting closer to full arcconsistency in weighted CSPs. IJCAI, pages 84–89,2005.[5] E. C. Freuder and R. J. Wallace. Partial constraintsatisfaction. AI, 58 :21–70, 1992.[6] P. A. Geelen. Dual viewpoint heuristics for binaryconstraint satisfaction problems. ECAI, pages 31–35,1992.[7] I. P. Gent, E. MacIntyre, P. Prosser, B. Smith, andT. Walsh. An empirical study of dynamic variableordering heuristics for the constraint satisfaction problem.CP, pages 179–193, 1996.[8] W. D. Harvey and M. L. Ginsberg. Limited discrepancysearch. IJCAI, pages 607–615, 1995.[9] N. Jussien and V. Barichard. The PALM system :explantion-based constraint programming. Proceedingsof TRICS a post-conference workshop of CP,pages 118–133, 2000.[10] J. Larrosa and P. Meseguer. Exploiting the use ofDAC in MAX-CSP. Proceedings of CP, 1996.[11] J. Larrosa and T. Schiex. In the quest of the best formof local consistency for Weighted CSP. IJCAI, pages239–244, 2003.[12] S. Loudni and P. Boizumault. Combining VNS withconstraint programming for solving anytime optimizationproblems. to appear in EJOR, pages 1–31, 2007.[13] P. Refalo. Impact-based search strategies forconstraint programming. CP, pages 557–571, 2004.[14] T. Schiex, H. Fargier, and G. Verfaillie. Valuedconstraint satisfaction problems : Hard and easy problems.IJCAI, pages 631–639, 1995.[15] B. M. Smith and S. A. Grant. Trying harder to failfirst. ECAI, pages 249–253, 1998.[16] R. J. Wallace. Directed arc consistency preprocessing.ECAI, Workshop on constraint Processing, pages 121–137, 1994.

Fig. 1 – DFBB-Fig. 2 – DFBB-1350013000MinAC+MinDom/FutDegHQAll+MinDom/FutDegHQOnce+MinDom/FutDeg1000950MinAC+MinDom/FutDegHQAll+MinDom/FutDegHQOnce+MinDom/FutDeg1250090012000850Best UB1150011000Best UB800750105007001000065095000 1000 2000 3000 4000 5000 6000 7000 8000Time (sec)6000 1000 2000 3000 4000 5000 6000 7000 8000Time (sec)Best Averaged UB3400032000300002800026000Fig. 3 – DFBB-MinAC+MinDom/FutDegHQOnce+MinDom/FutDegHQAll+MinDom/FutDeg0 500 1000 1500 2000 2500 3000 3500 4000Time (sec)Fig. 4 – DFBB-Sub0 (32 vars, 223 contraintes)Best UB450400350300250200MinAC+MinDom/FutDegHQOnce+MinDom/FutDegHQAll+MinDom/FutDeg1500.15 0.2 0.25 0.3 0.35 0.4 0.45 0.5 0.55 0.6 0.65Time (sec)Fig. 5 – DFBB-Sub2(32 vars,369 constraints)550050004500MinAC+MinDom/FutDegHQOnce+MinDom/FutDegHQAll+MinDom/FutDegFig. 6 – DFBB-Sub3(36 vars,439 constraints)8000750070006500MinAC+MinDom/FutDegHQOnce+MinDom/FutDegHQAll+MinDom/FutDegBest UB4000Best UB600055003500500030004500400025000 500 1000 1500 2000 2500 3000 3500Time (sec)35000 500 1000 1500 2000 2500 3000 3500 4000Time (sec)

Fig. 13 – LDS(4)Fig. 14 – LDS(4)10080MinAC+MinDom/FutDegHQAll+MinDom/FutDegHQOnce+MinDom/FutDeg125001200011500MinAC+MinDom/FutDegHQAll+MinDom/FutDegHQOnce+MinDom/FutDegBest UB6040Best UB110001050010000209500900000 5 10 15 20 25Time (sec)85000 10 20 30 40 50 60 70Time (sec)Fig. 15 – LDS(5)Fig. 16 – LDS(5)14001300MinAC+MinDom/FutDegHQAll+MinDom/FutDegHQOnce+MinDom/FutDeg330003200031000MinAC+MinDom/FutDegHQAll+MinDom/FutDegHQOnce+MinDom/FutDeg120030000Best UB1100Best UB290002800010002700026000900250008000 50 100 150 200 250 300 350Time (sec)240000 50 100 150 200 250 300 350 400Time (sec)Fig. 17 – LDS(4) PFC-DACFig. 18 – LDS(4) PFC-DAC70006000MinAC+Dom/FutDegHQAll+Dom/FutDegHQOnce+Dom/FutDeg4000038000MinAC+Dom/FutDegHQAll+Dom/FutDegHQOnce+Dom/FutDegBest Averaged UB500040003000Best Averaged UB3600034000320003000020002800010000 50 100 150 200 250 300 350Time (sec)260000 50 100 150 200 250 300 350 400Time (sec)