Rappels Conditions de Karush-Kuhn-Tucker Qualification des contraintes Interpr´ etation marginaliste Conditions d’optimalit´e II (P. Carpentier) 20 mars 2015 J.-P. Chancelier, P. Carpentier et M. De Lara Optimisation et contrˆ ole Probl`eme Notations : U : Hilbert de dimension finie (Rn ), U ad : sous-ensemble convexe ferm´e non vide de U, V : Hilbert dans lequel vivent les contraintes (Rm ), C : cˆone convexe ferm´e non vide de V, J : U −→ R : continue et diff´erentiable (crit`ere), Θ : U −→ V : continue et diff´erentiable (contrainte). Probl` eme (P) : min J(u), u∈U ad sous : Θ(u) ∈ −C . Ensemble admissible associ´ e: ad UΘ = u ∈ U ad | Θ(u) ∈ −C . Quelques rappels ad ⊂ U Soit u0 ∈ UΘ ad en u Cˆone tangent et cˆ one normal `a UΘ 0 ad ad Tu0 UΘ = d ∈ U | ∃dk → d, ∃k ↓ 0 t.q. u0 + k dk ∈ UΘ . ad ad Nu0 UΘ = d ∈ U | d , d 0 ≤ 0 ∀d 0 ∈ Tu0 (UΘ ) . Cˆone dual positif ad + ad (Tu0 UΘ ) = −Nu0 UΘ . Cas UΘad convexe : (Tu0 UΘad )+ = d ∈ U | hd , u − u0 i ≥ 0 ∀u ∈ UΘad . Condition n´ecessaire d’optimalit´e ad u ] ∈ arg min J(u) =⇒ ∇J(u ] ) ∈ Tu] UΘ + . ad u∈UΘ Lemme de Farkas g´en´eralis´e + F d ∈ U | A.d ∈ K = adh A .q | q ∈ K + . Condition d’optimalit´e avec hypoth`ese de qualification Difficult´ e : exprimer le dual positif du cˆ one tangent. . . ad en u : D´efinition du cˆone lin´earisant `a UΘ 0 ad Tu`0 UΘ = d ∈ U | d ∈ Tu0 U ad et Θ0 (u0 ).d ∈ TΘ(u0 ) (−C ) . L’inclusion suivante est toujours vraie : ad ad . Tu0 UΘ ⊂ Tu`0 UΘ Hypoth`ese de qualification des contraintes en u0 (QC) : ad ad Tu0 UΘ = Tu`0 UΘ . Condition n´ecessaire d’optimalit´e : ad u ] ∈ arg min J(u) =⇒ ∇J(u ] ) ∈ Tu`] UΘ ad u∈UΘ + . Conditions de Karush, Kuhn et Tucker (1) n o ad Tu`] UΘ = d ∈ U | d, Θ0 (u ] ).d ∈ Tu] U ad × TΘ(u] ) (−C ) . | {z } | {z } A.d K Lemme de Farkas : F F A .(w , λ) = w + (Θ0 (u ] )) .λ, + K + = (Tu] U ad )+ × TΘ(u] ) (−C ) . + F ∇J(u ] ) ∈ adh w + (Θ0 (u ] )) .λ | w ∈ (Tu] U ad )+ , λ ∈ TΘ(u] ) (−C ) ∃λ] , ∀u ∈ U ad , E D F ∇J(u ] ) − (Θ0 (u ] )) .λ] , u − u ] ≥ 0, car (Tu] U ad )+ = w ∈ U | w , u − u ] ≥ 0 ∀u ∈ U ad . λ] ∈ TΘ(u] ) (−C ) car TΘ(u] ) (−C ) + + ⇐⇒ ] λ , Θ(u ] ) = 0 et − λ] ∈ C + , = λ ∈ V | λ , v + Θ(u ] ) ≤ 0 ∀v ∈ C . Conditions de Karush, Kuhn et Tucker Conditions n´ecessaires d’optimalit´e de KKT Soit u ] un minimum local du probl`eme (P). On suppose, en plus des hypoth`eses initiales sur le probl`eme, que les contraintes sont qualifi´ees en u ] . Alors, il existe λ] ∈ V tel que l’on ait : D E F 1 ∇J(u ] ) + (Θ0 (u ] )) .λ] , u − u ] ≥ 0 ∀u ∈ U ad , 2 3 4 Θ(u ] ) ∈ −C , λ] ∈ C + , ] λ , Θ(u ] ) = 0. La condition 4 est appel´ee condition des ´ecarts compl´ementaires, et λ] est appel´e multiplicateur optimal associ´e aux contraintes Θ. Remarque : les conditions de KKT sont des conditions n´ecessaires et suffisantes d’optimalit´e lorsque (P) est un probl`eme convexe, pourvu que l’on v´erifie l’hypoth`ese de qualification des contraintes. (2) Formes particuli`eres des conditions de KKT On s’int´ eresse ` a la premi` ere condition de KKT : D E F ∇J(u ] ) + (Θ0 (u ] )) .λ] , u − u ] ≥ 0 ∀u ∈ U ad . ad = U. Cas sans aucune contrainte : UΘ L’´equation d’optimalit´e se r´eduit `a l’expression : ∇J(u ] ) = 0. On retrouve la condition classique de stationnarit´e. . . Cas sans ensemble admissible : U ad = U. L’in´equation variationnelle ci-dessus devient une ´ equation : F ∇J(u ] ) + (Θ0 (u ] )) .λ] = 0. (1) Formes particuli`eres des conditions de KKT On s’int´ eresse aux trois derni` eres conditions de KKT : D E Θ(u ] ) ∈ −C , λ] ∈ C + , λ] , Θ(u ] ) = 0. Contraintes de type ´egalit´e : C = {0} C + = Rm . Les trois derni`eres conditions de KKT se r´esument `a : Θ(u ] ) = 0. Contraintes de type in´egalit´e : C = Rm C + = Rm + +. Les trois derni`eres conditions de KKT prennent la forme : Θi (u ] ) ≤ 0 , λ]i ≥ 0 , m X λ]i Θi (u ] ) = 0. i=1 Contrainte disjonctive : λ]i = 0 ou Θi (u ] ) = 0 ∀i. Contrainte inactive : Θi (u ] ) < 0 =⇒ multiplicateur nul : λ]i = 0. Pour r´esoudre, on joue aux devinettes : 2m alternatives. . . (2) Interpr´etation lagrangienne des conditions de KKT On introduit le lagrangien, qui joue un rˆ ole essentiel en optimisation : L : U ad × C + −→ R (u, λ) −→ J(u) + hλ , Θ(u)i. Dans le cas U ad = U et C = {0} (contrainte ´egalit´e uniquement), les conditions de KKT s’expriment `a l’aide des gradients de L : F ∇u L(u ] , λ] ) = 0, ∇J(u ] ) + (Θ0 (u ] )) .λ] = 0, ⇐⇒ ] ∇λ L(u ] , λ] ) = 0. Θ(u ) = 0, La recherche d’un point v´erifiant les conditions de KKT se ram`ene alors `a l’´etude de la stationnarit´e du lagrangien ! La solution de ce syst`eme n’est cependant pas toujours solution du probl`eme (P). Exemple : utilisation de KKT dans le cas lin´ eaire quadratique ] u 0 A B> 1 > min u .A.u . = . 2 b B 0 λ] B.u−b = 0 Exemple : projection sur un demi-espace Soit u0 ∈ Rn et soit l’hyperplan de Rn d’´equation : a> .u − b = 0. minn u∈R 1 2 ku − u0 k2 sous a> .u − b ≤ 0. Conditions de KKT : u ] − u0 + λ] a = 0, a> u ] − b ≤ 0 , λ] ≥ 0 , λ] a> u ] − b = 0. Les devinettes. . . Si a> u ] − b < 0, on a λ] = 0 (´ecarts compl´ementaires). u ] = u0 pourvu que les donn´ees v´erifient : a> u0 − b < 0. Sinon, on r´esout le syst`eme : ( ] > ] 1 > λ = kak 2 a u0 − b a u −b =0 1 > u ] − u0 + λ] a = 0 u ] = u0 − kak 2 a u0 − b a pourvu que l’on ait λ] ≥ 0, ce qui implique : a> u0 − b ≥ 0. Retour sur la qualification des contraintes Conditions n´ecessaires d’optimalit´e de KKT Soit u ] un minimum local du probl`eme (P). Sous l’hypoth`ese de qualification des contraintes en u ] : ad ad Tu] UΘ = Tu`] UΘ , il existe λ] ∈ V tel que l’on ait : D E F 1 ∇J(u ] ) + (Θ0 (u ] )) .λ] , u − u ] ≥ 0 2 3 4 Θ(u ] ) ∈ −C , λ] ∈ C + , ] λ , Θ(u ] ) = 0. ∀u ∈ U ad , (1) Retour sur la qualification des contraintes ad = T ` U ad ? Comment assurer la condition (QC) : Tu] UΘ u] Θ (sans elle, les conditions de KKT ne sont pas valides). Id´ ee : donner des conditions suffisantes qui assurent l’´egalit´e. Cas g´ en´ eral : condition de Robinson 0 ∈ int Θ(u ] ) + Θ0 (u ] ). U ad − u ] + C . Cas convexe : condition de Slater 0 ∈ int Θ(U ad ) + C . C = {0} : contrainte ´egalit´e Θ affine 0 ∈ int Θ U ad . int(C ) 6= ∅ : contrainte de cˆ one Θ C−convexe ∃u¯ ∈ U ad , Θ(u) ¯ ∈ int − C . (2) Interpr´etation marginaliste des multiplicateurs Probl` eme perturb´ e et fonction valeur : n o G (v ) = min J(u) sous Θ(u)−v ∈ −C . u∈U ad G fournit le coˆ ut optimal en fonction du niveau de contrainte v . Soit (u ] , λ] ) une solution primale-duale de KKT (en fait un peu plus). Il est clair que l’on a : J(u ] ) = G (0). On a de plus l’interpr´etation marginaliste de λ] : −λ] ∈ ∂G (0). Un des r´ esultats les plus utilis´ es de la th´ eorie de l’optimisation !