v2004.06.19 - Convex Optimization

12 CONTENTSB.2 Doublet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331B.3 Elementary matrix . . . . . . . . . . . . . . . . . . . . . . . . 332B.3.1 Householder matrix . . . . . . . . . . . . . . . . . . . . 333B.4 Auxiliary V -matrices . . . . . . . . . . . . . . . . . . . . . . . 334B.4.1 Auxiliary matrix V . . . . . . . . . . . . . . . . . . . . 334B.4.2 Schoenberg auxiliary matrix V N . . . . . . . . . . . . . 336B.4.3 Auxiliary matrix V W . . . . . . . . . . . . . . . . . . . 337B.4.4 Auxiliary V -matrix Table . . . . . . . . . . . . . . . . 337B.4.5 More auxiliary matrices . . . . . . . . . . . . . . . . . 338B.5 Orthogonal matrix . . . . . . . . . . . . . . . . . . . . . . . . 338B.5.1 Reflection . . . . . . . . . . . . . . . . . . . . . . . . . 339B.5.2 Matrix rotation . . . . . . . . . . . . . . . . . . . . . . 339B.6 Circulant matrices... . . . . . . . . . . . . . . . . . . . . . . . 340C Some optimal analytical results 343C.1 involving diagonal, trace, eigenvalues . . . . . . . . . . . . . . 343C.2 Orthogonal Procrustes problem . . . . . . . . . . . . . . . . . 346C.2.1 Two-sided orthogonal Procrustes problems . . . . . . . 347D Matrix calculus 351D.1 Directional derivative, Taylor series . . . . . . . . . . . . . . . 351D.1.1 Gradients . . . . . . . . . . . . . . . . . . . . . . . . . 351D.1.2 Product rules for matrix-functions . . . . . . . . . . . . 355D.1.3 Chain rules for composite matrix-functions . . . . . . . 357D.1.4 First directional derivative . . . . . . . . . . . . . . . . 358D.1.5 Second directional derivative . . . . . . . . . . . . . . . 363D.1.6 Taylor series . . . . . . . . . . . . . . . . . . . . . . . . 366D.1.7 Correspondence of gradient to derivative . . . . . . . . 367D.2 Tables of gradients and derivatives . . . . . . . . . . . . . . . 370D.2.1 Algebraic . . . . . . . . . . . . . . . . . . . . . . . . . 373D.2.2 Trace . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376D.2.3 Trace Kronecker . . . . . . . . . . . . . . . . . . . . . . 378D.2.4 Log determinant . . . . . . . . . . . . . . . . . . . . . 379D.2.5 Determinant . . . . . . . . . . . . . . . . . . . . . . . . 380D.2.6 Logarithmic . . . . . . . . . . . . . . . . . . . . . . . . 381D.2.7 Exponential . . . . . . . . . . . . . . . . . . . . . . . . 381