CONTENTS 5

12.1.1 Definition Of Eigenvectors And Eigenvalues . . . . . . . . . . . 24712.1.2 Finding Eigenvectors And Eigenvalues . . . . . . . . . . . . . . 24912.1.3 A Warning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25112.1.4 Triangular Matrices . . . . . . . . . . . . . . . . . . . . . . . . 25412.1.5 Defective And Nondefective Matrices . . . . . . . . . . . . . . . 25512.1.6 Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . 26012.1.7 The Matrix Exponential . . . . . . . . . . . . . . . . . . . . . . 26412.1.8 Complex Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . 266

12.2 Some Applications Of Eigenvalues And Eigenvectors . . . . . . . . . . . 26712.2.1 Principal Directions . . . . . . . . . . . . . . . . . . . . . . . . 26712.2.2 Migration Matrices . . . . . . . . . . . . . . . . . . . . . . . . . 26912.2.3 Discrete Dynamical Systems . . . . . . . . . . . . . . . . . . . 272

12.3 The Estimation of Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . 27812.4 MATLAB and Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . 27912.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279

13 Matrices And The Inner Product 28913.1 Symmetric And Orthogonal Matrices . . . . . . . . . . . . . . . . . . . . 289

13.1.1 Orthogonal Matrices . . . . . . . . . . . . . . . . . . . . . . . . 28913.1.2 Symmetric And Skew Symmetric Matrices . . . . . . . . . . . . 29113.1.3 Diagonalizing A Symmetric Matrix . . . . . . . . . . . . . . . . 297

13.2 Fundamental Theory And Generalizations . . . . . . . . . . . . . . . . . 30013.2.1 Block Multiplication Of Matrices . . . . . . . . . . . . . . . . . 30013.2.2 Orthonormal Bases, Gram Schmidt Process . . . . . . . . . . . . 30413.2.3 Schur’s Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . 306

13.3 Least Square Approximation . . . . . . . . . . . . . . . . . . . . . . . . 30913.3.1 The Least Squares Regression Line . . . . . . . . . . . . . . . . 31213.3.2 The Fredholm Alternative . . . . . . . . . . . . . . . . . . . . . 313

13.4 The Right Polar Factorization∗ . . . . . . . . . . . . . . . . . . . . . . . 31413.5 The Singular Value Decomposition . . . . . . . . . . . . . . . . . . . . . 31713.6 Approximation In The Frobenius Norm∗ . . . . . . . . . . . . . . . . . . 32013.7 Moore Penrose Inverse∗ . . . . . . . . . . . . . . . . . . . . . . . . . . . 32313.8 MATLAB And Singular Value Decomposition . . . . . . . . . . . . . . . 32413.9 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324

14 Numerical Solutions of Linear Systems 33314.1 Iterative Methods For Linear Systems . . . . . . . . . . . . . . . . . . . . 333

14.1.1 The Jacobi Method . . . . . . . . . . . . . . . . . . . . . . . . . 33314.2 Using MATLAB To Iterate . . . . . . . . . . . . . . . . . . . . . . . . . 335

14.2.1 The Gauss Seidel Method . . . . . . . . . . . . . . . . . . . . . 33514.3 The Operator Norm∗ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33814.4 The Condition Number∗ . . . . . . . . . . . . . . . . . . . . . . . . . . . 34014.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343

15 Numerical Methods, Eigenvalues 34715.1 The Power Method For Eigenvalues . . . . . . . . . . . . . . . . . . . . . 34715.2 The Shifted Inverse Power Method . . . . . . . . . . . . . . . . . . . . . 34915.3 Automation With MATLAB . . . . . . . . . . . . . . . . . . . . . . . . . 352