@linear_tec: すべて「座標変換によって同じ処理を見やすく書きかえている」と...

すべて「座標変換によって同じ処理を見やすく書きかえている」という話です．

●対角化 "P^-1AP = Λ" において "A" と "Λ" は本質的に同じ線形写像．
●特異値分解 "A = UΣV^T" において "A" と "Σ" は本質的に同じ線形写像．

一番簡単な行列は「単位行列」．簡単というかそのまんま．
次に簡単なのは「対角行列」．感覚的にほぼ単位行列．計算しなくても「見るだけでわかる情報」が多い．

あらゆる信号処理・データ処理では「対角行列」だけ扱うのが理想的です．だから対角行列を作るためのコストは惜しまない．

物理や工学の本には "Q^-1AP" という形ばかり出てきます．

可逆行列（PとかQ）で主役っぽい行列（A）をはさんでいたら，間違いなく座標変換です．そして "Q^-1AP" を作った後は「ベクトルや行列っぽい話をしなくなる」という特徴があります．ただの数（スカラ）を扱う感覚ですべてが片付きます．