雑感等

音楽，数学，語学，その他に関するメモを記す．

トップ > 機械学習 > PRMLの確率的主成分分析の式とPCA/ZCA白色化

PRMLの確率的主成分分析の式とPCA/ZCA白色化

機械学習

https://www.microsoft.com/en-us/research/people/cmbishop/prml-book/ https://cbrnr.github.io/2018/12/17/whitening-pca-zca/

PRMLのp.574の確率的主成分分析(PPCA)に関する式(12.45) \displaystyle \mathbf{W}_\mathrm{ML}=\mathbf{U}_\mathrm{M} ( \mathbf{L}_\mathrm{M} - \sigma ^2 \mathbf{I} )^{1/2} \mathbf{R} において， \sigma ^2=0とした（確率的ではない普通のPCAとした）上で，

  1. \displaystyle \mathbf{R}=\mathbf{I}とすればPCA白色化の式を得る．
  2. \displaystyle \mathbf{R}= \mathbf{U}_\mathrm{M} ^{-1}とすればZCA白色化の式を得る．

PRMLのp.574の確率的主成分分析(PPCA)に関する式(12.45) \displaystyle \mathbf{W}_\mathrm{ML}=\mathbf{U}_\mathrm{M} ( \mathbf{L}_\mathrm{M} - \sigma ^2 \mathbf{I} )^{1/2} \mathbf{R}

ただし，

  • \displaystyle \mathbf{W}_\mathrm{ML}は，変換行列（データ \mathbf{X}にかけて， \displaystyle \mathbf{Z}=\mathbf{W}_\mathrm{ML} \mathbf{X} みたいに使う）
  • \displaystyle \mathbf{U}_\mathrm{M}は，データ \mathbf{X}の共分散行列 \mathbf{S}の固有ベクトルを並べた行列（原文とは異なり，ここでは次元削減を考えない）
  • \displaystyle \mathbf{L}_\mathrm{M} は， \mathbf{S}の固有値を対角成分とした行列（固有値の並びは \displaystyle \mathbf{U}_\mathrm{M}に対応する）
  • \displaystyle \sigma ^2は，PPCAで次元削減する際の次元に関連した分散
  • \displaystyle \mathbf{I}は，単位行列
  • \displaystyle \mathbf{R} は，任意の直交行列

さて，PPCAのモデル（潜在変数\mathbf{z}と観測されたデータ\mathbf{x}の関係）は\mathbf{x}=\mathbf{W} \mathbf{z} +\mathbf{\mu} +\mathbf{\epsilon}で表される． ノイズ項\mathbf{\epsilon}は無視すると，\mathbf{x}-\mathbf{\mu} =\mathbf{W} \mathbf{z}となる．\mathbf{x}から\mathbf{z}を求めるには，\mathbf{z}=\mathbf{W} ^{-1} ( \mathbf{x} - \mathbf{\mu} )とすれば良い．

これに，先ほどの\mathbf{W}_\mathrm{ML}を\mathbf{W}に代入して， \mathbf{z}= \left( \mathbf{U}_\mathrm{M} ( \mathbf{L}_\mathrm{M} - \sigma ^2 \mathbf{I} )^{1/2} \mathbf{R} \right) ^{-1} ( \mathbf{x} - \mathbf{\mu} ) ． さらに，次の性質を使って変形する．

したがって，\mathbf{z}= \mathbf{R} ^{-1} ( \mathbf{L}_\mathrm{M} ^{-1} - \sigma ^2 \mathbf{I} )^{1/2} \mathbf{U}_\mathrm{M} ^{-1} ( \mathbf{x} - \mathbf{\mu} ) ．

ここで，\sigma ^2=0として「確率的」でない主成分分析にすると， \mathbf{z}= \mathbf{R} ^{-1} \mathbf{L}_\mathrm{M} ^{-1/2} \mathbf{U}_\mathrm{M} ^{-1} ( \mathbf{x} - \mathbf{\mu} ) ．

この上で， \displaystyle \mathbf{R}は任意の直交行列であるから， \displaystyle \mathbf{R}に代入する値として次の二つの場合を考える： \displaystyle \mathbf{R}=\mathbf{I}と \displaystyle \mathbf{R}= \mathbf{U}_\mathrm{M} ^{-1}= \mathbf{U}_\mathrm{M} ^{T}．

まず， \displaystyle \mathbf{R}=\mathbf{I}とすれば， \mathbf{z}= \mathbf{L}_\mathrm{M} ^{-1/2} \mathbf{U}_\mathrm{M} ^{-1} ( \mathbf{x} - \mathbf{\mu} ) となる． この式で \mathbf{x} から \mathbf{z} を求める操作はPCA白色化と呼ばれる． また，この式は，p.568の式(12.24) \displaystyle \mathbf{y}_n=\mathbf{L} ^{-1/2} \mathbf{U} ^{T} ( \mathbf{x}_n - \bar{\mathbf{x}} )として示される式と一致する．

一方， \displaystyle \mathbf{R}= \mathbf{U}_\mathrm{M} ^{-1}= \mathbf{U}_\mathrm{M} ^{T}とすれば， \mathbf{z}= \mathbf{U}_\mathrm{M} \mathbf{L}_\mathrm{M} ^{-1/2} \mathbf{U}_\mathrm{M} ^{-1} ( \mathbf{x} - \mathbf{\mu} ) となる． この式で \mathbf{x} から \mathbf{z} を求める操作はZCA白色化と呼ばれる．