同時確率分布および自己相関関数について

入門確率過程
\(\)
「コヒーレント状態」についてブログ記事を書く準備として, まずはそこで用いる基礎的な事柄をまとめておくことにする.

同時確率分布(joint probability distribution)

まず初めに, 松原望著:「入門確率過程」の§ 4.2 から関連する事柄を要約しておく.
一般に2つの確率変数 \(X,Y\) があるとし, これを2次元のベクトル \((X,Y)\) として表そう.2変数を同時に考えるのは, それらの間に互いに関係があると考えるからである.\(X=x\) であり同時に \(Y=y\) である確率 \[P(X=x,Y=y)=f(x,y)\] を, 2次元確率変数 \((X,Y)\) の「同時確率分布」または「結合確率分布」という.特に \(X\),\(Y\) が連続型の確率変数である場合の \(f(x,y)\) は, 2次元の確率密度関数であり「同時確率密度関数」または「結合確率密度関数」と呼ばれ, 次を満たす:

\begin{equation}
f(x,y) \ge 0,\quad \mathrm{and}\quad \iint_{\Omega}f(x,y)\,dxdy =1
\tag{4.2.4}
\end{equation}

ただし \(\Omega\) は「標本空間」で, 2次元ユークリッド空間 (平面) の全範囲のことである.
この \(f(x,y)\) によって事象 \(A\) (\(\Omega\) の部分集合) の確率は, \(A\) が区間であるならば積分で定義される:
\begin{align}
&P((X,Y)\in A)=\iint_{A}f(x,y)\,dxdy,\notag\\
\rightarrow\quad &P(a\le X\le b,c\le Y \le d)=\int_{c}^{d}dy\int_{a}^{b}dx\,f(x,y)
\tag{4.2.6}
\end{align}

\(X\), \(Y\) が連続型の確率変数の場合, \(X\), \(Y\) の「単独の確率密度関数」は,「同時確率密度関数」から次で与えられる:
\begin{equation}
g(x)=\int_{-\infty}^{\infty} f(x,y)dy,\quad
h(y)=\int_{-\infty}^{\infty} f(x,y)dx
\tag{4.3.2}
\end{equation}

これらを「周辺確率密度関数」と言い, それらが与える確率分布を「周辺確率分布」と言う.このとき注意すべきは,「同時確率分布 \(f(x,y)\) が与えられたときに初めて \(X,Y\) の関係が定まる」ということである.従って, 周辺確率分布はこの同時確率分布から導かれるが, 逆はそうではない.すなわち \(g(x),h(y)\) から \(f(x,y)\) を求めることは出来ない.なぜなら, 同じ \(g(x),h(y)\) を与える \(f(x,y)\) は無限に存在するからである.

自己相関関数とウィーナー=ヒンチンの定理

次に, 森下巌,小畑秀文著:「信号処理」の§ 3.5 の文章を要約したものを示す.
信号値が確率的な法則に従って不規則に変動するものを「不規則信号」という.不規則信号 \(x(t)\) の統計的性質が時刻 \(t\) によって変化しない場合, その不規則信号は「定常」( stationnary )であると言う.定常不規則信号の場合, 全ての確率密度関数は時刻 \(t\) によって変化しない.全ての標本信号から計算した時間平均が互いに一致し, かつそれが集合平均とも一致する不規則信号を「エルゴード性不規則信号」( ergodic random sigmal )と言う.不規則信号 \(x(t)\) は全て, 定常, エルゴード性で, かつ平均値がゼロであるとする.そのとき,

\begin{equation*}
\phi_{xx}(\tau)\equiv \overline{x(t)x(t+\tau)}=\lim_{T\to \infty}\frac{1}{2T}\int_{-T}^{T}
x(t)x(t+\tau)\,dt
\end{equation*}

を \(x(t)\) の「自己相関関数」( auto-correlation function )と言う.自己相関関数は「時刻 \(t\) の信号値 \(x(t)\) とそれから \(\tau\) だけ後の信号値 \(x(t+\tau)\) の間にどれだけの相関があるかを与えるもの」である. 一般に, 不規則信号 \(x(t)\) の全エネルギー \(\int_{-\infty}^{\infty}x(t)^{2}\,dt\) は無限大となるが, エネルギーの時間平均すなわちパワー \(\displaystyle{\lim_{T\to \infty}\frac{1}{2T}\int_{-T}^{T}x(t)^{2}\,dt}\) は有限な値となる.このパワーが各周波数成分に渡ってどのように分布しているかを知るには「パワースペクトル」を求めれば良い.
今, 一個の標本信号を採用し, これを \(x^{(n)}(t)\) で表現する.そのフーリエ変換はその全エネルギーが発散してしまうので存在しない.そこで, \(-T\le t\le T\) に於いては \(x(t)\) と一致するが, それ以外の区間ではゼロとなる信号 \(x_T^{(n)}(t)\) を考える.このフーリエ変換は存在し次となる:
\begin{equation*}
X_T^{(n)}(j\omega)=\int_{-\infty}^{\infty}x_T^{(n)}(t)\,e^{-j\omega t}\,dt,\quad
x_T^{(n)}(t)=\frac{1}{2\pi}\int_{-\infty}^{\infty}X_T^{(n)}(j\omega)\,e^{j\omega t}\,d\omega
\end{equation*}

パーシバルの定理」より, 次が成り立つ:
\begin{equation*}
\int_{-\infty}^{\infty}x_T^{(n)}(t)^{2}\,dt
=\frac{1}{2\pi}\int_{-\infty}^{\infty} \big|X_T^{(n)}(j\omega)\big|^{2}\,d\omega
\end{equation*}

この右辺中の量 \(\big|X_T^{(n)}(j\omega)\big|^{2}\) を \(x_T^{(n)}(t)\) の「エネルギースペクトル密度」( energy spectral density) と言う.またその単位時間あたりの量を「パワースペクトル密度」と言う:
\begin{equation*}
\Phi_{T}^{(n)}(j\omega)=\frac{1}{2T}\big|X_T^{(n)}(j\omega)\big|^{2}
\end{equation*}

また, \(T\to\infty\) のとき \(x_{T}^{(n)}(t)\to x^{(n)}(t)\) となるので, \(x^{(n)}(t)\) の「パワースペクトル」は次で与えられる:
\begin{equation*}
\Phi_{xx}^{(n)}(j\omega)=\lim_{T\to\infty}\frac{1}{2T}\big|X_T^{(n)}(j\omega)\big|^{2}
\end{equation*}

この \(\Phi^{(n)}_{xx}(j\omega)\) は, ある特定な標本信号の波形 \(x^{(n)}(t)\) のパワースペクトルを与えるだけで, 信号確率集合 \(\{x(t)\}\) の統計的性質は反映していない.不規則信号 \(\{x(t)\}\) のパワースペクトル \(\Phi_{xx}(j\omega)\)は, 個々の標本信号のパワースペクトルの『集合平均』で定義する」のが自然である:
\begin{equation*}
\Phi_{xx}(j\omega)\equiv \left\langle \lim_{T\to\infty}\frac{1}{2T}\big|X_T^{(n)}(j\omega)\big|^{2}
\right\rangle = \lim_{N\to\infty}\frac{1}{N}\sum_{n=1}^{N}\left\{\lim_{T\to\infty}
\frac{1}{2T}\big|X_T^{(n)}(j\omega)\big|^{2} \right\}
\end{equation*}

このように定義した不規則信号 \(\{x(t)\}\) のパワースペクトル \(\Phi_{xx}(j\omega)\) は, その自己相関関数 \(\phi_{xx}(\tau)\) と密接な関係がある.すなわち,「自己相関関数\(\phi_{xx}(\tau)\) のフーリエ変換はパワースペクトル \(\Phi_{xx}(j\omega)\) に等しくなる」:
\[\Phi_{xx}(j\omega)=\int_{-\infty}^{\infty} \phi_{xx}(\tau)e^{-j\omega\tau}\,d\tau,\quad \phi_{xx}(\tau)=\frac{1}{2\pi} \int_{-\infty}^{\infty} \Phi_{xx}(j\omega)e^{j\omega\tau}\,d\omega\]
これを「ウィーナー・ヒンチンの定理」という.