가우시안 분포 (Gaussian Distribution)Permalink

a single variable $x$:

a D-dimensional vector $\mathit{x}$:

• $\mathit{x}$ is a $D$-dimensional mean vector.
• $\mathrm{\Sigma }$ is a $D\times D$ covariance matrix.
• $|\mathrm{\Sigma }|$ denotes the determinant of $\mathrm{\Sigma }$.

이 값은 scalar 값이라는 사실을 볼 수 있다.
이유:

• $\mathrm{\Sigma }$가 행렬이지만 여기서 determinant($|\mathrm{\Sigma }|$)을 구했기 때문에.
• 지수부($\exp$)는 이차형식이기 때문에 역시 scalar.
  따라서 결과 값은 scalar값이다.

단일변수 $x$ 이던지 $D$차원의 벡터이던지 간에 가우시안 분포가 주어졌을 때 어떤 것이 확률변수이고 확률의 파라미터인지 잘 구분하는 것이 중요하다. $x$가 확률변수이고 $\mu$와 $\mathrm{\Sigma }$가 파라미터. 유의할 점은 가우시간 분포가 주어졌을 때, 평균과 분산이 주어진 것이 아니고, 이것들이 파라미터로 주어진 확률밀도 함수의 평균과 공분산이 $\mu$와 $\mathrm{\Sigma }(sum)$이 된다는 것이다.

유의할 점은 가우시간 분포가 주어졌을 때, 평균과 분산이 주어진 것이 아니고, 이것들이 파라미터로 주어진 확률밀도 함수의 평균과 공분산이 $\mathit{\mu }$와 $\mathrm{\Sigma }$이 된다는 것이다.

가우시안 분포가 일어나는 여러가지 상황Permalink

1. 정보이론에서 엔트로피를 최대화시키는 확률분포Permalink

영상보고 정리할 것

2. 중심극한정리Permalink

영상보고 정리할 것

가우시안 분포의 기하학적인 형태Permalink

• $\mathit{x}$에 대한 함수적 종속성은 지수부에 등장하는 이차형식(quadratic form)에 있다.

$(\mathit{x}-\mathit{\mu }{)}^T{\mathrm{\Sigma }}^{-1}(\mathit{x}-\mathit{\mu })$ 이러한 형태의 이차형식이 가우시안 분포에서 핵심적인 부분이다.

• $\mathrm{\Sigma }$가 공분산으로 주어진 것이 아니기 때문에 처음부터 이 행렬이 대칭이라고 생각할 필요는 없다. 하지만 이차형식에 나타나는 행렬은 오직 대칭부분만이 그 값에 기여한다는 사실을 기억하자.

따라서 $\mathrm{\Sigma }$가 대칭행렬인 것으로 간주할 수 있다.

• 대칭행렬의 성질에 따라서 $\mathrm{\Sigma }$를 아래와 같이 나타낼 수 있다.

• ${\mathrm{\Sigma }}^{-1}$도 쉽게 구할 수 있다.

• 이차형식은 다음과 같이 표현될 수 있다.

• 벡터식으로 확장하면

• $\mathit{y}$를 벡터들 ${\mathit{\mu }}_i$에 의해 정의된 새로운 좌표체계 내의 점으로 해석할 수 있다. 이것을 기저변환(change of basis)이라고 한다.

• $\mathit{x}-\mathit{\mu }$: standard basis에서의 좌표
• $\mathit{y}$: basis $\{{\mathit{u}}_1,{\mathit{u}}_2,\cdots ,{\mathit{u}}_D\}$에서의 좌표

$\mathit{y}$는 coefficient들을 모아논 값.
red circle: x1, x2 좌표내에서 점들의 집합이 동일한 분포를 갖는다.
고유벡터 $u_1\sim u_d$까지를 basis로 하는 좌표계에서는 차원을 이루고 그 모양은 고유값들에 의해 결정된다.

가우시안 분포의 Normalization 증명Permalink

• 확률이론시간에 배운 확률변수의 함수를 복습하라. $\mathit{y}$의 확률밀도함수를 구하기 위해서 Jacobian $\mathit{J}$를 구해야 한다.

결국 $\mathit{J}=U^T$라는 사실을 알 수 있다.

• 행렬식 $|\mathrm{\Sigma }|$는 고유값의 곱으로 나타낼 수 있다.

• 따라서, $\mathit{y}$의 확률밀도함수는

• $\mathit{y}$의 normalization

적분을 하게 되면 D개의 y variables이 각각 다른 변수들이기 때문에 D개의 적분의 곱으로 나타낼 수 있다.
따라서단일변수의 가우시안 분포와 같다. 이미 단일 변수일 경우 normalize되었다는 것을 확인했기 때문에 이를 D번 곱해주는 결과와 같게 된다.

가우시안 분포의 기댓값Permalink

$\mu$와 $\mathrm{\Sigma }$가 정의된 것이 아니라 단순히 함수의 파라미터로 주어져있는데 기댓값과 공분산의 정의를 통해 식을 유도하다 보면 $\mu$와 $\mathrm{\Sigma }$가 가지는 의미를 찾을 수 있게 될 것이다. 결국 $\mu$가 확률분포의 기댓값이 되고 $\mathrm{\Sigma }$가 확률분포의 공분산이 될 것임

다변량(multivariate) 확률변수의 기댓값Permalink

• $\mathit{x}=(x_1,\cdots ,x_n{)}^T$
• $\mathbb{E}[\mathit{x}]=(\mathbb{E}[x_1],\cdots ,\mathbb{E}[x_n]{)}^T$
• $\mathbb{E}[x_1]=\int x_{1}p(x_1)d{x}_1=\int x_1(\int p(x_1,\cdots ,x_n)d{x}_2,\cdots ,d{x}_n)d{x}_1=\int x_{1}p(x_1,\cdots ,x_n)d{x}_1,\cdots ,d{x}_n$

$\mathit{x}$가 벡터일 때 $\mathit{x}$의 기댓값도 벡터가 된다.
${\mathit{x}}_1$의 기댓값을 정의했을 때, $x_1$에 $p(x_1)$을 곱한 값을 적분한 값이 된다. $\int x_{1}p(x_1)d{x}_1$
$p(x_1)$이라는 것은 marginalization(주변화)를 통해서 구할 수 있을 것이다.
$\int p(x_1,\cdots ,x_n)d{x}_2,\cdots ,d{x}_n$ : joint probability의 pdf $p(x_1,\cdots ,x_n)$가 주어졌을 때 $x_1$을 제외한 나머지 모든 값들에 대해 적분을 하게 되면 주변화를 통해 $p(x_1)$의 값이 구해지게 되는 것이다.
정리하면, $x_1$에 joint probability의 pdf( $p(x_1,\cdots ,x_n)$ )를 곱하고 $x_1,\cdots ,x_n$까지 모든 변수에 대해 적분을 하면 $x_1$의 기댓값이 된다.

$$\mathbb{E}[\mathit{x}]=\int p(\mathit{x})\mathit{x}d\mathit{x}$$

가우시안 분포의 기댓값Permalink

$\mathit{z}$와 \(\boldsymbol{\mu\) 부분을 고려하면 된다.

$\mathit{z}$에 관한 적분:
지수함수를 포함한 부분이 odd function이기 때문에 결국 적분의 결과 값은 0이 된다.

남은 $\mathit{\mu }$ 부분은 $\mathit{z}$와는 독립적이기 때문에 위의 적분식 바깥으로 나갈 수 있다.

$\mathit{\mu }$가 나가고 남는 부분은 기본적인 가우시안 분포이기 때문에 적분을 하게 되면 1이 된다.

따라서 $\mathit{\mu }\times 1$이 되기 때문에,

가우시안 분포의 공분산Permalink

공분산을 구하기 위해서 먼저 2차 적률(second order moments)을 구한다.

2차 적률: 단일변수일 경우 제곱의 기댓갑을 의미하고, 벡터일 경우 $x{x}^T$의 기댓값을 의미한다.

예를 들어, x가 2차원일 경우:

$\mathit{x}=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$ 이고,

$\mathit{x}{\mathit{x}}^T$는 외적이 되기 때문에 여전히 행렬이다.

$\begin{array}{rl}\mathbb{E}[\mathit{x}{\mathit{x}}^T]& =\int p(x_1,x_2)\mathit{x}{\mathit{x}}^{T}d{\mathit{x}}_{1}d{\mathit{x}}_2\\ & =\int p(x_1,x_2)\left[\begin{array}{cc}{x}_1{x}_1& x_1{x}_2\\ x_2{x}_1& x_2{x}_2\end{array}\right]d{\mathit{x}}_{1}d{\mathit{x}}_2\\ & =\left[\begin{array}{cc}\int p(x_1,x_2)x_1{x}_{1}d{\mathit{x}}_{1}d{\mathit{x}}_2& \int p(x_1,x_2)x_1{x}_{2}d{\mathit{x}}_{1}d{\mathit{x}}_2\\ \int p(x_1,x_2)x_2{x}_{1}d{\mathit{x}}_{1}d{\mathit{x}}_2& \int p(x_1,x_2)x_2{x}_{2}d{\mathit{x}}_{1}d{\mathit{x}}_2\end{array}\right]\end{array}$

$\mathbb{E}[\mathit{x}{\mathit{x}}^T]$는 $D\times D$ 행렬임을 기억하라. $\mathit{z}$를 $U^T\mathit{y}$로 치환하면

이러한 이차형식을 y에 관한 합의 형태로 나타낼 수 있다.
$\mathit{z}{\mathrm{\Sigma }}^{-1}{\mathit{z}}^T=(U^T\mathit{y}{)}^T{\mathrm{\Sigma }}^{-1}(U^T\mathit{y})=({\mathit{y}}^{T}U)(U^T\mathrm{\Lambda }-1U)(U^T\mathit{y})={\mathit{y}}^T{\mathrm{\Lambda }}^{-1}\mathit{y}={\mathrm{\Sigma }}_{i=1}^D{\mathrm{\Sigma }}_{j=1}^D{\mathrm{\Lambda }}_{ij}^{-1}{y}_i{y}_j={\mathrm{\Sigma }}_{i=1}^D\frac{1}{{\mathrm{\Lambda }}_i}{y}_i^2$

${\mathrm{\Sigma }}^{-1}=U^T\mathrm{\Lambda }-1U$를 활용.
${\mathrm{\Lambda }}_{ij}^{-1}$이 대각행렬이기 때문에 남는 부분은 대각선 원소이다.

$\frac{1}{(2\pi {)}^{D/2}}\frac{1}{|\mathrm{\Sigma }{|}^{1/2}}\int \exp \{-\frac{1}{2}{\mathit{z}}^T{\mathrm{\Sigma }}^{-1}\mathit{z}\}\mathit{z}{\mathit{z}}^{T}d\mathit{z}$ 이 적분은 하나의 행렬이다. $\frac{1}{(2\pi {)}^{D/2}}\frac{1}{|\mathrm{\Sigma }{|}^{1/2}}\sum _{i=1}^D\sum _{j=1}^D{\mathit{u}}_i{\mathit{u}}_j^T\int \exp \{-\frac{1}{2}\sum _{k=1}^D\frac{y_k^2}{{\lambda }_k}\}{y}_i{y}_{j}d\mathit{y}$ 이 부분은 행렬들을 계속 더한 부분이다. $\sum _{i=1}^D\sum _{j=1}^D{\mathit{u}}_i{\mathit{u}}_j^T$ $D\times D$개의 개수만큼 행렬을 더한 것이다. $D\times D$개의 행렬중에서 $i\ne j$인 모든 경우에 그 행렬들이 영행렬이 된다는 사실이다.

행렬 $\frac{1}{(2\pi {)}^{D/2}}\frac{1}{|\mathrm{\Sigma }{|}^{1/2}}\sum _{i=1}^D\sum _{j=1}^D{\mathit{u}}_i{\mathit{u}}_j^T\int \exp \{-\frac{1}{2}\sum _{k=1}^D\frac{y_k^2}{{\lambda }_k}\}{y}_i{y}_{j}d\mathit{y}$은 $D^2$개의 행렬의 합인데 그 중 $i\ne j$인 모든 경우 영행렬이 된다.

${\int }^{i\ne j}\cdots \int \exp \{-\frac{1}{2}\sum _{k=1}^D\frac{y_k^2}{{\lambda }_k}\}{y}_i{y}_{j}d\mathit{y}=\int \cdots y_i[\int \exp \{-\frac{1}{2}\sum _{k=1}^D\frac{y_k^2}{{\lambda }_k}\}{y}_{i}d{y}_i]d\mathit{y}\setminus \{y_i\}$
$=0$

위 식에서 $y_i$에 대해 적분을 하게 되면 $y_j$는 앞으로 나가게 되고, $[\int \exp \{-\frac{1}{2}\sum _{k=1}^D\frac{y_k^2}{{\lambda }_k}\}{y}_{i}d{y}_i]$ 이 부분은 odd function이 된다. 따라서 0이 되기 때문에 전체가 0이 되는 것이다.

$\frac{1}{(2\pi {)}^{D/2}}\frac{1}{|\mathrm{\Sigma }{|}^{1/2}}\sum _{i=1}^D\sum _{j=1}^D{\mathit{u}}_i{\mathit{u}}_j^T\int \exp \{-\frac{1}{2}\sum _{k=1}^D\frac{y_k^2}{{\lambda }_k}\}{y}_i{y}_{j}d\mathit{y}$ 이것은 행렬들의 합이라고 했는데, 그 합들 중에서 살아남는 부분은 $i=j$ 일때만 살아남게 되는 것이다.

따라서,

아래의 식에서 summation이 두개 ($\sum _{i=1}^D\sum _{j=1}^D{\mathit{u}}_i{\mathit{u}}_j^T$)가 있었지만 i=j일 경우에만 있으면 되기 때문에 $\sum _{i=1}^D{\mathit{u}}_i{\mathit{u}}_j^T$로 변환한다.

합의 형태로 된 지수부 $\exp \{-\frac{1}{2}\sum _{k=1}^D\frac{y_k^2}{{\lambda }_k}\}$를 곱의 형태로 바꿔준다.

$[\prod _{k=\{1,\cdots ,D\}\setminus \{i\}}\int \exp \{-\frac{1}{2}\frac{y_k^2}{{\lambda }_k}\}d{y}_k]$ 이 부분은 1이 될 것이고, $[\int \exp \{-\frac{1}{2}\frac{y_k^2}{{\lambda }_k}\}{y}_i^{2}d{y}_i]$ 이 부분도 단일변수의 성질을 이용해서 ${\lambda }_i$가 된다.

$k=\{1,\cdots ,D\}\setminus \{i\}$: set - set의 의미이다. 따라서 k가 1부터 D까지 중에서 i가 아닌 모든 경우에 대해서.

$\begin{array}{rl}\mathbb{E}[\mathit{x}{\mathit{x}}^T]& =\frac{1}{(2\pi {)}^{D/2}}\frac{1}{|\mathrm{\Sigma }{|}^{1/2}}\int \exp \{-\frac{1}{2}(\mathit{x}-\mathit{\mu }{)}^T{\mathrm{\Sigma }}^{-1}(\mathit{x}-\mathit{\mu })\}\mathit{x}{\mathit{x}}^{T}d\mathit{x}\\ \\ & =\frac{1}{(2\pi {)}^{D/2}}\frac{1}{|\mathrm{\Sigma }{|}^{1/2}}\int \exp \{-\frac{1}{2}{\mathit{z}}^T{\mathrm{\Sigma }}^{-1}\mathit{z}\}(\mathit{z}+\mathit{\mu })(\mathit{z}+\mathit{\mu }{)}^{T}d\mathit{z}\end{array}$ 이 식에서,
$\mathit{z}{\mathit{z}}^T$와 관련된 부분이 $\mathrm{\Sigma }$가 됨을 보였고, $\mathit{z}\times {\mathit{\mu }}^T$ 부분, $\mathit{\mu }\times {\mathit{z}}^T$ 부분, $\mathit{\mu }\times {\mathit{\mu }}^T$ 부분을 안했지만, $\mathit{z}\times {\mathit{\mu }}^T$ 이것은 기댓값을 할때 odd function을 사용해서 사라지게 되고, $\mathit{\mu }\times {\mathit{\mu }}^T$만 남게 되는데, 앞에 있는 $\{-\frac{1}{2}{\mathit{z}}^T{\mathrm{\Sigma }}^{-1}\mathit{z}\}$에 대해서는 별개이기 때문에 적분앞으로 나가서 결과적으로 $\mathit{\mu }{\mathit{\mu }}^T$만 남게 되는 것이다.

결과적으로

이 식이 완성된다.

확률변수의 벡터 $\mathit{x}$를 위한 공분산은 다음과 같이 정의된다.

위의 결과를 이용하면 공분산은

확률변수 벡터 $x$가 가우시안 분포를 따를 때, 그 분포의 파라미터로 주어져 있던 $\mu$가 바로 그 분포의 평균이 되고, 파라미터로 주어져 있던 $\mathrm{\Sigma }$가 공분산이 된다는 사실을 알게 됨.

조건부 가우시안 분포 (Conditional Gaussian Distribution)Permalink

$D$차원의 확률변수 벡터 $\mathit{x}$가 가우시안 분포 $\mathcal{N}(\mathit{x}|\mathit{\mu },\sigma )$를 따른다고 하자. $\mathit{x}$를 두 그룹의 확률변수들로 나누었을 때, 한 그룹이 주어졌을 때 나머지 그룹의 조건부 확률도 가우시안 분포를 따르고, 각 그룹의 주변확률 또한 가우시안 분포를 따른다는 것을 보이고자 한다.

$\mathit{x}$가 다음과 같은 형태를 가진다고 하자.

${\mathit{x}}_a$는 $M$개의 원소를 가진다고 하자. 그리고 평균 벡터와 공분산 행렬은 다음과 같이 주어진다고 하자.

${\mathit{x}}_a$는 $M$개의 원소를 가진다고 했기 때문에, ${\mathit{x}}_b$는 $D-M$개의 원소를 가진다.

때로는 공분산의 역행렬, 즉 정확도 행렬(precision matrix)을 사용하는 것이 수식을 간편하게 한다.

$\mathrm{\Sigma }$와 $\mathrm{\Lambda }$는 symmetric 이다. 따라서 ${\mathrm{\Sigma }}_{ab}^T={\mathrm{\Sigma }}_{ba}$이고 ${\mathrm{\Lambda }}_{ab}^T={\mathrm{\Lambda }}_{ba}$

$\mathrm{\Lambda }={\mathrm{\Sigma }}^{-1}$라고 해서 각각의 작은 행렬들에 대해서는 성립하지 않는다. 따라서, ${\mathrm{\Sigma }}_{aa}^{-1}\ne {\mathrm{\Lambda }}_{aa}$이다.

지수부의 이차형식을 위의 파티션을 사용해서 전개해보자.

여기서 사이즈를 먼저 확인하자. ${\mathit{z}}^T\left[\begin{array}{c}{\mathrm{\Lambda }}_{aa}\\ {\mathrm{\Lambda }}_{ba}\end{array}\right]$ 이것은 $1\times M$이고 ${\mathit{z}}^T\left[\begin{array}{c}{\mathrm{\Lambda }}_{ab}\\ {\mathrm{\Lambda }}_{bb}\end{array}\right]$ 이것은 $1\times (D-M)$이다.

따라서 위에서 $\mathit{z}$에 관해서 정의한 것을 다시 $x$와 $\mu$에 대한 관계식으로 넣어준다면, ${\mathit{z}}_a=({\mathit{x}}_a-{\mathit{\mu }}_a)$가 되기 때문에 이 식을 아래처럼 바꿔줄 수 있는 것이다.

${\mathit{x}}_a$에 대한 조건부 확률을 구할 준비가 되었다.

${\mathit{x}}_b$가 주어졌을 때 ${\mathit{x}}_a$의 조건부확률 ($p({\mathit{x}}_a|{\mathit{x}}_b)$)을 구하는 것이다.

완전제곱식 (Completing the Square) 방법Permalink

단일 변수일 경우, $x^2-ax+(\frac{a}{2}{)}^2-(\frac{a}{2}{)}^2=(x-\frac{a}{2}{)}^2-(\frac{a}{2}{)}^2$ 이렇게 되는 것이 완전 제곱식이다.

완전제곱식을 사용해서 곱의 형태로 나타내기 위해서 사용한다.

확률밀도함수 $p({\mathit{x}}_a,{\mathit{x}}_b)$를 $p({\mathit{x}}_a,{\mathit{x}}_b)=g({\mathit{x}}_a\alpha )$로 나타낼 수 있다고 하자. 여기서 $\alpha$는 ${\mathit{x}}_a$와 독립적이고 $\int g({\mathit{x}}_a)d{\mathit{x}}_a=1$이다. 따라서

$\alpha$는 위의 식에서 ${\mathit{x}}_a$에 대해 적분했기 때문에 결과적으로 $p({\mathit{x}}_b)$라는 ${\mathit{x}}_b$의 주변확률이 되는 것이다.

이것을 다시 원래의 식에 대입을 해보면 $g({\mathit{x}}_a)p({\mathit{x}}_b)$가 되는 것이다.

따라서 $g({\mathit{x}}_a)$는 결국 조건부확률이 되는 것이다.

위 과정을 통해 원래의 결합확률 분포를 변형시켜서 함수 $g({\mathit{x}}_a)$를 찾는 것이 목표이다.

이차형식과 완전제곱식의 관계Permalink

$\tau$를 사용해서

$-\frac{1}{2}{\mathit{x}}_a^{T}A{\mathit{x}}_a+{\mathit{x}}_a^{T}m=-\frac{1}{2}{\mathit{x}}_a^{T}A{\mathit{x}}_a+{\mathit{x}}_a^{T}m-\tau +\tau$
$=-\frac{1}{2}({\mathit{x}}_a-?{)}^{T}A({\mathit{x}}_a-?)+\tau$
$p({\mathit{x}}_a,{\mathit{x}}_b)=a\exp \{-\frac{1}{2}({\mathit{x}}_a-?{)}^T{\mathrm{\Lambda }}_{aa}({\mathit{x}}_a-?)\}\exp \{\tau \}$

${\mathit{x}}_a$관한 분포함수를 normalize 시키기 위해 상수$b$를 구하게 되면

$b\exp \{-\frac{1}{2}({\mathit{x}}_a-?{)}^T{\mathrm{\Lambda }}_{aa}({\mathit{x}}_a-?)\}$ 이 부분을 $g({\mathit{x}}_a)$라고 볼 수 있고, 나머지 $\frac{a}{b}\exp \{\tau \}$를 $\alpha$라고 볼 수 있다.

이처럼, 주어진 가우시안 분포함수를 변형시켜서 조건부확률을 구할 수 있게 되는 것이다.

알아야 할 것은 조건부확률의 평균과 공분산 값이다. 이 것을 알기 위해서 굳이 $b$와 $\tau$값을 계산할 필요는 없다.

가우시안 분포의 지수부는 다음과 같이 전개된다는 것이 중요한 포인트이다.

여기서 상수부 $\text{const}$는 $\mathit{x}$와 독립된 항들을 모은 것이다. 따라서 어떤 복잡한 함수라도 지수부를 정리했을 때 $-\frac{1}{2}{\mathit{x}}^T{\mathrm{\Sigma }}^{-1}\mathit{x}+{\mathit{x}}^T{\mathrm{\Sigma }}^{-1}\mathit{\mu }+\text{const}$의 형태가 된다면 이 함수는 공분산 행렬 $\mathrm{\Sigma }$와 평균벡터 $\mathit{\mu }$를 가지는 가우시안 분포임을 알 수 있다. $\mathit{x}$에 관한 이차항과 일차항의 계수를 살피면 된다는 것이다.

$-\frac{1}{2}({\mathit{x}}_a-{\mathit{\mu }}_a{)}^T{\mathrm{\Lambda }}_{aa}({\mathit{x}}_a-{\mathit{\mu }}_a)-\frac{1}{2}({\mathit{x}}_a-{\mathit{\mu }}_a{)}^T{\mathrm{\Lambda }}_{ab}({\mathit{x}}_b-{\mathit{\mu }}_b)-\frac{1}{2}({\mathit{x}}_b-{\mathit{\mu }}_b{)}^T{\mathrm{\Lambda }}_{ba}({\mathit{x}}_a-{\mathit{\mu }}_a)-\frac{1}{2}({\mathit{x}}_b-{\mathit{\mu }}_b{)}^T{\mathrm{\Lambda }}_{bb}({\mathit{x}}_b-{\mathit{\mu }}_b)$에서 ${\mathit{x}}_a$의 이차항은

이다. 따라서 공분산은

이다. 이제 평균벡터를 구하기 위해서는 ${\mathit{x}}_a$의 일차항을 정리하면 된다. ${\mathit{x}}_a$의 일차항은

$-\frac{1}{2}{\mathit{x}}_a^T{\mathrm{\Lambda }}_{aa}(-{\mathit{u}}_a)+\frac{1}{2}{\mathit{u}}_a^T{\mathrm{\Lambda }}_{aa}(-{\mathit{x}}_a)\to {\mathit{x}}_a^T{\mathrm{\Lambda }}_{aa}{\mathit{u}}_a$ 뒤의 항에 Transpose를 시키면 앞뒤가 같은 항이 된다.

$-\frac{1}{2}{\mathit{x}}_a^T{\mathrm{\Lambda }}_{ab}({\mathit{x}}_b-{\mathit{u}}_b)-\frac{1}{2}({\mathit{x}}_b-{\mathit{u}}_b{)}^T{\mathrm{\Lambda }}_{ba}{\mathit{x}}_a\to -{\mathit{x}}_a^T{\mathrm{\Lambda }}_{ab}({\mathit{x}}_b-{\mathit{u}}_b)$ 역시 마찬가지로 transpose

위의 결과 2개를 더한 값이 바로 ${\mathit{x}}_a$의 일차항이 된다.

${\mathit{x}}_a$의 일차항의 계수는 ${\mathrm{\Sigma }}_{a|b}^{-1}{\mathit{\mu }}_{a|b}$ 이어야 하므로

일차항의 계수는 공분산의 역행렬에 $\mathit{\mu }$가 되어야 하기 때문에, 일차항의 계수 $\{{\mathrm{\Lambda }}_{aa}{\mathit{\mu }}_a-{\mathrm{\Lambda }}_{ab}({\mathit{x}}_b-{\mathit{\mu }}_b)\}$에다가 ${\mathrm{\Sigma }}_{a|b}$행렬을 곱해주면 된다. 이 때 ${\mathrm{\Sigma }}_{a|b}={\mathrm{\Lambda }}_{aa}^{-1}$이기 때문에 ${\mathrm{\Lambda }}_{aa}^{-1}$을 곱해준다.

주변 가우시안 분포 (Marginal Gaussian Distribution)Permalink

다음과 같은 주변분포를 계산하고자 한다.

전략은 다음과 같다.

• 위에서 함수 $f({\mathit{x}}_b,{\mathit{x}}_a)$는 원래 지수부를 ${\mathit{x}}_a,{\mathit{x}}_b$파티션을 통해 전개한 식 중에서 ${\mathit{x}}_b$을 포함한 모든 항들을 모은 식이다. 그리고 $g({\mathit{x}}_a)$는 $f({\mathit{x}}_b,{\mathit{x}}_a)$에 포함된 항들을 제외한 항들 중 ${\mathit{x}}_a$를 포함한 모든 항들을 모은식이다. $\text{const}$는 나머지 항들을 모은 식이다.
• $f({\mathit{x}}_b,{\mathit{x}}_a)-\tau$는 ${\mathit{x}}_b$을 위한 완전제곱식이다.
• $\alpha \exp \{\tau +g({\mathit{x}}_a)+\text{const}\}$는 ${\mathit{x}}_b$와 독립적이므로 적분식 밖으로 나갈 수 있다.
• $\tau +g({\mathit{x}}_a)$를 ${\mathit{x}}_a$의 완전제곱식으로 만들면 ${\mathit{x}}_b$의 평균벡터와 공분산행렬을 구할 수 있다.

파티션을 위한 이차형식을 다시 살펴본다.

이 식을 전부 펼치면 총 16개의 항이 있게 된다. 이 중 ${\mathit{x}}_b$를 포함한 항들의 개수는 7개, 나머지 중에서 ${\mathit{x}}_{\mathrm{ㅁ}}$를 가진 항의 개수는 5개이다.