次の確率密度 \[p(\mathbf{x})=\frac{f(\mathbf{x})}{\int f(\mathbf{x})d\mathbf{x}}\] を近似する方法. 分母の積分が困難なときに,関数 \(f(\mathbf{x})\) を極大にする \(\mathbf{x}_0\) を中心とする正規分布で近似.
\(\ln f(\mathbf{x})\) を2次の項まで \(\mathbf{x}_0\) の周囲で展開して \[\ln f(\mathbf{x})\approx \ln f(\mathbf{x}_0)-\frac{1}{2}(\mathbf{x}-\mathbf{x}_0)^\top A(\mathbf{x}-\mathbf{x}_0)\] ただし,\(A\) は2階のヘシアンで \(\mathbf{x}=\mathbf{x}_0\) での値 \[A=-\nabla\nabla\ln f(\mathbf{x})\,|_{\mathbf{x}=\mathbf{x}_0}\]
このとき \(p(\mathbf{x})\) を,平均 \(\mathbf{x}_0\),共分散行列が \(A^{-1}\) の多変量正規分布で近似する.
-- しましま