2つの確率変数の和 $X + Y$ の期待値や分散はどう求めるのでしょうか。期待値は常に和が成り立ちますが、分散の和が成り立つには「独立」という条件が必要です。本記事ではこの違いを明確にし、共分散の考え方にも触れながら、確率変数の和の性質を体系的に学びます。
2つの確率変数 $X, Y$ に対して、和 $X + Y$ の期待値について次の公式が成り立ちます。
$$E(X + Y) = E(X) + E(Y)$$
この公式は $X$ と $Y$ が独立であるかどうかに関係なく常に成り立ちます。
一般に、定数 $a, b, c$ に対しても次が成り立ちます。
$$E(aX + bY + c) = aE(X) + bE(Y) + c$$
期待値には「線形性」があります。つまり、和の期待値は期待値の和、定数倍の期待値は期待値の定数倍です。これは確率変数がどのような関係にあっても(独立でなくても)成り立つ、非常に強力な性質です。
サイコロを2回振り、1回目の出た目を $X$、2回目の出た目を $Y$ とします。
$E(X) = E(Y) = \frac{7}{2}$ なので、合計 $X + Y$ の期待値は
$$E(X + Y) = E(X) + E(Y) = \frac{7}{2} + \frac{7}{2} = 7$$
サイコロ2個の出目の合計の期待値が $7$ であることは、直感とも合います。
期待値の加法性は $n$ 個の確率変数にも拡張できます。$E(X_1 + X_2 + \cdots + X_n) = E(X_1) + E(X_2) + \cdots + E(X_n)$ です。この性質は二項分布の期待値の証明にも使われます。
2つの確率変数 $X, Y$ が独立であるとは、$X$ の値と $Y$ の値が互いに影響を及ぼさないことをいいます。数学的には、すべての値 $x_i, y_j$ に対して
$$P(X = x_i \text{ かつ } Y = y_j) = P(X = x_i) \cdot P(Y = y_j)$$
が成り立つとき、$X$ と $Y$ は独立であるといいます。
独立とは「一方の結果を知っても、もう一方の結果の予測に役立たない」ということです。サイコロを2回振るとき、1回目の結果は2回目に影響しないので、各回の出目は独立です。
一方、1つのサイコロの出目 $X$ と「$X$ が偶数か奇数か」を表す変数は独立ではありません。
$X$ と $Y$ が独立であるとき、次の重要な性質が成り立ちます。
$E(XY) = E(X) \cdot E(Y)$ が成り立つことを「$X$ と $Y$ が無相関である」といいます。
独立ならば無相関ですが、無相関でも独立とは限りません。高校範囲では「独立」を前提にして分散の加法性を使うことが多いです。
$X$ と $Y$ が独立であるとき、和の分散について次の公式が成り立ちます。
$X$ と $Y$ が独立のとき、
$$V(X + Y) = V(X) + V(Y)$$
$$V(X - Y) = V(X) + V(Y)$$
差 $X - Y$ の分散も $V(X) + V(Y)$ です(引き算でも分散は足し算)。
$E(X) = \mu_X$, $E(Y) = \mu_Y$ とすると $E(X+Y) = \mu_X + \mu_Y$ です。
$$V(X+Y) = E[(X+Y) - (\mu_X + \mu_Y)]^2 = E[(X - \mu_X) + (Y - \mu_Y)]^2$$
$$= E[(X - \mu_X)^2 + 2(X - \mu_X)(Y - \mu_Y) + (Y - \mu_Y)^2]$$
$$= E[(X - \mu_X)^2] + 2E[(X - \mu_X)(Y - \mu_Y)] + E[(Y - \mu_Y)^2]$$
$$= V(X) + 2\text{Cov}(X, Y) + V(Y)$$
$X, Y$ が独立のとき $\text{Cov}(X, Y) = 0$ なので、$V(X+Y) = V(X) + V(Y)$ が成り立ちます。$\square$
誤:$V(X - Y) = V(X) - V(Y)$
正:$V(X - Y) = V(X) + V(Y)$($X, Y$ が独立のとき)
$X - Y = X + (-Y)$ であり、$V(-Y) = (-1)^2 V(Y) = V(Y)$ だからです。分散は散らばりの大きさを表す非負の量なので、変数を組み合わせると散らばりは常に大きくなります。
サイコロ2個の出目 $X, Y$ は独立です。$V(X) = V(Y) = \frac{35}{12}$ なので、
$$V(X + Y) = V(X) + V(Y) = \frac{35}{12} + \frac{35}{12} = \frac{35}{6}$$
$$\sigma(X + Y) = \sqrt{\frac{35}{6}} \approx 2.42$$
$X, Y$ が独立でない場合、分散の公式には共分散(Covariance)$\text{Cov}(X, Y)$ が登場します。
$$V(X + Y) = V(X) + V(Y) + 2\text{Cov}(X, Y)$$
$$V(X - Y) = V(X) + V(Y) - 2\text{Cov}(X, Y)$$
ただし $\text{Cov}(X, Y) = E(XY) - E(X)E(Y)$
独立のとき $\text{Cov}(X, Y) = 0$ なので、前節の公式に帰着します。
共分散は2つの変数の「連動の度合い」を表します。
共分散を標準化したものが相関係数 $r = \frac{\text{Cov}(X, Y)}{\sigma(X)\sigma(Y)}$ で、$-1 \leq r \leq 1$ の値を取ります。数学Iのデータの分析で学んだ相関係数と同じ概念です。
$X, Y$ が独立で $E(X) = 3$, $E(Y) = 5$, $V(X) = 2$, $V(Y) = 4$ のとき、$W = 2X - 3Y + 1$ の期待値と分散を求めます。
期待値:
$$E(W) = 2E(X) - 3E(Y) + 1 = 2 \cdot 3 - 3 \cdot 5 + 1 = 6 - 15 + 1 = -8$$
分散:
$2X$ と $-3Y$ は独立($X, Y$ が独立なので)であるから、
$$V(W) = V(2X - 3Y + 1) = V(2X) + V(-3Y) = 4V(X) + 9V(Y) = 4 \cdot 2 + 9 \cdot 4 = 44$$
$X, Y$ が独立のとき、
$$V(aX + bY + c) = a^2 V(X) + b^2 V(Y)$$
定数 $c$ は消え、各変数の係数は2乗されて掛かります。
$X_1, X_2$ が独立で同じ分布($E(X_i) = \mu$, $V(X_i) = \sigma^2$)に従うとき、平均 $\bar{X} = \frac{X_1 + X_2}{2}$ の期待値と分散を求めます。
$$E(\bar{X}) = \frac{1}{2}(E(X_1) + E(X_2)) = \frac{1}{2}(2\mu) = \mu$$
$$V(\bar{X}) = \frac{1}{4}(V(X_1) + V(X_2)) = \frac{1}{4}(2\sigma^2) = \frac{\sigma^2}{2}$$
$n$ 個の独立同分布の確率変数の平均 $\bar{X} = \frac{1}{n}\sum X_i$ は、$E(\bar{X}) = \mu$(期待値は変わらず)、$V(\bar{X}) = \frac{\sigma^2}{n}$(分散は $\frac{1}{n}$ になる)を満たします。
これは「データを多く集めるほど平均値のばらつきが小さくなる」ことを示しており、統計的推測の根幹をなす重要な結果です。
Q1. $E(X) = 4$, $E(Y) = 6$ のとき、$E(X + Y)$ を求めよ。
Q2. $X, Y$ が独立で $V(X) = 3$, $V(Y) = 5$ のとき、$V(X + Y)$ を求めよ。
Q3. $X, Y$ が独立で $V(X) = 3$, $V(Y) = 5$ のとき、$V(X - Y)$ を求めよ。
Q4. 分散の加法性 $V(X+Y) = V(X) + V(Y)$ が成り立つための条件は何か。
Q5. 独立同分布の確率変数 $X_1, X_2, X_3$(分散 $\sigma^2$)の平均 $\bar{X} = \frac{X_1 + X_2 + X_3}{3}$ の分散を求めよ。
$X, Y$ は独立な確率変数で、$E(X) = 2$, $V(X) = 5$, $E(Y) = -1$, $V(Y) = 3$ である。$Z = X + Y$ の期待値、分散、標準偏差を求めよ。
$E(Z) = E(X) + E(Y) = 2 + (-1) = 1$
$V(Z) = V(X) + V(Y) = 5 + 3 = 8$
$\sigma(Z) = \sqrt{8} = 2\sqrt{2}$
$X, Y$ は独立な確率変数で、$E(X) = 10$, $V(X) = 4$, $E(Y) = 6$, $V(Y) = 9$ である。$W = 3X - 2Y + 5$ の期待値と分散を求めよ。
$E(W) = 3E(X) - 2E(Y) + 5 = 3 \cdot 10 - 2 \cdot 6 + 5 = 30 - 12 + 5 = 23$
$V(W) = 3^2 V(X) + (-2)^2 V(Y) = 9 \cdot 4 + 4 \cdot 9 = 36 + 36 = 72$
$X, Y$ が独立なので、$V(aX + bY + c) = a^2 V(X) + b^2 V(Y)$ が使えます。期待値の方は独立でなくても $E(aX + bY + c) = aE(X) + bE(Y) + c$ が成り立ちます。
サイコロを3回振り、出た目をそれぞれ $X_1, X_2, X_3$ とする。合計 $S = X_1 + X_2 + X_3$ の期待値と分散を求めよ。
各 $X_i$ について、$E(X_i) = \frac{7}{2}$, $V(X_i) = \frac{35}{12}$ である。
$X_1, X_2, X_3$ は独立なので、
$E(S) = 3 \cdot \frac{7}{2} = \frac{21}{2}$
$V(S) = 3 \cdot \frac{35}{12} = \frac{35}{4}$
3回の試行は互いに独立なので、期待値・分散ともに単純に3倍すれば求まります。一般に $n$ 回投げたとき $E(S) = \frac{7n}{2}$, $V(S) = \frac{35n}{12}$ です。
母集団から独立に取り出した $n$ 個の確率変数 $X_1, X_2, \ldots, X_n$ が、すべて期待値 $\mu$、分散 $\sigma^2$ の同じ分布に従うとする。標本平均 $\bar{X} = \frac{1}{n}\sum_{i=1}^{n} X_i$ について次の問いに答えよ。
(1) $E(\bar{X})$ を求めよ。
(2) $V(\bar{X})$ を求めよ。
(3) $n$ を大きくすると $V(\bar{X})$ はどうなるか説明せよ。
(1) $E(\bar{X}) = \frac{1}{n}\sum_{i=1}^{n} E(X_i) = \frac{1}{n} \cdot n\mu = \mu$
(2) $X_i$ は独立なので、
$V(\bar{X}) = \frac{1}{n^2}\sum_{i=1}^{n} V(X_i) = \frac{1}{n^2} \cdot n\sigma^2 = \frac{\sigma^2}{n}$
(3) $n \to \infty$ とすると $V(\bar{X}) = \frac{\sigma^2}{n} \to 0$
つまり、標本数を増やすほど標本平均のばらつきは小さくなり、母平均 $\mu$ に集中していく。
この結果は統計的推測において極めて重要です。標本平均の分散が $\frac{\sigma^2}{n}$ であることから、標本数 $n$ を十分大きくすれば、標本平均は母平均 $\mu$ の良い推定量になります。これが「大数の法則」の背景にある考え方です。