20 世紀後半・コンピューターと統計学

• 正規分布が統計でよく用いられることの一因は, 正規分布が, コンピューターのない時代でも取り扱える便利な分布だったことによる.

• 20 世紀後半は, この正規分布の仮定に基づいた手法に対する批判の時代だったともいえる.

• キーワード

  • ノンパラメトリック

  • ロバスト統計

  • 非等分散性

  • 順序統計

  • 経験分布

正規性, 等分散性が成り立たないときの手法の例

• Normal, heteroscedasticity: Welch

• Non-normal, homoscedasticity: Wilcoxon-Mann-Whitney

• Non-normal, heteroscedasticity: Brunner-Munzel

順位和

• \(m\) 個の \(X\) と \(n\) 個の \(Y\), \([x_1, \dotsc, x_m]\), \([y_1, \dotsc, y_n]\).

• \(m + n = N\)

• 全体を並べたときの順位

• 例えば, \(\boldsymbol x = [x_1, x_2, x_3] = [4, 7, 3]\), \(\boldsymbol y =[y_1, y_2, y_3, y_4, y_5] = [1, 5, 2, 6, 8]\)

• 全体を並べると

• \(X\) に属する \(x_i\) の順位和

• \(Y\) に属する \(y_j\) の順位和

例題 6.1

• \(\boldsymbol x = [2, 4]\), \(\boldsymbol y = [3, 5, 6]\)

• \(m=2\), \(n=3\), \(N=5\) である.

• 順位和 \(R_X\), \(R_Y\) を計算せよ.

• \(R_X + R_Y\) が

  \[\sum_{k=1}^N k = \frac{N(N+1)}{2}\]

  に等しいことを確かめよ.

• \(m = 2\), \(n=3\) のときの順位の組み合わせ \({}_NC_m\) 個すべてについて, \(X\) の順位の合計を求めよ.

解答 6.1

• あり得る \(X\) の順位の合計

表 \(m=2\), \(n=3\) の場合にあり得る順位和

例題 6.2

• 例題 6.1 で, \(\mathbb E (R_X)\), \(\mathbb E (R_X^2)\), \(\operatorname{Var} (R_X)\) を求めよ.

• \(z_0\) を求めよ.

解答 6.2

• \(R_X\) \(=\) \(4\) だから

\begin{align*} z_0 & = \frac{\lvert R_X - \mathbb E(R_X) \rvert - 1/2}{\sqrt{\operatorname{Var}(R_X)}} \\ & = \frac{2 - 1/2}{\sqrt 3} = 0.866 \end{align*}

Remark

• \(R_X\) の最小値は 3 である.

• \(R_X=3\) のときの \(z_0\) は

• つまり, サンプル数が 2,3 のとき, 5% 水準での有意差の有無は判定できない.

Relative effect

\begin{align*} p & = \mathbb P(X < Y) + \frac{1}{2} \mathbb P (X= Y) \\ & = \int F_X \, \mathrm d F_Y(x) \end{align*}

Example 2.1

\begin{align*} p & = \mathbb P \left( X_1 \le X_2 \right) \\ & = \mathbb P \left(\frac{X_1 - X_2 + \delta}{\sigma \sqrt{2}} \le \frac{\delta}{\sigma\sqrt{2}} \right) \\ & = \Phi \left( \frac{\delta}{\sigma \sqrt{2}} \right) \tag{2.6, Brunner et al.} \end{align*}

Rank estimator of relative effect

\begin{align*} \hat p & = \frac{1}{m} \left( \overline R_Y - \frac{n+1}{2} \right) \\ & = 1 - \frac{1}{n} \left(\overline R_X - \frac{m + 1}{2} \right) \\ & = \frac{1}{N} \left( \overline R_Y - \overline R_X \right) + \frac 12 \end{align*}

• \({\overline R}_X\) \(=\) \({\overline R}_Y\) ならば \(\displaystyle{\hat p=\frac{1}{2}}\).

Mann-Whitney rank sum test for large samples

• 帰無仮説 \(H_0^F: \ F_X = F_Y\) のもとで,

• ここで \(\sigma_\mathrm R\) は

• Mann-Whitney 検定は, Wilcoxon の順位和検定と等価である.

• Mann-Whitney 検定は, relative-effect を比較する.

Brunne-Munzel test for large samples

• 帰無仮説 \(H_0^F: \ F_X = F_Y\) のもとで,

• ここで, \(\sigma_\mathrm B^2\) は

• Brunner-Munzel は, 全体の中の \(X\) の順位, \(Y\) の順位に加えて, \(X\) の中での順位, \(Y\) の中での順位を考慮して（差の）分散を評価している.

Small sample

• \(W^\mathrm B _N\) can be approximated by a \(t_\nu\)-distribution where the digree of freedom \(\nu\) are estemated by

例題 6.3

• 次の \(x\), \(y\) のデータに有意な差があるかどうか, (1) Student の \(t\)-検定, (2) Welch の \(t\)-検定, (3) Brunner-Munzel 検定で調べよ.

x = [1.31, 1.57, 3.35, 2.08, 1.27]
y = [2.04, 3.03, 3.58, 2.88, 8.23]

解答 6.3

• \(t\) 検定では水準 0.1 で有意な差があるとは言えないが, Brunner-Munzel 検定では水準 0.05 で有意な差が認められる.