acpass

統計用語

ひとことで言うと

推定の『収束』とは、標本数 nn を増やすほど誤差が小さくなることですが、ここで主役は『どれくらいの速さで』減るか。多くの場面で誤差は 1/n1/\sqrt n に比例して減ります。これは標本平均だけでなくモンテカルロ法など広く成り立つ汎用原理で、『精度を2倍にするには nn を4倍』という二乗のコスト=収益逓減を意味します。

標準誤差が標本数nに対して1/√nで減る減衰曲線。n=1,4,16,64の点では誤差が1,1/2,1/4,1/8と、nを4倍にするたび半分になる。精度を2倍にするにはnを4倍、誤差を1/10にするにはnを100倍必要という二乗のコストを示し、シミュレーション回数を増やすほど効果が薄れる収益逓減を表す誤差∝1/√n:nを4倍にして誤差が半分(収益逓減)n=1n=4n=16n=64誤差標本数 n

誤差 1/n\propto 1/\sqrt n の減衰。n=1,4,16,64n=1,4,16,64 で誤差は 1,12,14,181,\tfrac12,\tfrac14,\tfrac18 と、nn を4倍にするたび半分になる。精度を2倍にするには nn を4倍、誤差を 1/101/10 にするには nn を100倍必要という収益逓減。

数式で表すと

誤差1/n\text{誤差}\propto 1/\sqrt{n}

推定誤差が標本数とともに減る速さ。多くは 1/n\propto 1/\sqrt{n}

ここでいう収束とは、標本数(試行回数)nn を増やすにつれて推定誤差がゼロに近づくことを指します。大数の法則が『標本平均が真の値に収束すること自体』をチェビシェフで証明したのに対し、本概念が主役にするのは『どれくらいの速さで収束するか』という収束の速度です。そして多くの推定で、典型的な誤差の大きさ(標準誤差)は 誤差  1n\text{誤差}\ \propto\ \dfrac{1}{\sqrt n} に比例して減っていきます。標本平均ならその標準誤差は σ/n\sigma/\sqrt n で、まさに 1/n1/\sqrt n の形です。 この 1/n1/\sqrt n という速さは、標本平均に固有のものではなく横断的な汎用原理として現れます。とくに重要なのがモンテカルロ法です。乱数を使って積分や期待値を nn 回のシミュレーションで近似するとき、その誤差もまた 1/n1/\sqrt n で減ります(背後には中心極限定理があり、nn 個の独立な試行の平均をとっているから)。だから『シミュレーション回数を増やせば精度が上がる』のは確かですが、上がり方は 1/n1/\sqrt n と非常にゆるやかです。 実務的な意味は二乗のコスト=収益逓減(diminishing returns)です。誤差を半分にしたい(精度を2倍にしたい)とき、1/n1/\sqrt n を半分にするには n\sqrt n を2倍、すなわち nn22=42^2=4 倍にしなければなりません。誤差を 1/101/10 にする(10倍精密にする)には nn102=10010^2=100 倍です。つまり精度の向上は標本数の平方根でしか進まず、追加の標本1個あたりの効果はどんどん小さくなります。すでに nn が大きいと、もう少し精度を上げるための追加コストが急激に膨らむ——これがシミュレーションや調査の設計で『どこまで nn を増やすか』を決める際の基本トレードオフです。

試験に出る性質

収束の『速さ』に着目

大数の法則が『収束すること』を示すのに対し、本概念は『どれくらいの速さで誤差が減るか』を扱う。多くは 1/n\propto 1/\sqrt n

標準誤差の形

標本平均の標準誤差は σ/n\sigma/\sqrt n。誤差は 1/n1/\sqrt n に比例し、nn を増やすほどゆるやかに減る。

モンテカルロでも同じ

乱数シミュレーションの誤差も 1/n1/\sqrt n(背後に中心極限定理)。標本平均に限らない横断的な汎用原理。

二乗のコスト

精度を2倍(誤差を半分)にするには nn を4倍、1/101/10 にするには100倍必要。精度は標本数の平方根でしか進まない。

収益逓減

nn が大きいほど追加1標本の効果は小さくなる(diminishing returns)。どこまで nn を増やすかのトレードオフを生む。

例で見る

標準誤差は 1/n1/\sqrt n に比例する。n=1,4,16,64n=1,4,16,64 では誤差(相対)が 1,12,14,181,\tfrac12,\tfrac14,\tfrac18 となり、nn を4倍にするたび半分。 標準誤差を半分にするには:nn22=42^2=4 倍にする必要がある。 モンテカルロで誤差を 1/101/10(10倍精密)にするには:nn102=10010^2=100 倍にする必要がある(収益逓減の典型)。

つまずきポイント

  • 誤差が 1/n1/n で減ると思う(実際は 1/n1/\sqrt nnn を2倍にしても誤差は 1/20.711/\sqrt2\approx0.71 倍にしかならない)
  • 標本数を増やせば線形に精度が上がると考える(精度向上は平方根でしか進まず、追加1標本の効果は逓減する)
  • 精度を2倍にするのに nn を2倍と見積もる(正しくは 22=42^2=4 倍。誤差を 1/101/10 には100倍と、二乗のコストがかかる)

定着クイズ

多くの推定で、標準誤差は標本数 nn に対してどう減る?

標準誤差を半分(精度を2倍)にするには nn を何倍にする?

モンテカルロで誤差を 1/101/10(10倍精密)にするには試行回数を何倍に?

この用語を扱う問題(2