読み込み中…
読み込み中…
統計・用語・標本分布と極限定理
推定の『収束』とは、標本数 を増やすほど誤差が小さくなることですが、ここで主役は『どれくらいの速さで』減るか。多くの場面で誤差は に比例して減ります。これは標本平均だけでなくモンテカルロ法など広く成り立つ汎用原理で、『精度を2倍にするには を4倍』という二乗のコスト=収益逓減を意味します。
推定誤差が標本数とともに減る速さ。多くは
ここでいう収束とは、標本数(試行回数) を増やすにつれて推定誤差がゼロに近づくことを指します。大数の法則(C075)が『標本平均が真の値に収束すること自体』をチェビシェフで証明したのに対し、本概念が主役にするのは『どれくらいの速さで収束するか』という収束の速度です。そして多くの推定で、典型的な誤差の大きさ(標準誤差)は
収束の『速さ』に着目
大数の法則が『収束すること』を示すのに対し、本概念は『どれくらいの速さで誤差が減るか』を扱う。多くは 。
標準誤差の形
標本平均の標準誤差は
標準誤差は に比例する。
多くの推定で、標準誤差は標本数 に対してどう減る?
標準誤差を半分(精度を2倍)にするには を何倍にする?
モンテカルロで誤差を (10倍精密)にするには試行回数を何倍に?
関連問題は現在準備中です。
この という速さは、標本平均に固有のものではなく横断的な汎用原理として現れます。とくに重要なのが モンテカルロ法です。乱数を使って積分や期待値を 回のシミュレーションで近似するとき、その誤差もまた で減ります(背後には中心極限定理があり、 個の独立な試行の平均をとっているから)。だから『シミュレーション回数を増やせば精度が上がる』のは確かですが、上がり方は と非常にゆるやかです。
実務的な意味は二乗のコスト=収益逓減(diminishing returns)です。誤差を半分にしたい(精度を2倍にしたい)とき、 を半分にするには を2倍、すなわち を 倍にしなければなりません。誤差を にする(10倍精密にする)には を 倍です。つまり精度の向上は標本数の平方根でしか進まず、追加の標本1個あたりの効果はどんどん小さくなります。すでに が大きいと、もう少し精度を上げるための追加コストが急激に膨らむ——これがシミュレーションや調査の設計で『どこまで を増やすか』を決める際の基本トレードオフです。なお、もっと速い収束(例えば数値積分の格子法)が使える場面もありますが、次元が高いと逆にモンテカルロの の方が有利になる(次元に依存しない)ことも、この原理の重要な含意です。
モンテカルロでも同じ
乱数シミュレーションの誤差も (背後に中心極限定理)。標本平均に限らない横断的な汎用原理。
二乗のコスト
精度を2倍(誤差を半分)にするには を4倍、 にするには100倍必要。精度は標本数の平方根でしか進まない。
収益逓減
が大きいほど追加1標本の効果は小さくなる(diminishing returns)。どこまで を増やすかのトレードオフを生む。
特性関数(積率母関数)の展開による収束の証明
過去問で「収束」を主題として出題される場合、実際には確率変数列の和や平均が特定の分布(多くは正規分布、または一致推定量としての定数への収束)に収束することを、特性関数 (または積率母関数)を でテイラー展開し、極限の形を求める証明問題として出題されることが多い(2021年度問題3(3):の特性関数 を求め、でどう収束するか、の極限はいくつかを求める穴埋め証明)。本ページで扱う『誤差がで減る』という収束の速さの議論とは別の出題パターンで、テイラー展開の計算力が問われる(中心極限定理)。
標準誤差を半分にするには: を にするので を2倍= を 倍にする必要がある。
モンテカルロで誤差を (10倍精密)にするには: を 倍にする必要がある(収益逓減の典型)。