在做UA MATH566 统计理论 QE练习题1的第五题的时候,最后一个小问答案用了一个没学过的操作:Normal Approximation of Centered Chi-sq. 这一讲介绍一下这个操作。
假设 X 1 , ⋯ , X n X_1,\cdots,X_n X1,⋯,Xn互相独立,并且 X i ∼ N ( 0 , 1 ) X_i \sim N(0,1) Xi∼N(0,1),则称 ∑ i = 1 n X i 2 ∼ χ 2 ( n ) \sum_{i=1}^n X_i^2 \sim \chi^2(n) i=1∑nXi2∼χ2(n)
其中 n n n代表样本数,这个分布是中心化的卡方分布,它也是 Γ ( n 2 , 1 2 ) \Gamma(\frac{n}{2},\frac{1}{2}) Γ(2n,21)。
定理(Classical Central Limit Theorem) Z n = X ˉ − μ σ / n → d N ( 0 , 1 ) Z_n = \frac{\bar{X}-\mu}{\sigma/\sqrt{n}} \to_d N(0,1) Zn=σ/n Xˉ−μ→dN(0,1) 对卡方分布使用这个定理,记 χ n 2 = ∑ i = 1 n X i 2 \chi^2_n = \sum_{i=1}^n X_i^2 χn2=∑i=1nXi2,则 E χ n 2 = n E\chi^2_n = n Eχn2=n, V a r χ n 2 = 2 n Var\chi^2_n = 2n Varχn2=2n,根据中心极限定理, χ n 2 / n − 1 2 / n → d N ( 0 , 1 ) = d Z \frac{\chi^2_n/n - 1}{\sqrt{2/n}} \to _d N(0,1) = _d Z 2/n χn2/n−1→dN(0,1)=dZ
当 n n n足够大时, χ n 2 ≈ n ( 1 + 2 / n ) Z = n + 2 n Z \chi^2_n \approx n(1+\sqrt{2/n})Z = n + \sqrt{2n}Z χn2≈n(1+2/n )Z=n+2n Z
所以 χ n 2 \chi^2_n χn2的 α \alpha α上分位点为 n + 2 n Z α n+\sqrt{2n}Z_{\alpha} n+2n Zα。这种对卡方分布做近似的方法叫做卡方分布的正态近似。
现在考虑更一般的Gamma分布的正态近似问题,假设 Y ∼ Γ ( α , β ) Y \sim \Gamma(\alpha,\beta) Y∼Γ(α,β)。
如果 α = m ( n / 2 ) \alpha = m(n/2) α=m(n/2),其中 k , n k,n k,n都是整数,则记 Y i ∼ i i d Γ ( n / 2 , β ) , i = 1 , 2 , ⋯ , m Y_i \sim_{iid} \Gamma(n/2,\beta),i=1,2,\cdots,m Yi∼iidΓ(n/2,β),i=1,2,⋯,m,从而 2 β Y i ∼ i i d χ 2 ( n ) 2\beta Y_i \sim_{iid} \chi^2(n) 2βYi∼iidχ2(n)。记 X i = 2 β Y i X_i = 2\beta Y_i Xi=2βYi, E X ˉ = n , V a r X ˉ = 2 n / m 2 E\bar{X} = n,\ \ Var\bar{X} = 2n/m^2 EXˉ=n, VarXˉ=2n/m2
对 X ˉ \bar{X} Xˉ使用中心极限定理, X ˉ − n 2 n / m 2 ≈ Z ⇒ X ˉ = n + 2 n m Z \frac{\bar{X}-n}{\sqrt{2n/m^2}} \approx Z \Rightarrow \bar{X} = n + \frac{\sqrt{2n}}{m}Z 2n/m2 Xˉ−n≈Z⇒Xˉ=n+m2n Z
所以 Y = ∑ i = 1 m X i / 2 β = m X ˉ / 2 β ≈ m ( n + 2 n / m Z ) / 2 β = m n / 2 β + 2 m n / 2 β Z = α β + α β Z Y = \sum_{i=1}^m X_i/2\beta = m \bar{X}/2\beta \approx m (n + \sqrt{2n/m}Z) /2\beta\\ = mn/2\beta + \sqrt{2mn}/2\beta Z = \frac{\alpha}{\beta}+ \frac{\sqrt{\alpha}}{\beta} Z Y=i=1∑mXi/2β=mXˉ/2β≈m(n+2n/m Z)/2β=mn/2β+2mn /2βZ=βα+βα Z
虽然推导时假设了 2 α 2\alpha 2α可以分解成两个整数的乘积,但在实际应用时可以对所有的 α \alpha α使用这个近似。
假设 α \alpha α是整数, Y i ∼ E X P ( β ) Y_i \sim EXP(\beta) Yi∼EXP(β),则 E Y ˉ = 1 / β , V a r Y ˉ = 1 α β 2 E\bar{Y} = 1/\beta,\ \ Var\bar{Y} = \frac{1}{\alpha \beta^2} EYˉ=1/β, VarYˉ=αβ21
对 Y ˉ \bar{Y} Yˉ使用中心极限定理, Y ˉ − 1 / β 1 / α β 2 ≈ Z ⇒ Y ˉ ≈ 1 β + 1 α β Z \frac{\bar{Y}-1/\beta}{\sqrt{1/\alpha\beta^2}} \approx Z \Rightarrow \bar{Y} \approx \frac{1}{\beta} + \frac{1}{\sqrt{\alpha}\beta}Z 1/αβ2 Yˉ−1/β≈Z⇒Yˉ≈β1+α β1Z
因此 Y = α Y ˉ ≈ α β + α β Z Y = \alpha \bar{Y} \approx \frac{\alpha}{\beta} + \frac{\sqrt{\alpha}}{\beta} Z Y=αYˉ≈βα+βα Z
这两种推导给出的结果是一致的,事实上使用中心极限定理做这种近似的本质是分布的可加性。