beta分布可以看做是观察一系列的二项分布的分布，我们可以用实际检验的分布数据来进行分布的统计，从这个分布中我们可以计算出所有概率出现的可能性大小，所以也叫做概率的概率分布。 其分布的概率密度公式为： f ( p ; α , β ) = p α − 1 ( 1 − p ) β − 1 ∫ 0 1 μ α − 1 ( 1 − μ ) β − 1 d μ = Γ ( α + β ) Γ ( α ) Γ ( β ) x α − 1 ( 1 − x ) β − 1 f(p;\alpha,\beta)=\frac{p^{\alpha-1}\left(1-p\right)^{\beta-1}}{\displaystyle\int_0^1\mu^{\alpha-1}\left(1-\mu\right)^{\beta-1}d\mu}=\frac{\Gamma\left(\alpha+\beta\right)}{\Gamma\left(\alpha\right)\Gamma\left(\beta\right)}x^{\alpha-1}\left(1-x\right)^{\beta-1} f(p;α,β)=∫01μα−1(1−μ)β−1dμpα−1(1−p)β−1=Γ(α)Γ(β)Γ(α+β)xα−1(1−x)β−1 从第一个等式的积分项可以看出其是对二项分布各种概率的积分。
对于一些分布我们可以将其转化为指数族分布的形式进行表示。 指数族分布的表达式（ η \eta η为一个参数） P ( x ; η ) = h ( x ) e η T ( x ) − A ( η ) P(x;\eta)=h(x)e^{\eta T(x)-A(\eta)} P(x;η)=h(x)eηT(x)−A(η) 其中h(x)为底层观测值 T(x)为充分统计量 A( η \eta η)为对数规则化
协方差表示的是两个随机变量是否具有相同方向变化趋势的变量。 协方差的公式为： c o v ( X , Y ) = E ( X Y ) − E ( X ) E ( Y ) \mathrm{cov}\left(X,Y\right)=E\left(XY\right)-E\left(X\right)E\left(Y\right) cov(X,Y)=E(XY)−E(X)E(Y) 协方差与独立之间有两个关系： 协方差为0表示这两个变量不相关，即两个变量的线性独立，但是无法推出两个变量独立。 而两个变量独立可以推出两个变量协方差为0
当存在多个变量时，协方差矩阵表示两两变量之间的协方差组成的矩阵，协方差矩阵为对称矩阵。
切比雪夫不等式表示在已知期望以及方差后，变量落在各个区间内的概率 P { ∣ x − μ ∣ ≥ ε } ≤ σ 2 ε 2 P\text{\{}\left|x-\mu\right|\geq\varepsilon\text{\}}\leq\frac{\sigma^2}{\varepsilon^2} P{∣x−μ∣≥ε}≤ε2σ2 X变量的方差越小，事件 { ∣ x − μ ∣ < ε } \left\{\left|x-\mu\right|<\varepsilon\right\} {∣x−μ∣<ε}发生的概率越小。
针对与随机变量X1,X2,…Xn互相独立，且具有相同期望和方差。 lim n → ∞ { ∣ Y n − μ ∣ < ε } = 1 \lim_{\text{n}\rightarrow\infty}\left\{\left|Y_n-\mu\right|<\varepsilon\right\}=1 n→∞lim{∣Yn−μ∣<ε}=1
X1,X2,…Xn互相独立且具有相同的期望则其可以收敛到标准正态分布。 Y n = ∑ i = 1 n X i − n μ n σ Y_n=\frac{\displaystyle\sum_{i=1}^nX_i-n\mu}{\sqrt n\sigma} Yn=n σi=1∑nXi−nμ
利用已知信息反推出最有可能导致样本结果出现的模型参数值。
