参考教材：《应用时间序列分析》 何书元；《应用时间序列分析》王振龙 部分总结而已。
一般的时间序列包含趋势项( T t T_t Tt)、季节项( S t S_t St)和随机项（ R t R_t Rt），其中趋势项（阶梯函数）和季节项（周期性）可以视作确定的，但是随机项是不确定的，需要我们着重建模考虑，这本书的内容也是围绕随机项部分展开的。 时间序列和随机过程的关系： 时间序列是一种特殊的随机过程，特殊在时间序列 { X t , t ∈ Z } {\{X_t ,t \in Z\}} {Xt,t∈Z}，脚标是离散的，表示每隔一段时间观察一次，观察值 { x 1 , x 2 , x 3 , . . . . } \{x_1 , x_2 , x_3 ,.... \} {x1,x2,x3,....}称作“一次实现”； 从初等概率论角度： 时间序列 { X t , t ∈ Z } \{X_t ,t \in Z\} {Xt,t∈Z}中每一个 X t X_t Xt都是随机变量，有均值和方差。只是，时间序列的特别之处在于：这一列随机变量是不独立，是相关的（当然，不相关也可独立也可不独立），所以有了协方差（函数），我觉得它在时间序列中的存在地位差不多就是概率论中的方差，用来衡量时间序列的统计性质； 除了上述均值、协方差等数字特征，我们在概率论中常常打交道的还有分布函数、概率密度函数，在时间序列中分别对应于谱函数、谱函数。 初等概率论中的经典—正态分布，对应于时间序列中的正态时间序列。 一些概念要分清
严平稳时间序列和宽平稳时间序列 严平稳时间序列是指联合分布不随时间平移而发生改变； 而宽平稳时间序列是指均值和协方差不随时间平移而发生改变； 表面上看，严平稳时间序列是比宽平稳时间序列严格了很多，但这并不能说明：一个严平稳时间序列就一定是宽平稳时间序列，这是因为严平稳序列尽管有分布函数（谱函数），也不能够保证二阶矩存在（方差存在），比如柯西分布，所以严平稳时间序列也不一定是宽平稳时间序列。 当然，宽平稳时间序列不一定就是严平稳时间序列，因为分布未必具有平移不变性。 值得一提的是，对于正态时间序列来说，严平稳、宽平稳是等价的。遇到一个纷繁复杂的庞大问题，先从特殊情况入手，可以说是数学上常用的研究方法，时间序列也是这样，先研究平稳时间序列。
平稳时间序列，粗浅地看，就是基本统计性质（三点：①二阶矩有限 ②均值是常数 ③协方差函数 γ k \gamma_k γk 不随时间的平移发生改变，只是步长k的函数）不随时间平移而发生改变的时间序列。白噪声 之所以称之为白噪声，是因为它和白光的特性类似，白光的光谱在各个频率上有相同的强度，白噪声的谱密度在各个频率上的值相同。 { ϵ t , t ∈ Z } \{\epsilon _t ,t \in Z\} {ϵt,t∈Z}是相互独立，均值相同的随机变量。AR( p )模型 Auto Regressive Model ,即自回归模型。 具体形式： X t − a 1 X t − 1 − . . . − a p X p = ϵ t X_t - a_1 X_{t-1} - ... -a_p X_{p} = \epsilon_t Xt−a1Xt−1−...−apXp=ϵt 等式左边可以看成是 X t X_t Xt记忆了前p期的响应数据，现将其消除。 根据上述形式，我们可以写出对应的特征方程 A ( z ) = 1 − a 1 z − a 2 z 2 − . . . − a p z p = 0 A(z) = 1 - a_1 z - a_2 z^2 - ... -a_p z^p=0 A(z)=1−a1z−a2z2−...−apzp=0, 对应地，自回归算子为 A ( B ) = 1 − a 1 B − a 2 B 2 − . . . − a p B p A(B)=1-a_1B-a_2B^2-...-a_pB^p A(B)=1−a1B−a2B2−...−apBp，其中B为滞后算子，比如： B X t = X t − 1 B X_t=X_{t-1} BXt=Xt−1 在特征方程的根大于1时，有平稳解。 AR( p )模型的偏自相关函数 a p a_p ap是p后截尾的,第p项之前的系数均不为0，之后的系数均为零，所以称为p后截尾的。 利用观测到的样本我们可以求协方差函数，通过解Yule-Walker方程，得到模型中的线性组合系数。 Yule-Walker方程是如何得到的？对原AR( p)模型乘 X t − k X_{t-k} Xt−k，再取期望得到。MA(q)模型 moving average Model, 即滑动平均模型。 具体形式： X t = ϵ t + b 1 ϵ t − 1 + . . . + b q ϵ t − q X_t=\epsilon_t+b_1\epsilon_{t-1}+...+b_q\epsilon_{t-q} Xt=ϵt+b1ϵt−1+...+bqϵt−q； 对应地，特征方程为 B ( z ) = 1 + b 1 z + b 2 z 2 + . . . . + b q z q B(z)=1+b_1z+b_2z^2+....+b_qz^q B(z)=1+b1z+b2z2+....+bqzq; 值得注意的是，与AR( p )模型不同的是，MA(q)模型 当特征方程的根在单位圆上或是单位圆外时，均会有平稳解。进一步地，当特征根在单位圆外的MA（q）模型称为最小序列。 MA(q)模型的自协方差函数是q后截尾的。 任一个零均值的平稳时间序列，只要自协方差函数是q后截尾的，则该时间序列一定是MA(q)模型。 有限阶的MA(q)模型，可以转化为 无限阶自回归模型，且无限阶自回归模型的系数是以几何衰减的，所以MA（q)模型的偏自相关函数是拖尾的，同样地，ARMA(p,q)也是拖尾的。 平稳的AR( p)过程可以转化为无限阶移动平均过程。 特殊地， A R ( 1 ) AR(1) AR(1)模型是随机游动，不平稳。正态分布 具有封闭性 正态分布时间序列 { ξ n , n ∈ N + } \{\xi_n,n\in N^+\} {ξn,n∈N+}且有 ξ n → d i s t r i b u t i o n ξ \xi_n\overset{distribution}{\rightarrow}\xi ξn→distributionξ ，则 ξ \xi ξ服从正态分布。如何构造零均值正态平稳时间序列？ 使用零均值且服从正态分布的白噪声线性组合叠加而成，要求线性组合的系数是绝对可和的。其中系数的绝对可和保证了时间序列是平稳的。 线性滤波器 时间序列 { X t , t ∈ N } \{X_t,t\in N\} {Xt,t∈N}，经过绝对可和的无穷级数作为系数线性组合，得到时间序列 { Y t , t ∈ N } \{ Y_t ,t \in N\} {Yt,t∈N}。 保 时间序列的平稳性。一些值得注意的点
无穷级数的绝对可和能够推出平方可和，但是平方可和是推不出绝对可和的。也就是说，绝对可和比较强。 绝对可和： ∑ j = 0 ∞ ∣ a j ∣ < ∞ \sum_{j=0}^{\infty}|a_j| < \infty ∑j=0∞∣aj∣<∞ 平方可和： ∑ j = 0 ∞ a j 2 < ∞ \sum_{j=0}^{\infty}a_j^2 < \infty ∑j=0∞aj2<∞在概率论中几种收敛的强弱比较 ξ n \xi_n ξn依分布收敛 ξ \xi ξ 在F的连续点处有分布函数的收敛，即 F n ( x ) → F ( x ) F_n(x)\rightarrow F(x) Fn(x)→F(x); ξ n \xi_n ξn依概率收敛 ξ \xi ξ ∀ ϵ > 0 , P { ∣ ξ n − ξ ∣ ≥ ξ } → 0 , n → ∞ \forall \epsilon>0, P\{|\xi_n - \xi|\geq\xi\} \rightarrow 0, n \rightarrow \infty ∀ϵ>0,P{∣ξn−ξ∣≥ξ}→0,n→∞ ξ n \xi_n ξn均方收敛到 ξ \xi ξ E ( ξ n − ξ ) 2 → 0 , n → ∞ E(\xi_n - \xi )^2 \rightarrow 0,n \rightarrow \infty E(ξn−ξ)2→0,n→∞ 注：依分布收敛 弱于 依概率收敛 弱于 均方收敛。 什么是时间序列的同分布？ 从两个时间序列 { X t } \{X_t\} {Xt}和 { Y t } \{Y_t\} {Yt}中任意取出一段（或连续的一段，或不连续的一段，只要对应脚标相等）都是同分布的，则称时间序列是同分布的。两个正交的平稳时间序列 { X t } \{X_t\} {Xt}和 { Y t } \{Y_t\} {Yt},则 Z t = X t + Y t + c Z_t = X_t + Y_t +c Zt=Xt+Yt+c这一时间序列对应的谱函数和谱密度分别是平稳时间序列 { X t } \{X_t\} {Xt}和 { Y t } \{Y_t\} {Yt}对应谱函数和谱密度的加和。