参考教材:《应用时间序列分析》 何书元;《应用时间序列分析》王振龙 部分总结而已。
一般的时间序列包含趋势项( T t T_t Tt)、季节项( S t S_t St)和随机项( R t R_t Rt),其中趋势项(阶梯函数)和季节项(周期性)可以视作确定的,但是随机项是不确定的,需要我们着重建模考虑,这本书的内容也是围绕随机项部分展开的。 时间序列和随机过程的关系: 时间序列是一种特殊的随机过程,特殊在时间序列 { X t , t ∈ Z } {\{X_t ,t \in Z\}} {Xt,t∈Z},脚标是离散的,表示每隔一段时间观察一次,观察值 { x 1 , x 2 , x 3 , . . . . } \{x_1 , x_2 , x_3 ,.... \} {x1,x2,x3,....}称作“一次实现”; 从初等概率论角度: 时间序列 { X t , t ∈ Z } \{X_t ,t \in Z\} {Xt,t∈Z}中每一个 X t X_t Xt都是随机变量,有均值和方差。只是,时间序列的特别之处在于:这一列随机变量是不独立,是相关的(当然,不相关也可独立也可不独立),所以有了协方差(函数),我觉得它在时间序列中的存在地位差不多就是概率论中的方差,用来衡量时间序列的统计性质; 除了上述均值、协方差等数字特征,我们在概率论中常常打交道的还有分布函数、概率密度函数,在时间序列中分别对应于谱函数、谱函数。 初等概率论中的经典—正态分布,对应于时间序列中的正态时间序列。 一些概念要分清
严平稳时间序列和宽平稳时间序列 严平稳时间序列是指联合分布不随时间平移而发生改变; 而宽平稳时间序列是指均值和协方差不随时间平移而发生改变; 表面上看,严平稳时间序列是比宽平稳时间序列严格了很多,但这并不能说明:一个严平稳时间序列就一定是宽平稳时间序列,这是因为严平稳序列尽管有分布函数(谱函数),也不能够保证二阶矩存在(方差存在),比如柯西分布,所以严平稳时间序列也不一定是宽平稳时间序列。 当然,宽平稳时间序列不一定就是严平稳时间序列,因为分布未必具有平移不变性。 值得一提的是,对于正态时间序列来说,严平稳、宽平稳是等价的。遇到一个纷繁复杂的庞大问题,先从特殊情况入手,可以说是数学上常用的研究方法,时间序列也是这样,先研究平稳时间序列。
平稳时间序列,粗浅地看,就是基本统计性质(三点:①二阶矩有限 ②均值是常数 ③协方差函数 γ k \gamma_k γk 不随时间的平移发生改变,只是步长k的函数)不随时间平移而发生改变的时间序列。白噪声 之所以称之为白噪声,是因为它和白光的特性类似,白光的光谱在各个频率上有相同的强度,白噪声的谱密度在各个频率上的值相同。 { ϵ t , t ∈ Z } \{\epsilon _t ,t \in Z\} {ϵt,t∈Z}是相互独立,均值相同的随机变量。AR( p )模型 Auto Regressive Model ,即自回归模型。 具体形式: X t − a 1 X t − 1 − . . . − a p X p = ϵ t X_t - a_1 X_{t-1} - ... -a_p X_{p} = \epsilon_t Xt−a1Xt−1−...−apXp=ϵt 等式左边可以看成是 X t X_t Xt记忆了前p期的响应数据,现将其消除。 根据上述形式,我们可以写出对应的特征方程 A ( z ) = 1 − a 1 z − a 2 z 2 − . . . − a p z p = 0 A(z) = 1 - a_1 z - a_2 z^2 - ... -a_p z^p=0 A(z)=1−a1z−a2z2−...−apzp=0, 对应地,自回归算子为 A ( B ) = 1 − a 1 B − a 2 B 2 − . . . − a p B p A(B)=1-a_1B-a_2B^2-...-a_pB^p A(B)=1−a1B−a2B2−...−apBp,其中B为滞后算子,比如: B X t = X t − 1 B X_t=X_{t-1} BXt=Xt−1 在特征方程的根大于1时,有平稳解。 AR( p )模型的偏自相关函数 a p a_p ap是p后截尾的,第p项之前的系数均不为0,之后的系数均为零,所以称为p后截尾的。 利用观测到的样本我们可以求协方差函数,通过解Yule-Walker方程,得到模型中的线性组合系数。 Yule-Walker方程是如何得到的?对原AR( p)模型乘 X t − k X_{t-k} Xt−k,再取期望得到。MA(q)模型 moving average Model, 即滑动平均模型。 具体形式: X t = ϵ t + b 1 ϵ t − 1 + . . . + b q ϵ t − q X_t=\epsilon_t+b_1\epsilon_{t-1}+...+b_q\epsilon_{t-q} Xt=ϵt+b1ϵt−1+...+bqϵt−q; 对应地,特征方程为 B ( z ) = 1 + b 1 z + b 2 z 2 + . . . . + b q z q B(z)=1+b_1z+b_2z^2+....+b_qz^q B(z)=1+b1z+b2z2+....+bqzq; 值得注意的是,与AR( p )模型不同的是,MA(q)模型 当特征方程的根在单位圆上或是单位圆外时,均会有平稳解。进一步地,当特征根在单位圆外的MA(q)模型称为最小序列。 MA(q)模型的自协方差函数是q后截尾的。 任一个零均值的平稳时间序列,只要自协方差函数是q后截尾的,则该时间序列一定是MA(q)模型。 有限阶的MA(q)模型,可以转化为 无限阶自回归模型,且无限阶自回归模型的系数是以几何衰减的,所以MA(q)模型的偏自相关函数是拖尾的,同样地,ARMA(p,q)也是拖尾的。 平稳的AR( p)过程可以转化为无限阶移动平均过程。 特殊地, A R ( 1 ) AR(1) AR(1)模型是随机游动,不平稳。正态分布 具有封闭性 正态分布时间序列 { ξ n , n ∈ N + } \{\xi_n,n\in N^+\} {ξn,n∈N+}且有 ξ n → d i s t r i b u t i o n ξ \xi_n\overset{distribution}{\rightarrow}\xi ξn→distributionξ ,则 ξ \xi ξ服从正态分布。如何构造零均值正态平稳时间序列? 使用零均值且服从正态分布的白噪声线性组合叠加而成,要求线性组合的系数是绝对可和的。其中系数的绝对可和保证了时间序列是平稳的。 线性滤波器 时间序列 { X t , t ∈ N } \{X_t,t\in N\} {Xt,t∈N},经过绝对可和的无穷级数作为系数线性组合,得到时间序列 { Y t , t ∈ N } \{ Y_t ,t \in N\} {Yt,t∈N}。 保 时间序列的平稳性。一些值得注意的点
无穷级数的绝对可和能够推出平方可和,但是平方可和是推不出绝对可和的。也就是说,绝对可和比较强。 绝对可和: ∑ j = 0 ∞ ∣ a j ∣ < ∞ \sum_{j=0}^{\infty}|a_j| < \infty ∑j=0∞∣aj∣<∞ 平方可和: ∑ j = 0 ∞ a j 2 < ∞ \sum_{j=0}^{\infty}a_j^2 < \infty ∑j=0∞aj2<∞在概率论中几种收敛的强弱比较 ξ n \xi_n ξn依分布收敛 ξ \xi ξ 在F的连续点处有分布函数的收敛,即 F n ( x ) → F ( x ) F_n(x)\rightarrow F(x) Fn(x)→F(x); ξ n \xi_n ξn依概率收敛 ξ \xi ξ ∀ ϵ > 0 , P { ∣ ξ n − ξ ∣ ≥ ξ } → 0 , n → ∞ \forall \epsilon>0, P\{|\xi_n - \xi|\geq\xi\} \rightarrow 0, n \rightarrow \infty ∀ϵ>0,P{∣ξn−ξ∣≥ξ}→0,n→∞ ξ n \xi_n ξn均方收敛到 ξ \xi ξ E ( ξ n − ξ ) 2 → 0 , n → ∞ E(\xi_n - \xi )^2 \rightarrow 0,n \rightarrow \infty E(ξn−ξ)2→0,n→∞ 注:依分布收敛 弱于 依概率收敛 弱于 均方收敛。 什么是时间序列的同分布? 从两个时间序列 { X t } \{X_t\} {Xt}和 { Y t } \{Y_t\} {Yt}中任意取出一段(或连续的一段,或不连续的一段,只要对应脚标相等)都是同分布的,则称时间序列是同分布的。两个正交的平稳时间序列 { X t } \{X_t\} {Xt}和 { Y t } \{Y_t\} {Yt},则 Z t = X t + Y t + c Z_t = X_t + Y_t +c Zt=Xt+Yt+c这一时间序列对应的谱函数和谱密度分别是平稳时间序列 { X t } \{X_t\} {Xt}和 { Y t } \{Y_t\} {Yt}对应谱函数和谱密度的加和。