编码概念
信源输出符号序列长度L＝1，信源符号集A(a1，a2，…，an)，信源概率空间为
若将信源X通过二元信道传输，就必须把信源符号ai变换成由0，1符号组成的码符号序列，这个过程就是信源编码。
码可分为两类：
定长码和变长码
固定长度的码，码中所有码字的长度都相同，如表中的码1就是定长码
可变长度码，码中的码字长短不一，如表中码2就是变长码。不同的码符号序列，如表所示：
奇异码和非奇异码
若信源符号和码字是一一对应的，则该码为非奇异码。反之为奇异码。
如下表中的码1是奇异码，码2是非奇异码。
唯一可译码 和非唯一可译码
唯一可译码：任意有限长的码元序列，只能被唯一地分割成一个个的码字，便称为唯一可译码。
唯一可译码中又分为非即时码和即时码
定长码中每个码字长度相等，所以只要定长码是非奇异码，则必为唯一可译码。
对于变长码，需要判断
唯一可译码存在的充分和必要条件：各码字的长度Ki 应符合克劳夫特不等式
即时码和非即时码
非即时码：如果接收端收到一个完整的码字后，不能立即译码，还需等下一个码字开始接收后才能判断是否可以译码。
即时码：只要收到符号就表示该码字已完整，可以立即译码。
即时码的条件:
设W1=Wi1Wi2…WiL为一个码字，对于任意的1≤j≤l，称码符号序列的前j个元素Wi1Wi2… Wij为码字的前缀。
按照上述定义，有以下命题：
一个唯一可译码成为即时码的充要条件是其中任何一个码字都不是其它码字的前缀。
也称为异前缀码
非延长码
任意一个码字都不是其它码字的前缀部分，异前缀码。
码的分类表
克劳夫特不等式
设二进制码树中X (a1， a2 ， a3 ， a4 )，K1＝1，K2＝2，K3＝2，K4＝3，应用上述判断定理：
因此不存在满足这种Ki的唯一可译码。
唯一可译码判别准则
命题：
一种码是唯一可译码的 充要条件是S1,S2,… 中没有一个含有S0中的码字。
首先判断是否为非奇异码
计算是否满足Kraft不等式
将码画成一棵码树，看是否满足即时码的树图构造，若满足则是唯一可译码
用后缀集合F来判断
无失真信源编码描述-1
信源输出
X＝(X1X2…Xl…XL)，
Xl{a1，a2，…，ai，…，an}
编码为
Y＝(Y1Y2…Yk… YkL)，
Yk{b1，b2，…，bj，…，bm}。
要求能够无失真或无差错地译码，同时传送Y时所需要的信息率最小
无失真的信源编码定理
定长编码定理
由L个符号组成的、每个符号的熵为HL(X)的无记忆平稳信源符号序列X1X2…Xl…XL，可用KL个符号Y1，Y2，…，Yk，…，（每个符号有m种可能值）进行定长编码。对任意>0，>0，只要
则当L足够大时，必可使译码差错小于；
反之，当时，译码差错一定是有限值，而L足够大时，译码几乎必定出错。
说明：
n 左边是输出码字每符号所能载荷的最大信息量
n 等长编码定理
n 码字所能携带的信息量大于信源序列携带的信息量，则总可以实现几乎无失真的编码，条件是编码的长度L足够大。
n 反之，当时，不可能构成无失真的编码，也就是不可能做一种编码器，能使收端译码时差错概率趋于零。
n 时，则为临界状态，可能无失真，也可能有失真。
在连续信源的情况下，由于信源的信息量趋于无限，显然不能用离散符号序列Y来完成无失真编码，而只能进行限失真编码。
编码效率：
为衡量编码效果，定义编码效率
信源的平均符号熵为H(X)，采用平均符号码长为来编码，所得的效率。
编码效率总是小于1，且最佳编码效率为
最佳编码效率：
编码定理从理论上阐明了编码效率接近1的理想编码器的存在性，它使输出符号的信息率与信源熵之比接近于1，即
变长编码定理
在变长编码中，码长K是变化的
提问：对同一信源，其即时码或唯一可译码可以有许多种。究竟哪一种好呢？从高速传输信息的观点来考虑，当然 希望选择由短的码符号组成的码字，就是用码长来作为选择准则
根据信源各个符号的统计特性，如概率大的符号用短码，概率小的用较长的码，使得编码后平均码长降低，从而提高编码效率。（统计匹配）
单个符号变长编码定理
若离散无记忆信源的符号熵为H(X)，每个信源符号用m进制码元进行变长编码，一定存在一种无失真编码方法，其码字平均长度满足下列不等式
离散平稳无记忆序列变长编码定理
对于平均符号熵为HL(X)的离散平稳无记忆信源，必存在一种无失真编码方法，使平均信息率满足不等式
其中为任意小正数。
用变长编码来达到相当高的编码效率，一般所要求的符号长度L可以比定长编码小得多。
无失真信源编码
上面的两个定理实际上是一样的，可以由第一个推导出第二个。设用m进制码元做变长编码，序列长度为L个信源符号，则该序列所对应的码字的平均长度 满足下面的不等式
而平均输出信息率为
故有，当L足够大时，可使，因此，
无失真信源编码
香农第一编码定理给出了码字的平均长度的下界和上界。但并不是说大于这上界不能构成唯一可译码，而是因为我们总是希望尽可能短。
定理说明当平均码长小于上界时，唯一可译码也存在。也就是说，定理给出的是最佳码的最短平均码长，并指出这个最短的平均码长与信源熵是有关的。
编码效率和剩余度
编码效率为
剩余度（冗余度）
