香农三大定理的感悟,香农三大定理的感悟与收获

三大香农定理的思政内涵

香农第一定理

香农第一定理(可变长无失真信源编码定理)

设离散无记忆信源X包含N个符号{x1,x2,…,xi,..,xN}，信源发出K重符号序列，则此信源可发出N^k个不同的符号序列消息，其中第j个符号序列消息的出现概率为PKj，其信源编码后所得的二进制代码组长度为Bj，代码组的平均长度B为

B=PK1B1+PK2B2+…+PKN^kBN^k

当K趋于无限大时，B和信息量H(X)之间的关系为B/k=H(X)(K趋近无穷）

香农第一定理又称为无失真信源编码定理或变长码信源编码定理。

香农第一定理的意义：将原始信源符号转化为新的码符号，使码符号尽量服从等概分布，从而每个码符号所携带的信息量达到最大，进而可以用尽量少的码符号传输信源信息。

香农第二定理

香农第二定理（有噪信道编码定理）

有噪信道编码定理。当信道的信息传输率不超过信道容量时，采用合适的信道编码方法可以实现任意高的传输可靠性，但若信息传输率超过了信道容量，就不可能实现可靠的传输。

设某信道有r个输入符号，s个输出符号，信道容量为C，当信道的信息传输率RC，码长N足够长时，总可以在输入的集合中(含有r^N个长度为N的码符号序列)，找到M （(M=2^(N(C-a)))，a为任意小的正数)个码字，分别代表M个等可能性的消息，组成一个码以及相应的译码规则,使信道输出端的最小平均错误译码概率Pmin达到任意小。

公式：

注：B为信道带宽；S/N为信噪比，通常用分贝（dB）表示。

香农第三定理

香农第三定理（保失真度准则下的有失真信源编码定理）

保真度准则下的信源编码定理，或称有损信源编码定理。只要码长足够长，总可以找到一种信源编码，使编码后的信息传输率略大于率失真函数，而码的平均失真度不大于给定的允许失真度，即D'=D.

设R(D)为一离散无记忆信源的信息率失真函数，并且选定有限的失真函数，对于任意允许平均失真度D=0，和任意小的a0，以及任意足够长的码长N，则一定存在一种信源编码W，其码字个数为M=EXP{N[R(D)+a]}，而编码后码的平均失真度D'(W)=D+a。

请问香农定理的意义是什么？

是考试用的吗？我个人非常喜欢香农定理，这个意义我说的书面一点吧(虽说意义这种东西有点书呆子气，毕竟亲身实践多次才能有感受)：

香农定理在意外和概率的基础上对信息作出了一个非常普遍的定义。从他的方程中得出的重要讯息时，如果一个事件的概率是百分之五十，那么他恰好包含了一比特的信息。这可以推广到一个更见普遍的概念，即构成一件真正事务的任何东西，都能分解为一串适当大小的比特。而另一个方程则集中于信道的性质，香农表明，在给定的媒介中每秒钟可以传输的比特数有一个极限，这个极限是由信道的带宽和噪声规定的。开发利用这一极限的最经济方法是通过数字化编码。

香浓的影响不只是局限与通信世界，这类方程的形式在以熵为标题的其他科学领域也可找到，以及可在标明一个物理系统中的无序度那里找到。用信息论来说，这可以用意外的程度来表示。

香农的信息论究竟牛在哪里？

“信息”被定义为一种有别于物质—能源的东西，在需要作出决策的时候，有一个选择存在于一批选择之中，在这样的情况下，信息影响不确定性。因此，信息是不确定性的减少。信息的基本单位是比特，这个词是“二进制数字”的浓缩。

香农的信息测度单位——比特——的一个重要优点是：它能够为范围极其广泛的“物质—能量”所使用。比特是信息的一个普遍单位。在每一种情况下，信息量都可以被还原为比特。

香农在1948年的两篇论文提出了一系列以数学形式表达的定理，涉及到讯息从一个地方向另一个地方的传递。这些定理预示了信道能力的、以信息的比特来测度的因变量。香农也阐述了传播所涉及的主要因素：信源、讯息、发射器、信号、噪音、接受到的信号、接受器和信宿。克劳德·香农的整体理论贡献被普遍成为信息论，尽管香农将之称为“传播的数学理论”。

香农的传播模式：“信源”在一系列可能的讯息中选择一个称心的“讯息”——“发射器”将这个讯息改变成“信号”，后者实际上是通过“传播信道”被从发射器送到“接受器”——“接受器”是一种相反的发射器，将被发射的信号重新变成一个讯息，并将这个讯息传递到信宿——在被发射的过程中，不幸的特征：某些东西被加到了信号上面，它们在信源的意图之外——被发射的信号中的所有这些变化就被称为“噪音”。

1948年以后，香农的信息论在物理学、生物学和社会科学等学术团体中得到迅速而又广泛的传播。信息论被普遍引用，这种影响历时多年经久不衰。香农的（以熵的公式所测度的）信息概念对于传播学学者来说有着直接的用处。或许这就是为什么他的理论通常被称为“信息”理论、而不是“传播”理论的原因，后者是香农用来表示其理论的术语。

香农的信息概念的普遍性受到了赞扬：通过以定义清晰、但又完全抽象的术语来对待信息，而且适用于所有种类、所有领域的信息。香农信息论对目前的通信系统设计和编码都有不可忽视的指导意义。