香农三大定理的香农第一定理

香农三大定理的香农第一定理

香农第一定理：又称为无失真信源编码定理或变长码信源编码定理。将原始信源符号转化为新的码符号，使码符号尽量服从等概分布，从而每个码符号所携带的信息量达到最大，进而可以用尽量少的码符号传输信源信息。

特征：有噪信道编码定理。当信道的信息传输率不超过信道容量时，采用合适的信道编码方法可以实现任意高的传输可靠性，但若信息传输率超过了信道容量，就不可能实现可靠的传输。

香农的第一定理是什么 如题.香农有3大定理,第一定理是什么啊

香农第三定理（保真度准则下的信源编码定理）
设R(D)为一离散无记忆信源的信息率失真函数,并且有有限的失真测度D,则对于任意的D≥0,ε>0,以及任意长的码长n,一定存在一种码字个数为M≥2n[R(D)+ε]的信源编码,使编码后的平均失真度.
表述二：
设R(D)为一离散无记忆信源的信息率失真函数,并且规定了有限的失真测度,对于任意的D≥0,ε>0,则：
1）若给定失真D,且R’=logM/n≥R(D),则存在长度为N的码,它的平均失真度；（正定理）
2）若R’

香农的信息论究竟牛在哪里？

“信息”被定义为一种有别于物质—能源的东西，在需要作出决策的时候，有一个选择存在于一批选择之中，在这样的情况下，信息影响不确定性。因此，信息是不确定性的减少。信息的基本单位是比特，这个词是“二进制数字”的浓缩。

香农的信息测度单位——比特——的一个重要优点是：它能够为范围极其广泛的“物质—能量”所使用。比特是信息的一个普遍单位。在每一种情况下，信息量都可以被还原为比特。

香农在1948年的两篇论文提出了一系列以数学形式表达的定理，涉及到讯息从一个地方向另一个地方的传递。这些定理预示了信道能力的、以信息的比特来测度的因变量。香农也阐述了传播所涉及的主要因素：信源、讯息、发射器、信号、噪音、接受到的信号、接受器和信宿。克劳德·香农的整体理论贡献被普遍成为信息论，尽管香农将之称为“传播的数学理论”。

香农的传播模式：“信源”在一系列可能的讯息中选择一个称心的“讯息”——“发射器”将这个讯息改变成“信号”，后者实际上是通过“传播信道”被从发射器送到“接受器”——“接受器”是一种相反的发射器，将被发射的信号重新变成一个讯息，并将这个讯息传递到信宿——在被发射的过程中，不幸的特征：某些东西被加到了信号上面，它们在信源的意图之外——被发射的信号中的所有这些变化就被称为“噪音”。

1948年以后，香农的信息论在物理学、生物学和社会科学等学术团体中得到迅速而又广泛的传播。信息论被普遍引用，这种影响历时多年经久不衰。香农的（以熵的公式所测度的）信息概念对于传播学学者来说有着直接的用处。或许这就是为什么他的理论通常被称为“信息”理论、而不是“传播”理论的原因，后者是香农用来表示其理论的术语。

香农的信息概念的普遍性受到了赞扬：通过以定义清晰、但又完全抽象的术语来对待信息，而且适用于所有种类、所有领域的信息。香农信息论对目前的通信系统设计和编码都有不可忽视的指导意义。