问题——如何衡量“信息”与“不确定性” 在日常生活中，“信息”往往被理解为消息的多少、数据的规模，但在科学语境下，信息的关键属性并非数量堆叠，而是对不确定性的削减程度。以抛硬币为例：若硬币公平，正反面各占一半概率，结果揭晓前的不确定性最大；若硬币两面均为正面，结果几乎确定，揭晓时带来的新增认知极其有限。由此可见，信息并不等同于“说了多少”，而在于“改变了多少认知状态”。 原因——香农为何用概率与对数定义信息 1948年，数学家克劳德·香农在《通信的数学理论》中提出信息熵概念，意在解决通信系统的根本问题：在噪声与带宽限制下，如何稳定、高效地传输消息。要实现工程可计算，必须把“信息量”转化为可以度量的数值。 香农从直觉出发提出：事件发生概率越小，越令人意外，其携带的信息量应越大；概率越大，信息量应越小。继续，要让多个独立事件组合时信息量能够自然相加，度量函数必须满足“可加性”。对数函数恰好满足此要求：两个独立事件的联合概率等于概率相乘，而对数将乘法转换为加法，从而使“组合知识”能够用简单的求和表达。由此，单个结果的信息量可被形式化为与其概率成反比的对数量。 在此基础上，香农将系统整体的不确定性定义为“平均信息量”，即对所有可能结果按其发生概率加权求和，形成香农熵。若以2为底，单位为比特；这一定义使“信息”首次获得统一、可计算、可工程化的度量标准。 影响——信息熵为何被视为数字时代的基础尺度 从最常见的二元事件看，信息熵具有鲜明的规律：当某一结果几乎必然发生时，不确定性趋近于零；当两种结果等可能时，不确定性达到峰值。公平硬币的抛掷正对应“一比特”的不确定性，这一概念也成为现代数字系统“0与1”逻辑的理论支点。 更重要的是，信息熵不仅能描述“单次猜测有多难”，还可用于刻画“系统整体有多难预测”。在数据压缩领域，熵给出了在不损失信息前提下的压缩极限，决定了编码能否更短、更高效；在通信传输领域，熵与信道容量等概念相互关联，影响编码冗余与抗噪设计；在统计推断与机器学习中，熵与交叉熵、信息增益等指标被广泛用于评估模型的不确定性、特征的区分能力与决策过程的有效性。 同时，信息熵还提供了一种理解复杂系统的方法：当系统越接近“均匀分布”，意味着越缺乏可利用的先验结构，不确定性越大；当获得新的观测或约束条件，可能性空间被压缩，不确定性下降，“新增信息量”便可视为熵的减少。这一逻辑将“学习”“识别”“推断”等过程统一表述为对不确定性的持续削减。 对策——在应用扩展中把握边界，避免概念滥用 随着数字技术深入社会治理、产业运行与公共传播，信息熵的思想被频繁引用，亦需强调其适用前提与规范使用。 一是坚持概率建模的严谨性。熵的计算建立在概率分布之上，分布假设不清或样本偏差会导致度量失真，进而误导决策。二是区分“信息量”与“价值判断”。熵刻画的是不确定性，而非内容的社会价值与伦理意义；小概率事件信息量大，并不意味着应被过度放大传播。三是推动跨学科的标准化表达。在数据要素流通、隐私保护、风险评估等领域，应避免将熵简单等同于“数据越多越好”，而应回到其本义：结构化、可解释的约束往往比无序堆叠更能降低不确定性、提升决策质量。 前景——从通信理论走向更广阔的认知与治理工具 面向未来，信息熵的作用有望进一步外溢至更广泛的场景：在智能制造与质量控制中，用于监测系统波动与异常；在网络安全中，用于识别随机性异常与潜在攻击特征；在公共管理中，用于评估政策信息披露对社会预期的影响程度。随着数据规模持续增长、系统耦合不断加深，如何用更可靠的方式度量不确定性、识别有效信息，将成为提升治理与产业效率的重要课题。 可以预见，以熵为代表的信息度量体系，将继续在数据压缩、可靠通信、统计推断乃至复杂系统研究中发挥基础支撑作用，并为构建更透明、更可验证的数字规则提供方法论基础。
从简单的抛硬币实验到支撑数字文明的基础理论，信息熵的发展展现了科学的深远影响。香农的理论不仅提供了度量信息的工具，更启示我们：真正的智慧在于建立理解未知的科学框架。这个理念或将推动人类迈向更高效的信息文明新时代。