67 自己情報量

67 自己情報量

自己情報量とエントロピーは、情報がどれだけ珍しいか、そして平均的にどれだけ不確かかを示す基礎概念です。自己情報量は、ある出来事が起きたときの「驚き」の大きさを表します。起こる可能性が低い出来事ほど、起きたときの驚きは大きく、自己情報量も大きくなります。たとえば十階建てのマンションで、どの階も同じくらいの可能性なら、あなたが十階に住んでいると知ることは比較的珍しく、驚きは大きいと言えます。反対に、住人の多くが一階に集中しているとわかっていれば、あなたも一階に住んでいると知っても驚きは小さくなります。

エントロピーは、起こりうるすべての出来事について、その驚きの大きさを確率で重み付けして平均した量です。状況全体の「平均的な不確かさ」を表す指標だと考えるとよいでしょう。マンションの比喩でいえば、各階の可能性が均等なら、どの階かを当てるのは難しく、不確かさは最大でエントロピーは高い状態です。特定の階に可能性が偏っていれば、予測は容易になり、不確かさは小さくエントロピーは低くなります。

数学的に見ると、自己情報量は「起こりにくいほど大きい」「独立な出来事が同時に起こったときは足し合わさる」「確率だけに依存する」という三つの要請から一意に定まる量です。エントロピーは、その自己情報量の平均であり、確率分布の広がりを測る道具です。これは最小の符号長や、制約条件のもとで最も偏りのない分布を選ぶときの基準として働きます。連続的な量に拡張しても同じ考えが通用し、統計物理のエントロピーと同じ骨格を共有します。

哲学的には、自己情報量は観測者の信念がどれだけ更新されるかという「認識の変化の強度」を測ります。起こりにくい出来事ほど、既存の見通しからの逸脱が大きく、世界観の更新を強く促します。エントロピーは、その更新の大きさを全体として平均したもので、「無知の度合い」の定量化でもあります。均等な可能性が広く開かれているほど、未来の展開は多様で、エントロピーは高い。偏りが強いほど、未来はより確定的で、エントロピーは低い。この見方は、物理学における不可逆性の直観と呼応し、歴史や社会の議論では、開かれた可能性の束が時間とともに選別されていく過程としても解釈できます。