情報理論における「自己情報量」「平均情報量」「相互情報量」は、いずれも情報の大きさや意味合いを数量的に扱うための基本的な概念です。

情報理論における「自己情報量」「平均情報量」「相互情報量」は、いずれも情報の大きさや意味合いを数量的に扱うための基本的な概念です。

まず、自己情報量とは、ある出来事が起きたときに、その出来事がどれほど「意外」であるか、つまりどれほどの情報をもたらすかを示す指標です。たとえば確実に起こることには何の驚きもなく情報もありませんが、非常にまれな出来事が起これば、その分だけ大きな情報を含むと考えます。宝くじに当たるような確率の低い出来事は、それだけで大きな自己情報量を持つと言えます。

次に、平均情報量は、その名のとおり、複数の出来事における自己情報量の平均を表します。これは一般に「エントロピー」と呼ばれ、ある情報源がどれほど不確かであるかを測るものです。サイコロのように結果が多様で予測しにくいものほどエントロピーは高くなります。一方で、毎回同じ結果しか出ない情報源は不確実性がなく、エントロピーもゼロになります。

そして、相互情報量とは、2つの事象の間にどれほどの情報的なつながりがあるかを示すものです。一方の事象を知ることで、もう一方についてどれだけの情報が得られるかという「関連の度合い」を測る指標です。たとえばある症状を知ることで病気が特定しやすくなるような場合には、症状と病気の間には大きな相互情報量があると言えます。逆に、互いに無関係であれば、相互情報量はゼロとなり、一方を知っても他方には何の影響も与えません。

このように、自己情報量は個別の驚き、平均情報量は全体の不確実さ、相互情報量は2つの変数の関係性を表しており、いずれも情報の意味を数学的に捉える上で重要な役割を果たします。