通信理論と熱力学的エントロピーの統一的視点 • Yu Tokunaga

情報エントロピーと熱力学エントロピーの定義

クロード・E・シャノンによる1948年の情報理論は、情報の定量化と通信の限界を明らかにしました。その中心概念「シャノンエントロピー」は、物理学の熱力学エントロピーと形式的に深い関係を持ちます。情報理論におけるエントロピー（シャノンエントロピー）は、離散確率変数 $X$ の不確実性（情報量）を次式で定量化します：

H(X) = -\sum_{i} p(x_i)\,\log_2 p(x_i)

一方、熱力学エントロピー $S$ は、ボルツマン定数 $k_B$ を用いて

S = -k_B \sum_{i} p_i \,\ln p_i

と表されます。どちらも確率分布に基づく不確実性の尺度であり、数式の構造は酷似しています。ただし、情報理論では単位がビット、熱力学ではジュール毎ケルビンと異なります。エントロピーは情報量そのものではなく、不確実性や無秩序さの指標です。たとえば、ノイズの多い信号は有用な情報がほとんど含まれていなくても、エントロピーが高い場合があります。したがって、「エントロピー増加＝情報増加」ではありません。

類似点: いずれも不確実性を定量化する指標であり、確率分布に基づいて計算されます。
相違点: 熱力学エントロピーは物理的な系のエネルギー分布に関係し、情報エントロピーはメッセージやデータの情報量に関係します。

通信路容量とエントロピー

シャノンは、ノイズのある通信路で送信できる最大情報量（通信路容量）を次式で定式化しました：

C = \max_{p(x)} I(X;Y)

ここで $I(X;Y)$ は入力 $X$ と出力 $Y$ の相互情報量です。エントロピーの概念が通信の限界を決定することが分かります。

なぜ「情報は物理量」なのか

「情報は単なる数式上の概念ではなく、物理的な実体である」と言える理由を理解するために、以下で代表的な思考実験や原理を順に見ていきます。

シラードの分子エンジン

シラードは、単一分子ガスを隔壁付きシリンダーに閉じ込め、分子の位置を測定することで仕事を取り出すモデルを示しました。測定によって得られる情報量は $k_B\ln2$ に相当し、温度 $T$ の熱浴から最大仕事

W_{\text{max}} = k_B T \ln 2

を引き出せます。この過程で分子の不確定性（エントロピー）は減少しますが、測定装置や記録媒体のエントロピー増加が同等以上になるため、全体のエントロピーは減少しません。ここで「情報の取得＝物理的な変化」となることが明確になります。

マクスウェルの悪魔

マクスウェルの悪魔とは、物理学者ジェームズ・クラーク・マクスウェルが1867年に提唱した思考実験の名称です。ここでの悪魔は、実在の装置ではなく、高度に知的で、かつエネルギー消費なしに分子の速度を瞬時に測定し仕分けできる架空の存在です。この存在を仮定することで、仕切りのある箱の両側を行き来する分子の速度を観測し、高速分子だけを一方に、低速分子だけを他方に通すことが可能となり、外部から仕事を加えずに温度差を生み出せるように思えます。これは一見、熱力学第二法則「孤立系のエントロピーは減少しない」に反する現象です。

しかし、現代の理解では、悪魔が分子の状態を測定し、その情報を記録し、さら「消去する一連の情報処理過程において、必ずエントロピーの増加やエネルギー消費が発生します。特に、記録した情報を消去する際にはランダウアーの原理により $k_B T \ln 2$ 以上のエネルギーが必要となり、その分だけ熱が発生しエントロピーが増加します。このため、悪魔の介入を含めた全体系のエントロピーは減少せず、熱力学第二法則は破られません。情報の取得・保存・消去という物理的プロセスが、エントロピーと不可分であることが理論的・実験的に確立されています。

ランダウアーの原理

ランダウアーは、情報ビットの消去（リセット）に必要な最低仕事量を定式化しました。ビットを既知の状態に強制的に戻す際、系と熱浴を合わせたエントロピー変化は

\Delta S_{\rm tot} \;\ge\; k_B \ln 2

となり、消去に伴う仕事 $W$ は

W \;\ge\; k_B T \ln 2

を満たします。これが「情報の消去には必ずエントロピー増加が伴う」ことの厳密な証明です。ただし、すべての情報操作がエントロピー増加や熱発生を伴うわけではありません。チャールズ・ベネットは、論理的に可逆な計算（たとえばトフリゲートなど）であれば、物理的にもエントロピーを増やさずに計算が実行できることを示しました。したがって、ランダウアー原理が適用されるのは不可逆操作に限られます。

ミクロレベルでの情報保存

古典力学・量子力学の可逆性から、ミクロ状態の時間発展は情報保存を示唆します。情報の取得・操作は可逆過程として設計できても、消去だけは不可逆であり、必ず熱的エントロピーを増加させます。ランダウアーの原理が示すように、たった1ビットの情報を消去するだけでも、 $k_B\ln2$ という最小限のエントロピー増加と、 $k_B T\ln2$ のエネルギーコストが不可避です。情報の消去は、物理法則に刻まれた“不可逆”の証左ともいえます。