『エントロピーのおはなし』のメモ

f:id:sukipparanoblues:20211018120831j:plain

図書館にあって手に取ってみた本。情報理論の教科書を読んでもすぐに理論的なお話に入るため、この手の本を読んで雰囲気を掴みたかった。気になる箇所をメモしていく。

感想としてはすごく読みにくかった。数式と解釈がゴチャゴチャしてるからだ。一般書ということもあり日常的な例に溢れているのだが、だからこそ数式を間違って解釈しそうになる。

例えばコイントスで表が10回連続で起こったからといって「運が回ってきた」「ツキがいい」などと解釈するのは間違いであり、単に $\frac{1}{256}$ の確率の事象が起こったと受け止めるのがいいだろう。しかしそれではただの数学書になるので具体例をつけざるを得ない。もちろん著者は分かった上で本を書いているので次のような注釈がある。

エントロピーは本来は熱現象や情報の理論で定義された概念でありますから、それをマスコミや人間の活動などの社会現象に応用することには一定の限度があると心得るべきでしょう。

p.48

あと例が具体的すぎる。例は日常的だが知らない用語がでてきて変に気を取られる。読むとしたら数式として理解した上で読み、「ああ、こんな具体例があるのか。いままでは数式しか見てなかったなあ」と呟くぐらいのタイミングがちょうどいいのだろう。

対数の底が2なのは最も小さい情報の量だから

コンピューターは全ての情報を0と1で表現している。たとえば全ての色は絵の具を混ぜ合わせるように、赤と緑と青の3色だけで表現されている。これら3色に0~255の値を振り分け、数字の大きさと割合によって全ての色を表現しているのだ。当然これらの値は人間が読みやすいように10進数で表現されているがコンピューターの内部では0と1を使った2進数で処理している。

f:id:sukipparanoblues:20211018122043p:plain

情報理論自体は情報通信を考えるためにできたので、コンピューターを例に出したが日常でも使える概念だ。例えばおもしろかったのがこの例え。友人の家に遊びにいったのだが、そこへ着いたら2階建てのマンションが2つ並んでた。しかも各階に2つ部屋がある。合計8つの部屋がありどこが友人の家なのか分からない。どうすれば友達の部屋という情報を知れるのか考える。まずどちらの練なのか尋ねてみた。するとA練だと分かった。次に何階の部屋かと尋ねると一階だと答えた。最後に左右どちらの部屋かと聞くと左だと分かった。これで友達の家が分かったことになる。

このように二者択一の情報を情報量の単位に取ることにし、これを1ビットと呼ぶ。4つの選択肢があり1つに特定できた場合は $2^2 = 2$ ビットとなり、8つの選択肢があるときは $2^3 = 3$ ビットとなる。これを一般化し、 $2^m$ の選択肢が与えられ情報1つを選ぶためにはmビットとなる。今回は8つの部屋があったので3ビットの情報量を知ると友達の部屋を特定できたのだった。