シャノン

クロード・シャノンという名まえを耳にする。

わかりやすいハナシから、はじめよう。

重さの単位はg(グラム)、距離はm(メートル)、気圧はhpa(ヘクトパスカル)だ。

そして情報の単位は…というとb(ビット)である。

この単位を提唱したのがシャノン、である。

歴史に埋もれていたブール代数を応用し、機械的に真偽をアウトプットできる、としたのもシャノンである(AND、OR、NOTという演算子だけで、真偽が出せる)

最も刺激的なのが、データの冗長性に関するアイデアだ。

情報を通信する際には、冗長性が少ない方が良い、とされる。

たとえば、A、B、C、Dの文字だけのメッセージを送るとする。

このメッセージの半分はAで、Bは1/4だ。CとDはそれぞれ1/8である。

さて、どのようなビットで送れば冗長性は少ないだろう。

A=00
B=01
C=10
D=11

こ場合の平均は、
(2×1/2)+(2×1/4)+(2×1/8)×(2×1/8)=2.0
となる。

A=0
B=10
C=110
D=111
の場合は、
(1×1/2)+(2×1/4)+(3×1/8)+(3×1/8)=1.75
だ。

なので、後者の方が1文字あたりの助長性が少ない、つまり送信しやすい、ということになる。

参考:「クロード・シャノン 情報時代を発明した男」(ジミー・ソニ、ロブ・グッドマン)