クロード・シャノンという名まえを耳にする｡
わかりやすいハナシから､はじめよう｡
重さの単位はg（グラム）､距離はm（メートル）､気圧はhpa（ヘクトパスカル）だ｡
そして情報の単位は…というとb（ビット）である｡
この単位を提唱したのがシャノン､である｡
歴史に埋もれていたブール代数を応用し､機械的に真偽をアウトプットできる､としたのもシャノンである（AND､OR､NOTという演算子だけで､真偽が出せる）
最も刺激的なのが､データの冗長性に関するアイデアだ｡
情報を通信する際には､冗長性が少ない方が良い､とされる｡
たとえば､A､B､C､Dの文字だけのメッセージを送るとする｡
このメッセージの半分はAで､Bは1/4だ｡CとDはそれぞれ1/8である｡
さて､どのようなビットで送れば冗長性は少ないだろう｡
A=00
B=01
C=10
D=11
こ場合の平均は､
(2×1/2)+(2×1/4)+(2×1/8)×(2×1/8)=2.0
となる｡
A=0
B=10
C=110
D=111
の場合は､
(1×1/2)+(2×1/4)+(3×1/8)+(3×1/8)=1.75
だ｡
なので､後者の方が１文字あたりの助長性が少ない､つまり送信しやすい､ということになる｡
参考:「クロード・シャノン 情報時代を発明した男」（ジミー・ソニ､ロブ・グッドマン）