香農：信息技術的鼻祖

2016年4月30日是Claude Elwood Shannon（克勞德·艾爾伍德·香農）的100歲生日，他以數學為基礎研究信息論，現代計算機使用了他的比特和字節的定義。

事實上，Claude Elwood Shannon（香農）沒有英國數學家Alan Turing（阿蘭·圖靈）和德國工程師Konrad Zuse（克蘭德·楚澤）在自然科學方面著名，美國人香農是麻省理工學院的一名數學教授，當時他比較孤僻，他喜歡一個人鉆進一間屋子里鉆研電子修理，然而這對他的靈感產生了極其深遠的影響。他最重要的論文是“A Mathematical Theory of Communication（通信的數學理論）”，該論文發表在1948年。在這篇論文中，香農把通信的數學理論建立在概率論的基礎上，把通信的基本問題歸結為通信的一方能以一定的概率復現另一方發出的消息，并針對這一基本問題對信息作了定量描述。

令人驚奇的是，他的基本信息規則體系與熱力學規則有很大的相似性，即熵的概念。熵（entropy）指的是體系的混亂程度，它在控制論、概率論、數論、天體物理、生命科學等領域都有重要應用，在不同的學科中也有引申出的更為具體的定義，是各領域十分重要的參量。在19世紀，奧地利物理學家Ludwig Boltzmann（路德維希·玻爾茲曼）已經將熵定義為一種條件概率的度量方法，氣體遍布整個可用空間的可能性更高，也就是具有更高的熵。另一方面，香農第一次將熵的概念引入到他的信息論中來，在他的通信數學模型中提出信息的度量問題，他得到了著名的計算信息熵的公式，計算出來的信息熵就以比特（bit）為單位。

比特是常用的一個信息量的度量單位，為信息量的最小單位，這也可以追溯到香農的定義。比特數越高，信息量越大。如果一個信息塊具有多出的比特數，那么它就包含了一定數量的冗余，這引出了計算機領域中的一個應用，即冗余校驗，冗余校驗主要用來檢測或校驗數據傳輸或者保存在DVD上的數據可能出現的錯誤。

香農還在他熟悉的信息相關領域做了很多其他方面的基礎工作，并在數字技術領域開展了很多類似的工作——當然也有另外的一些專家在為此做出努力。因此，計算機技術在20世紀50年代得以迅速發展。