信息論

類別:__編號:__

信息是指對消息接受者來說預先不知道的報道。信息論是利用數學方法研究信息的傳送、變換和儲存，特別是信息量計算的一門科學。它是在四十年代后期從長期通信實踐中總結出來的。

在信息論發展起來以前，人們對信息系統的理解是比較膚淺的。一般常把攜帶信息的消息信號看成是確定性的周期信號或瞬態信號。但是，越來越多的通信實踐證明，在大多數情況下，系統里的消息和噪聲既不是周期性也不是瞬態性，而是一種具有概率性的隨機函數或隨機過程。許多科學工作者，開始把近代統計力學中的重要概念，把概率論隨機過程理論以及廣義諧波分析的數學方法應用到信息系統的研究中，把通信工程提高到統計科學的高度。

信息論的研究對象是廣義的信息傳輸和信息處理系統。從最普通的電報、電話、傳真、電視、雷達、聲納，一直到各類生物神經的感知系統，都可以用同一的信息論觀點加以闡述，都可以概括成這樣或那樣的隨機過程或統計學的數學模型加以研究。