香農既精通通信又精通數學(xué),將數理知識和工程很好的融合在一起。大數學(xué)家Kolmogrov很好地總結了香農作為一個(gè)學(xué)者的才華,他說(shuō):“在我們的時(shí)代,當人的指示越來(lái)越專(zhuān)業(yè)化的時(shí)候,香農是科學(xué)家的一個(gè)卓越的典范。他把深奧和抽象的數學(xué)思想和概括而又很具體的對關(guān)鍵技術(shù)問(wèn)題的理解結合起來(lái)。他被認為是最近幾十年最偉大的工程師之一,同時(shí)也被認為是最偉大的數學(xué)家之一?!?/span>
熵(entropy)的概念
香農理論的重要特征是熵(entropy)的概念,他證明熵與信息內容的不確定程度有等價(jià)關(guān)系。熵曾經(jīng)是波爾茲曼在熱力學(xué)第二定律引入的概念,我們可以把它理解為分子運動(dòng)的混亂度。香農將統計物理中熵的概念,引申到信道通信的過(guò)程中,從而開(kāi)創(chuàng )了”信息論“這門(mén)學(xué)科。香農定義的“熵”又被稱(chēng)為“香農熵”或“信息熵”,即其中i標記概率空間中所有可能的樣本,表示該樣本的出現幾率,K是和單位選取相關(guān)的任意常數??梢悦黠@看出“信息熵”的定義和“熱力學(xué)熵”(玻爾茲曼公式)的定義只相差某個(gè)比例常數。 熵(entropy)指的是體系的混亂的程度,它在控制論、概率論、數論、天體物理、生命科學(xué)等領(lǐng)域都有重要應用,在不同的學(xué)科中也有引申出的更為具體的定義,是各領(lǐng)域十分重要的參量。熵由魯道夫·克勞修斯(Rudolf Clausius)提出,并應用在熱力學(xué)中。后來(lái)在,克勞德·艾爾伍德·香農(Claude Elwood Shannon)第一次將熵的概念引入到信息論中來(lái)。 眾所周知,質(zhì)量、能量和信息量是三個(gè)非常重要的量。
人們很早就知道用秤或者天平計量物質(zhì)的質(zhì)量,而熱量和功的關(guān)系則是到了19世紀中葉,隨著(zhù)熱功當量的明確和能量守恒定律的建立才逐漸清楚。能量一詞就是它們的總稱(chēng),而能量的計量則通過(guò)“卡、焦耳”等新單位的出現而得到解決。 然而,關(guān)于文字、數字、圖畫(huà)、聲音的知識已有幾千年歷史了。但是它們的總稱(chēng)是什么,它們如何統一地計量,直到19世紀末還沒(méi)有被正確地提出來(lái),更談不上如何去解決了。20世紀初期,隨著(zhù)電報、電話(huà)、照片、電視、無(wú)線(xiàn)電、雷達等的發(fā)展,如何計量信號中信息量的問(wèn)題被隱約地提上日程。
1928年哈特利(R.V. H. Harley)考慮到從D個(gè)彼此不同的符號中取出N個(gè)符號并且組成一個(gè)“詞”的問(wèn)題。如果各個(gè)符號出現的概率相同,而且是完全隨機選取的,就可以得到D^N個(gè)不同的詞。從這些詞里取了特定的一個(gè)就對應一個(gè)信息量I。哈特利建議用N log D這個(gè)量表示信息量,即I=N log D。這里的log表示以10為底的對數。后來(lái),1949年控制論的創(chuàng )始人維納也研究了度量信息的問(wèn)題,還把它引向熱力學(xué)第二定律。
但是就信息傳輸給出基本數學(xué)模型的核心人物還是香農。1948年香農長(cháng)達數十頁(yè)的論文“通信的數學(xué)理論”成了信息論正式誕生的里程碑。在他的通信數學(xué)模型中,清楚地提出信息的度量問(wèn)題,他把哈特利的公式擴大到概率pi不同的情況,得到了著(zhù)名的計算信息熵H的公式:H(X)= -Σp(x) logp(x) 如果計算中的對數log是以2為底的,那么計算出來(lái)的信息熵就以比特(bit)為單位。在計算機和通信中廣泛使用的字節(Byte)、KB、MB、GB等詞都是從比特演化而來(lái)?!氨忍亍钡某霈F標志著(zhù)人類(lèi)知道了如何計量信息量。香農的信息論為明確什么是信息量概念作出決定性的貢獻。 香農在進(jìn)行信息的定量計算的時(shí)候,明確地把信息量定義為隨機不定性程度的減少。這就表明了他對信息的理解:信息是用來(lái)減少隨機不定性的東西?;蛳戕r逆定義:信息是確定性的增加。
雖然香農的信息概念比以往的認識有了巨大的進(jìn)步,但仍存在局限性,這一概念同樣沒(méi)有包含信息的內容和價(jià)值,只考慮了隨機型的不定性,沒(méi)有從根本上回答"信息是什么"的問(wèn)題。
事實(shí)上,香農最初的動(dòng)機是把電話(huà)中的噪音除掉,他給出通信速率的上限,這個(gè)結論首先用在電話(huà)上,后來(lái)用到光纖,截止2013又用在無(wú)線(xiàn)通信上。我們能夠清晰地打越洋電話(huà)或衛星電話(huà),都與通信信道質(zhì)量的改善密切相關(guān)。