標籤: 暫無標籤

信息多少的量度。1928年R.V.L.哈特萊首先提出信息定量化的初步設想,他將消息數的對數定義為信息量。若信源有m種消息,且每個消息是以相等可能產生的,則該信源的信息量可表示為I=logm。但對信息量作深入而系統研究,還是從1948年C.E.仙農的奠基性工作開始的。在資訊理論中,認為信源輸出的消息是隨機的。即在未收到消息之前,是不能肯定信源到底發送什麼樣的消息。而通信的目的也就是要使接收者在接收到消息后,儘可能多的解除接收者對信源所存在的疑義(不定度),因此這個被解除的不定度實際上就是在通信中所要傳送的信息量。

1 信息量 -概述

信息量C.E.仙農

信息多少的量度。1928年R.V.L.哈特萊首先提出信息定量化的初步設想,他將消息數的對數定義為信息量。若信源有m種消息,且每個消息是以相等可能產生的,則該信源的信息量可表示為I=logm。但對信息量作深入而系統研究,還是從1948年C.E.仙農的奠基性工作開始的。

信息的統計特徵描述是早在1948年申農把熱力學中熵的概念與熵增原理引入信息理論的結果。先行考察熵增原理。熱力學中的熵增原理是這樣表述的:存在一個態函數-熵,只有不可逆過程才能使孤立系統的熵增加,而可逆過程不會改變孤立系統的熵。從中可以看出:一、熵及熵增是系統行為;二、這個系統是孤立系統;三、熵是統計性狀態量,熵增是統計性過程量。討論信息的熵表述時,應充分注意這些特徵的存在。並且知道,給定系統中發生的信息傳播,是不可逆過程。

在資訊理論中,認為信源輸出的消息是隨機的。即在未收到消息之前,是不能肯定信源到底發送什麼樣的消息。而通信的目的也就是要使接收者在接收到消息后,儘可能多的解除接收者對信源所存在的疑義(不定度),因此這個被解除的不定度實際上就是在通信中所要傳送的信息量。因此,接收的信息量在無干擾時,在數值上就等於信源的信息熵信息量,式中P(xi)為信源取第i個符號的概率。但在概念上,信息熵與信息量是有區別的。信息熵是描述信源本身統計特性的一個物理量。它是信源平均不定度,是信源統計特性的一個客觀表徵量。不管是否有接收者它總是客觀存在的。信息量則往往是針對接收者而言的,所謂接收者獲得了信息,是指接收者收到消息后解除了對信源的平均不定度,它具有相對性。對於信息量的說明須引入互信息的概念。

在資訊理論中,互信息的定義是:I(XY)=H(X)-H(X|Y),數式右邊后一項稱為條件熵,對離散消息可表示為信息量,它表示已知Y以後,對X仍存在的不定度。因此,互信息I(X;Y)是表示當收到Y以後所獲得關於信源X的信息量。與互信息相對應,常稱H(X)為自信息。互信息具有三個基本性質。
①非負性:I(X;Y)≥0,僅當收到的消息與發送的消息統計獨立時,互信息才為0。
②互信息不大於信源的熵:I(X;Y)≤H(X),即接收者從信源中所獲得的信息必不大於信源本身的熵。僅當通道無雜訊時,兩者才相等。
③對稱性:I(X;Y)=I(Y;X),即Y隱含XX隱含Y的互信息是相等的。
對於連續信源的互信息,它仍表示兩個熵的差值,所以也可直接從離散情況加以推廣,並保持上述離散情況的一切特性,即

信息量

實際信源是單個消息信源的組合,所以實際信源的互信息I(X;Y)也可以直接從上述單個消息的互信息I(XY)加以推廣,即I(X;Y)=H(X)-H(XY)。

2 信息量 -發展過程

信息量E.H.Weber
被稱為信息化社會的今天,現代情報學理論及其應用,非常注重信息量化測度。1980年代,英國著名情報學家B.C.布魯克斯,在闡述人之信息(情報)獲取過程時,深入研究了感覺信息的接收過程,並將透視原理──對象的觀察長度Z與從觀察者到被觀察對象之間的物理距離X成反比,引入情報學,提出了Z=LogX的對數假說。用此能較好地說明信息傳遞中,情報隨時間、空間、學科(行業)的不同而呈現的對數變換。然而,關於用戶的情報搜尋行為,在其信息來源上,「獲取距離最近的比例最高,最遠的比例最低」的結論,在跨域一體、存在國際互聯網的今天,需要有新的理論進行新的概括。

對數透視變換,源於實驗心理物理學。1846年德國心理學家E.H.Weber提出了韋伯公式:△I/I=k。這裡,△I代表剛可感覺到的差別閾限,I代表標準刺激物理量,k是小於1的常數。後來,Fechner把這個關於差別閾限的規律稱之為韋伯定律,並於1860年在此基礎上提出了著名的費肯納對數定律:心理的感覺量值S是物理刺激量I的對數函數,即S=cLogI,c是由特殊感覺方式確定的常數。
1957年Stevens提出冪定律:S=bIa,a與b為特徵常數。心理物理函數究竟是服從冪定律還是服從對數定律?W.S.Togerson認為,這不能通過實驗解決,而是一個在實驗中進行選擇的問題。G.Ekman在假定Fechner的對數定律是普遍正確的前提下,推導出冪定律是對數定律的一個特例。

中國有突出貢獻的科學家程世權,在1990年出版的《模糊決策分析》一書中,評介引述於宏義等對「系統的定性和定量轉化,總結歸納出了一種方便可行、科學可靠的定性排序與定量轉化的方法」。於宏義等之方法,在利用顯在的頻數信息的同時,巧妙利用了潛在的泛序信息——權數,使模糊系統簡便有效地轉化成明晰的工程系統。其測度模式是:
F(I)=Ln(max{I}-I+2)/Ln(max{I}+1)。
式中,I為所論對象按一定指標的排序序號,F(I)為其隸屬度。實際應用中巧妙運用「自動連鎖」機制,確實簡便、實用、有效。所謂「自動連鎖」機制,就是「評價者在評價他人他事他物的同時,不能不表現自身,不能不被評價」。

3 信息量 -計算方法

信息量信息量
資訊理論創始人C.E.Shannon,1938年首次使用比特(bit)概念:1(bit)=Log22。它相當於對二個可能結局所作的一次選擇量。資訊理論採用對隨機分佈概率取對數的辦法,解決了不定度的度量問題。
m個對象集合中的第i個對象,按n個觀控指標測度的狀態集合的
全信息量TI=Log2n。
從試驗后的結局得知試驗前的不定度的減少,就是申農界定的信息量,即
自由信息量FI=-∑piLog2pi,(i=1,2,…,n)。
式中pi是與隨機變數xi對應的觀控權重,它趨近映射其實際狀態的分佈概率。由其內在分佈構成引起的在試驗前的不定度的減少,稱為先驗信息或謂約束信息量。風險是潛藏在隨機變數尚未變之前的內在結構能(即形成該種結構的諸多作用中還在繼續起作用的有效能量)中的。可以顯示、映射這種作用的是
約束信息量BI=TI-FI。
研究表明,m個觀控對象、按n個觀控指標進行規範化控制的比較收益優選序,與其自由信息量FI之優選序趨近一致;而且各觀控對象「愈自由,風險愈小」;約束信息量BI就是映射其風險的本徵性測度,即風險熵。

把信息描述為信息熵,是狀態量,其存在是絕對的;信息量是熵增,是過程量,是與信息傳播行為有關的量,其存在是相對的。在考慮到系統性、統計性的基礎上,認為:信息量是因具體信源和具體信宿範圍決定的,描述信息潛在可能流動價值的統計量。本說法符合熵增原理所要求的條件:一、「具體信源和信宿範圍」構成孤立系統,信息量是系統行為而不僅僅是信源或信宿的單獨行為。二、界定了信息量是統計量。此種表述還說明,信息量並不依賴具體的傳播行為而存在,是對「具體信源和具體信宿」的某信息潛在可能流動價值的評價,而不是針對已經實現了的信息流動的。由此,信息量實現了信息的度量。

上一篇[貞子]    下一篇 [弩力]

相關評論

同義詞:暫無同義詞