導(dǎo)語(yǔ)：信息論教學(xué)中數(shù)學(xué)內(nèi)容物理化分析一文來(lái)源于網(wǎng)友上傳，不代表本站觀點(diǎn)，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

香農(nóng)在1948年《通信的數(shù)學(xué)理論》，奠定了現(xiàn)代信息論的基礎(chǔ)，迄今已經(jīng)有70余年的歷史。在這70年中，通信技術(shù)經(jīng)歷了空前規(guī)模的大發(fā)展。turbo碼將通信信道的容量逼近了香農(nóng)理論的極限值，千兆光纖進(jìn)入千家萬(wàn)戶，5G網(wǎng)絡(luò)即將開(kāi)始鋪設(shè)等等，這被稱為人類歷史上的第三次工業(yè)技術(shù)革命，即計(jì)算機(jī)與信息技術(shù)革命。伴隨著信息技術(shù)的極大發(fā)展，信息論作為信息技術(shù)的理論基礎(chǔ)，不僅對(duì)很多技術(shù)的發(fā)展起到了指路明燈的作用，其本身也取得了相當(dāng)程度的發(fā)展。就在去年，華為的楊學(xué)志教授提出了新的衰落信道容量理論。又一次擴(kuò)展了信息論的內(nèi)容。作為現(xiàn)代通信行業(yè)的從業(yè)者，對(duì)信息論有一定程度的了解是必要的，也是重要的。信息論作為介紹香農(nóng)信息論的基礎(chǔ)理論課程是通信，計(jì)算機(jī)相關(guān)專業(yè)學(xué)生的必修課。然而信息論富含數(shù)學(xué)內(nèi)容，學(xué)生普遍反應(yīng)學(xué)習(xí)起來(lái)相對(duì)困難，其中一個(gè)重要困難之處就在于各式各樣數(shù)學(xué)推導(dǎo)與證明的理解。學(xué)生在復(fù)雜的公式中繞來(lái)繞去，卻忽略了理論的基本物理意義。那么這些數(shù)學(xué)內(nèi)容是否重要呢？在教學(xué)實(shí)踐中，我們?cè)?jīng)試圖忽略過(guò)這些數(shù)學(xué)證明和推導(dǎo)，然而缺乏了這些數(shù)學(xué)推導(dǎo)，學(xué)生反而更加不容易理解理論的物理意義，并且在學(xué)習(xí)中也覺(jué)得心里不踏實(shí)。通過(guò)這些經(jīng)驗(yàn)教訓(xùn)，我們認(rèn)為信息論的大部分?jǐn)?shù)學(xué)內(nèi)容需要進(jìn)行教學(xué)，但是必須要講究方式方法，不能枯燥干癟的羅列公式，而要把數(shù)學(xué)公式背后的物理意義講清楚。因此數(shù)學(xué)問(wèn)題物理化是我們對(duì)信息論教學(xué)的改革思路。我們將通過(guò)下面數(shù)個(gè)例子，來(lái)介紹我們的思路。

1.克勞夫特不等式

信息論中最重要的理論之一就是信源編碼理論，而無(wú)論定長(zhǎng)，還是變長(zhǎng)信源編碼定理都是從克勞夫特不等式推導(dǎo)得出的。(1)公式(1)即為克勞夫特不等式，其中m為編碼使用的進(jìn)制，i為待編碼信息的編號(hào)，Ki為第i個(gè)信息使用的碼長(zhǎng)。克勞夫特不等式成立，說(shuō)明該碼長(zhǎng)方案中存在即時(shí)碼，反之則不信息論教學(xué)中的數(shù)學(xué)內(nèi)容的物理化南京郵電大學(xué)通信與信息工程學(xué)院趙陽(yáng)趙生妹存在。那么克勞夫特不等式本身該如何理解呢？為什么這個(gè)不等式成立就存在即時(shí)碼了呢？學(xué)生在看到這個(gè)不等式時(shí)往往很難理解它與即時(shí)碼的關(guān)系。如果我們用大段的數(shù)學(xué)公式去證明這個(gè)問(wèn)題，不僅學(xué)生接受起來(lái)較為困難，也沖淡了該不等式本身物理意義的教學(xué)。然而我們可以通過(guò)數(shù)學(xué)與物理的結(jié)合簡(jiǎn)單的說(shuō)明這個(gè)問(wèn)題。我們知道即時(shí)碼等價(jià)于異前綴碼，與碼樹(shù)存在一一對(duì)應(yīng)的關(guān)系。因此在我們的教學(xué)中，我們是這樣講解克勞夫特不等式的。對(duì)于一個(gè)2進(jìn)制的碼樹(shù)，設(shè)其總的路徑數(shù)量為n。那么碼長(zhǎng)為1的碼字，將占據(jù)掉碼樹(shù)中1/2的路徑，即n/2的路徑。碼長(zhǎng)為Ki的碼字將占據(jù)掉的路徑。同理對(duì)于m進(jìn)制的碼樹(shù)，碼長(zhǎng)為Ki的碼字將占據(jù)掉的路徑。那么克勞夫特不等式的含義就非常清楚了，兩邊乘以n后，其左側(cè)求和就是該碼長(zhǎng)方案所需要的路徑之和，而右邊就是該碼長(zhǎng)方案下碼樹(shù)中最大路徑數(shù)量。滿足克勞夫特不等式說(shuō)明，碼樹(shù)可以提供編碼需要的路徑，自然可以完成一個(gè)即時(shí)碼。反之，克勞夫特不等式不滿足，則碼樹(shù)中沒(méi)有足夠的路徑使用，自然不可能寫出即時(shí)碼。這一說(shuō)明并不是嚴(yán)格的證明，我們?cè)谄渲袔缀鯖](méi)有用到任何數(shù)學(xué)工具，而是從基本概念出發(fā)，結(jié)合碼樹(shù)的物理形態(tài)，自然的得出了結(jié)論。它形象的說(shuō)明了克勞夫特不等式與碼樹(shù)，即時(shí)碼之間的關(guān)系。在我們教學(xué)實(shí)踐中，這種偏向物理的教學(xué)方法得到了學(xué)生的普遍認(rèn)同，有效的提高了學(xué)生對(duì)克勞夫特不等式，信源編碼定理的理解。

2.最大離散熵定理

信息論中另一個(gè)重要的結(jié)論是最大離散熵定理。它指出在一個(gè)離散信源中，當(dāng)各信源信息的概率相等時(shí)，該信源具有最大的信源熵。同樣該定理的嚴(yán)格證明相當(dāng)復(fù)雜。然而我們可以通過(guò)物理意義和數(shù)學(xué)說(shuō)明兩個(gè)方面來(lái)幫助學(xué)生理解該定理。首先我們從物理意義上解釋該定理。信源熵是信源不確定度的體現(xiàn)，當(dāng)一個(gè)信源概率分布不均勻時(shí)，我們對(duì)信源可能產(chǎn)生的信息就有一定判斷，概率較大的那些信息出現(xiàn)的可能性比較大。而當(dāng)信源各信息概率相等時(shí)，我們對(duì)信源下一個(gè)產(chǎn)生的信息就沒(méi)有任何有價(jià)值的判斷，對(duì)應(yīng)于不確定度最大。因此，此時(shí)信源具有最大的信源熵。至此，我們已經(jīng)完成了物理上的分析。然而，如果我們就此打住，不再進(jìn)行數(shù)學(xué)上的分析的話，學(xué)生的反饋是雖然基本理解了定理的含義，但是感覺(jué)很虛，不踏實(shí)。因此，一定程度的數(shù)學(xué)講解也是有必要的。我們知道信源熵是關(guān)于信源概率分布的上凸函數(shù)。那么必然有：(2)其中H是信源熵，是信源中的兩個(gè)概率，，因此有：(3)即我們把信源任意兩個(gè)信息的概率平均化后，所得的信源熵一定比原來(lái)大。那么我們只要對(duì)信源所有的概率進(jìn)行兩兩平均化，最后一定能使得所有概率相等，此時(shí)的信源熵最大，這樣我們就非常簡(jiǎn)單的得出了最大離散熵定理。在這一問(wèn)題中，我們依然避開(kāi)了復(fù)雜的嚴(yán)格證明，轉(zhuǎn)而通過(guò)內(nèi)在的物理含義與簡(jiǎn)單的數(shù)學(xué)討論，將最大離散熵定理講的十分清楚，獲得了相當(dāng)積極的教學(xué)反饋。

3.討論

在以上兩個(gè)例子中，我們較為詳細(xì)的介紹了我們目前采用的教學(xué)思路，該思路舍棄了嚴(yán)格而復(fù)雜的數(shù)學(xué)推導(dǎo)，轉(zhuǎn)而尋求形象易懂的物理解釋，但又盡可能巧妙的進(jìn)行了數(shù)學(xué)上的簡(jiǎn)單分析。一方面使得學(xué)生的精力集中在理論中的物理內(nèi)容，增加了學(xué)生對(duì)理論的直觀感受。另一方面也讓學(xué)生大致理解了這些理論的數(shù)學(xué)背景，提升了對(duì)理論的理解深度。4.結(jié)論與展望本文通過(guò)兩個(gè)重要的定理的講解，介紹了我們?cè)谛畔⒄摻虒W(xué)上物理數(shù)學(xué)相結(jié)合，數(shù)學(xué)內(nèi)容物理化的教學(xué)改革思路。該思路以物理為核心，盡可能的避免冗長(zhǎng)的數(shù)學(xué)推導(dǎo)，但又不放棄小巧的數(shù)學(xué)說(shuō)明，引導(dǎo)學(xué)生對(duì)相對(duì)枯燥的香農(nóng)信息論產(chǎn)生學(xué)習(xí)興趣，加深理解。并在教學(xué)實(shí)踐中取得了相對(duì)較好的教學(xué)效果，我們認(rèn)為這種教學(xué)方式值得推廣。目前，在信息論課程中部分內(nèi)容上，我們已經(jīng)完成了相應(yīng)的教學(xué)改革，然而仍有很大部分教學(xué)內(nèi)容未能尋找到合適的方式進(jìn)行講授，這也是我們進(jìn)一步工作的目標(biāo)。

作者:趙陽(yáng) 趙生妹 單位:南京郵電大學(xué)通信與信息工程學(xué)院