導語：如何才能寫好一篇神經網絡學習方法，這就需要搜集整理更多的資料和文獻，歡迎閱讀由公務員之家整理的十篇范文，供你借鑒。

篇1

Columbia, Canada

Machine Learning Methods

in the Environmental

Sciences

2009, 349pp.

Hardcover

ISBN: 9780521791922

William W. Hsieh著

機器學習是計算機智能(也叫人工智能)的一個主要的子領域。它的主要目標就是利用計算的方法從數據中提取信息。神經網絡方法,一般被認為是機器學習研究中的第一次突破,它自上世紀80年代以來開始流行,而核方法是在上世紀90年代后半期作為機器學習研究的第二波而到來的。本書對于機器學習方法和它在環境科學中的應用給出了統一的處理。

機器學習方法進入環境科學是在上世紀90年代。已經大量地應用于衛星數據的處理、大氣環流模型、天氣和氣象預報、空氣質量預報、環境數據的分析和建模、海洋和水文預報、生態建模、以及雪災冰川和森林監測等領域。

書中第1-3章主要是為學生們而寫的背景性資料,包括在環境科學中應用的標準統計方法。1.主要介紹了概率分布的基本意義、隨機變量的平均值與方差、分析兩變量關系的相關與回歸分析方法等基本統計概念;2.回顧了主成份分析的方法和它的一些變化,以及經典相關分析方法;3.引入了基于時間序列數據的分析方法,如奇異譜分析(SSA)、主振蕩型分析(POP)等。

第4-12章為那些標準的線性統計方法提供了有力的非線性轉化。4.關于前饋神經網絡模型及其最普遍的代表――多層感知哭模型(MLP模型),介紹了MLP模型的一些歷史發展知識;5.為MLP神經網絡模型所需要的非線性優化的內容;6.探索了幾種能夠使神經網絡模型正確的學習并泛化的方法;7.是關于核方法內容。主要討論了核方法的數據基礎、主要思想以及它的一些缺點,并介紹了從神經網絡到核方法的過渡;8.介紹了處理離散型數據的方法――非線性分類;9.介紹了兩種核方法(支撐微量回歸、SVR 和高斯過程、GP)和一種樹方法(分類和回歸樹方法CART);10.關于非線性主成份分析的方法及相關的一些研究方法;11.系統地闡述了MLP和非線性經典相關分析(NLCCA)方法,并以熱帶太平洋氣候變異性數據及它同中緯度氣候變異的相關性為例加以說明;12.給出了大量機器學習方法在環境科學眾多研究領域中的應用實例如遙感、海洋學、大氣科學、水文學及生態學等。

作者William W. Hsieh是英屬哥倫比亞大學地球與海洋科學系及物理與天文學系的教授,主持大氣科學項目。作者在環境科學中發展和應用機器學習方法中所做的先驅性工作在國際上享有很高的知名度。已在天氣變化、機器學習、海洋學、大氣科學和水文學等領域80多篇。

本書主要適用于研究生初期階段或者高年級的本科生,而且對于那些致力于在各自的研究領域應用這些新方法的研究者和參與者們也是十分有價值的。

朱立峰,

博士后

(中國科學院動物學研究所)

篇2

關鍵詞：物聯網；LS-SVM；數據模型

中圖分類號：TP393

文獻標識碼：A

文章編號：1009-3044（2017）10-0145-02

1.引言

前神經網絡（feedforwardneuralnetwork），簡稱前饋網絡，是人工神經網絡的一種。

2.概念相關概述

2.1前饋人工神經網絡現實基礎模型

首先，生物神經元模型。人的大腦中有眾多神經元，而神經元之間需要神經突觸連接，進而構成了復雜有序的神經網絡。而神經元主要由樹突、軸突和細胞體組成。一個神經元有一個細胞體和軸突，但是卻有很多樹突。樹突是神經元的輸入端，用于接受信息，并向細胞體財團對信息。而細胞體是神經元的信息處理中心，能夠對信號進行處理。軸突相當于信息輸出端口，負責向下一個神經元傳遞信息；其次，人工神經元。人工神經元的信息處理能力十分有限，但是，由眾多人工神經元構成的神經網絡系統龐大，具有巨大的潛力，能夠解決復雜問題。人工神經網絡與生物神經網絡具有相似之處，人工神經網絡能夠從環境中獲取知識，并存儲信息。前饋人工神經網絡主要包括隱含層、輸入層和輸出層。在前饋人工神經網絡中，神經元將信號進行非線性轉換之后，將信號傳遞給下一層，信息傳播是單向的。并且，前饋人工神經網絡是人們應用最多的網絡模型，常見的有BP神經網絡、單層感知器、RBF神經網絡等模型。

2.2 LS-SVM相關概述

支撐向量機是一種基于統計學習理論的機器學習方法，能夠根據樣本信息進行非現象映射，解回歸問題的高度非現象問題。并且，支撐向量機在解決非線性、局部極小點方問題上有很大的優勢。LS-SVM也叫最小二乘支撐向量機，是支撐向量機的一種，遵循支撐向量機算法的結構風險最小化的原則，能夠將支撐向量機算法中的不等式約束改為等式約束，進而將二次問題轉換為線性方程問題，大大降低了計算的復雜性。并且，LS-SVM在運算速度上遠遠高于支持向量機。但是，LS-SVM也存在一定的缺點，在計算的過程中，LS-SVM的忽視了全局最優，只能實現局部最優。并且，LS-SVM在處理噪聲污染嚴重的樣本時，會將所有的干擾信息都擬合到模型系統中，導致模型的魯棒性降低。另外，LS-SVM的在線建模算法、特征提取方法以及LS-SVM的支持向量稀疏性都有待改進。

2.3物聯網下人工神經網絡前饋LS-SVM研究的意義

物聯網是互聯網技術的發展趨勢，為前饋人工神經網絡的發展與LS-SVM研究提供了技術保障，在物聯網背景下，研究人工神經網絡前饋LS-SVM不僅能夠創新人工神經網絡的計算方法，完善人工神經網絡在現實生活中的應用，而且對人們生活的自動化和智能化發展有著重要意義。另外，物聯網為人們對LS-SVM的研究提供了條件，在物聯網環境下，人們能夠運用信息技術深化最小二乘支撐向量機研究，不斷提高LS-SVM回歸模型的魯棒性，改進LS-SVM的特征提取方法和在線建模算法，完善計算機學習方法，提升計算機的運算速度。3基于LS―SVM的丟包數據模型

在選擇的參數的基礎上，運用IS-SVM方法，建立評估模型。本文選用LS-SVM回歸方法的原因，SVM優于神經網絡的方法主要是以下幾點：

首先，了解數據挖掘，數據挖掘前景廣闊，SVM是數據挖掘中的新方法。其次，選擇合適的數據分析方法根據數據集的大小和特征。小樣本訓練適合SVM，樣本大情況的訓練適宜神經網絡，這里用SVM。

然后，就是文獻使用SVM和PCA建立跨層的評估QOE，實驗結果表明主觀MOS評分和此評價結果具有很好的一致性。

最后，本文采用SVM基礎上的進一步拔高，LS-SVM，比SVM運行快，精確度高。srcl3_hrcl_525.yuv實驗素材的特征是具有高清性質。525序列60HZ，幀大小為1440x486字節/幀，625序列50HZ，大小同上。YUV格式是422格式即4：2：2格式的。

時域復雜度的模型如下，視頻的時域復雜度σ；編碼量化參數是Q；編碼速率為R；待定模型的參數為a和b。σ=Q（aR+b）。通過大量的實驗和理論分析，得到模型的參數：a=l 260，b=0.003。其中，編碼速率和幀率可以看作是視頻的固有屬性。高清視頻編碼速率R是512kb/s，最大幀速率為30000/1001=29.97幅，秒。量化參數是根據實驗的具體情況確定的。計算σ的值如下所示：當量化參數為31時，σ=19998720.1，當量化參數為10時，σ=6451200.03，當量化參數為5時，σ=3225600.02，當量化參數為62時，σ=39997440.2，當量化參數為100時，σ=64512000.3，當量化參數為200時，σ=129024001，當量化參數為255時，σ=164505601。

對于srcl3網絡環境建立考慮網絡丟包的視頻質量無參評估模型使用LS-SVM方法。

（1）輸入x的值。XI是量化參數，X2封包遺失率，X3單工鏈路速度，X4雙工鏈路速度，X5視頻的時域復雜度。等權的參數。

LS-SVM要求調用的參數只有兩個gam和sig2并且他們是LS-SVM的參數，其中決定適應誤差的最小化和平滑程度的正則化參數是gam，RBF函數的參數是sig2。Type有兩種類型，一種是elassfieation用于分類的，一種是function estimation用于函數回歸的。

4.機器學習和物聯網的結合

物聯網中也用到人工智能，人工智能中有機器學習，機器學習中有神經網絡。機器學習是人工智能研究的核心問題之一，也是當前人工智能研究的一個熱門方向。

篇3

關鍵詞：神經網絡 計算機安全 入侵檢測

中圖分類號：TP393.08 文獻標識碼：A 文章編號：1674-098X（2012）12（c）-00-01

自從1960年Widrow等提出自適應線形神經元用于信號處理中的自適應濾波、預測和模型識別以來，神經網絡技術便被用來解決現實生活中的問題。而在McCulloch等基于模仿人腦結構和功能建立起一種人工智能的信息處理系統后，人工神經網絡在土木工程、農業、經濟管理及企業管理等不同領域中被廣泛應用[1-2]。該文介紹了神經網絡的概念及特點，并分析神經網絡在計算機安全尤其是在網絡入侵檢測中的應用。

1 神經網絡的概念及特點

1.1 神經網絡的概念

神經網絡是一個并行、分布處理結構，是由神經元及稱為聯接的無向訊號通道互連而成。人工神經網絡（Artificial Neural Network，ANN）指的則是模仿生理神經網絡的結構和功能而設計的一種信息處理系統，即由多個非常簡單的處理單元彼此按某種方式相互連接而形成的信息處理網絡[3]。

1.2 神經網絡的特點

在人工神經網絡中，由于網絡中的每一個單元都是獨立的信息處理單元，因此其計算可獨立進行，而整個網絡系統卻是并行計算的。這不同于傳統的計算機的串行運算。由于神經網絡是一個大規模互聯的復雜網絡系統，因而是大規模的并行處理，這在一定程度上提高了系統的處理速度，同時也為實時處理提供了重要條件。人工神經網絡與人腦類似，具有學習的功能。通常只要給出所需的數據、實例，由網絡去學習，而學習獲得的知識都分布儲存在整個網絡的用權系數表示的連接線上。不同網絡因學習方法及內容不同，可得到不同的功能和不同的應用。因而有可能解決傳統人工智能目前最感困難的機器學習中知識獲取、知識表示等問題。此外神經網絡還對于輸入數據的失真具有相當的彈性。

1.3 常用的神經網絡算法

常用的神經網絡算法包括ARTMAP模型、ART模型、概率模型PNN、模糊模型ART、模糊多層感知器、Kohonen特征映射網絡、反饋多層感知器模型等[4-5]。其中，ART模型和Kohonen特征映射網絡、模糊模型ART屬于無監督訓練算法，而反饋多層感知器模型是受限反饋，ARTMAP模型、ART模型屬于反饋的網絡拓撲

結構。

2 神經網絡在網絡入侵檢測中的應用

2.1 神經網絡應用于網絡入侵檢測的優勢

由于神經網絡對于數據訓練獲得預測能力的過程是通過完全抽象計算實現的，而不強調對于數據分布的假設前提，因此在建立神經網絡模型過程中沒有必要向神經網絡解釋知識的具體細節。同時，神經網絡在網絡入侵檢測中，可以通過數據運算而形成異常的判別值，這樣可以對于當前是否受到攻擊行為影響做出判斷，從而實現對檢測對象是否存在異常情況的檢測[6-8]。

2.2 神經網絡在網絡入侵檢測中的應用

神經網絡在網絡安全尤其是入侵檢測方面已有了相當的研究[9]。有研究者將組織聚類神經網絡應用于計算機安全研究中，其采用了自適應諧振學習法進行數據的前期訓練，對于無顯著意義的平均誤差減少時，采用遺傳算法繼續在前期基礎上進行數據數據以得到最佳的權值。國內也在神經網絡應用于網絡入侵檢測上做了大量工作。王勇等研究者在參考MIT Lincoln有關網絡入侵檢測方法基礎上，提出了基于Linux主機的網絡入侵檢測方案，實現了對于多種網絡攻擊的特征進行抽取及檢測的目的[10]。

神經網絡在網絡入侵檢測中有廣泛的應用空間[11-12]，今后應該擴大訓練數據的數量和范圍，并擴大操作系統的研究空間，通過模擬真實的計算機網絡環境，將神經網絡技術真正應用于計算機安全尤其是入侵檢測工作中。

參考文獻

[1] 李季，蒲彪.人工神經網絡在食品微生物發酵中的應用[J].食品研究與開發，2009，30（4）：171-174.

[2] 李聰超，周鐵軍.人工神經網絡在農業中的應用[J].農業網絡信息，2008（1）：35-38.

[3] 李麗霞，張敏，郜艷暉，等.人工神經網絡在醫學研究中的應用[J].數理醫藥學雜志，2009，22（1）：80-82.

[4] 高雋.人工神經網絡原理及仿真實例[M].北京：機械工業出版社，2003：44-73.

[5] 楊行峻，鄭君里.人工神經網絡與盲信號處理[M].北京：清華大學出版社，2003：23-105.

[6] 程麗麗.基于模糊神經網絡的入侵檢測設計模型[D].哈爾濱：哈爾濱理工大學，2005.

[7] 周開利，康耀紅.神經網絡模型及其MATLAB仿真程序設計[M].北京：清華大學出版社，2005.

[8] 李家春，李之堂.神經模糊入侵檢測系統的研究[J].計算機工程與應用，2001，23（17）：37-39，

[9] 王勇，楊輝華.一種基于進化神經網絡的入侵檢測實驗系統[J].華東理工大學學報（自然科學版），2005（6）：362-366

[10] 喬瑞.基于優化自組織聚類神經網絡的入侵檢測方法研究[J].計算機與現代化，2005（1）：77-79.

篇4

（四川信息職業技術學院，四川廣元628017）

摘要：考慮到傳統BP神經網絡在進行P2P流量識別時，具有系統識別速度慢、精度低，神經網絡自身容易陷入局部最小值等問題，使用遺傳算法對BP神經網絡進行優化。遺傳算法具有較強的自適應性和魯棒性，因此使用遺傳算法對BP神經網絡的權值和閾值進行優化處理，能夠有效提高神經網絡的性能。建立基于遺傳神經網絡的識別系統，采集處理大量樣本數據，對識別系統進行訓練和測試。研究結果表明，基于遺傳神經網絡的P2P流量識別系統具有識別精度高、識別速度快等優點，相比傳統BP神經網絡，其識別性能有明顯提高。

關鍵詞 ：遺傳算法；P2P；流量識別；BP神經網絡

中圖分類號：TN711?34；TP393 文獻標識碼：A 文章編號：1004?373X（2015）17?0117?04

隨著計算機科學技術的不斷發展與進步，P2P技術已經廣泛應用于網絡視頻音頻多媒體播放、網絡文件共享以及數據傳輸等領域，P2P技術不斷吸引了越來越多的網絡用戶、網絡應用服務開發者以及提供商的目光，各種各樣的基于P2P技術的網絡應用和服務不斷涌現，為人們在網絡中提供了便利。然而，隨著人們享受著P2P技術帶來的各種便利的同時，P2P技術的各種負面效應也隨之而來。目前P2P應用存在對網絡流量消耗巨大，監管難度大，以及易于網絡病毒傳播，為網絡帶來安全隱患等問題。因此，對P2P流量的精確識別和監測成為了對P2P技術研究的重中之重[1?5]。

1 P2P 流量識別技術

1.1 典型P2P流量識別技術

典型的P2P流量識別技術主要有：基于端口的識別技術、基于深層數據包的識別技術以及基于流量變化特征的識別技術。

基于端口的識別技術是一種應用最早的識別技術，其主要根據早期P2P應用的固定端口進行識別，具有算法簡便，易于實現等優點，但是對于現如今復雜的網絡環境，此種技術已經不再適用[6?7]。

基于深層數據包的識別技術往往因為存在識別滯后、隱私保護以及算法復雜等缺點而得不到廣泛普及應用。

基于流量變化特征的識別技術通過對P2P流量數據進行采集，通過處理數據得到數據流的統計特征，使用統計特征作為機器學習的訓練樣本，得到經過訓練的識別系統。此識別技術具有算法簡便、效率高等優點[8?9]。

1.2 基于神經網絡的P2P流量識別技術

BP 神經網絡是一種有督導的智能機器學習算法，已經在機械、計算機、通信等領域得到了廣泛應用，其技術發展已經相對成熟。將BP神經網絡用于對P2P流量的識別是一種可行有效的識別技術和手段。

然而將BP神經網絡算法用于P2P流量識別雖然克服了傳統識別方法存在的諸多問題，但是由于算法自身特性也隨之帶來了新的問題。

BP神經網絡實際上是梯度下降算法的一種迭代學習方法。由于梯度下降算法要求具有較小的學習速度時才能進行穩定的學習，因此其收斂速度較慢。并且，由于BP神經網絡在進行訓練時，會在某點沿著誤差斜面而漸進誤差極值，不同的起點會得到不同的誤差極值和不同的解。因此傳統BP神經網絡具有學習速度慢、抗干擾能力弱以及容易陷入局部最小值等缺點[10?11]。

2 BP 神經網絡和遺傳神經網絡

2.1 BP神經網絡

BP神經網絡結構如圖1所示。通常由輸入層、輸出層和隱含層組成。

4 結論

本文對P2P 流量識別技術進行了深入研究。P2P技術在網絡中已經得到了廣泛應用，其流量在網絡總流量中占有重要地位，因此對其流量進行實時監測識別具有重要意義。本文對P2P流量識別技術進行了分析，對使用比較廣泛的BP神經網絡模型進行了深入研究，并針對其缺點，使用遺傳算法進行優化，建立基于遺傳神經網絡的P2P流量識別模型。通過實驗采集大量網絡訓練樣本和測試樣本，對建立的識別系統進行測試。測試結果表明，基于遺傳算法的神經網絡的識別速度和識別精度要高于BP神經網絡，具有較高的工程應用價值。

參考文獻

[1] 譚紅春，楊松濤，闞紅星.校園網P2P 流量綜合檢測技術研究[J].長沙大學學報，2015（2）：70?72.

[2] 劉興光.一種混合式BT流量實時檢測方法[J].網絡安全技術與應用，2014（3）：53?55.

[3] 湯偉.基于數據流特征向量識別的P2P 僵尸網絡檢測方法研究[D].青島：中國海洋大學，2014.

[4] 席鵬.基于距離判決算法的P2P流量識別模型研究[D].昆明：云南大學，2013.

[5] 鄧力為.基于遺傳神經網絡的P2P流量檢測研究[D].成都：電子科技大學，2013.

[6] 張龍璨.基于粒子群優化半監督學習的網絡流量分類方法研究[D].武漢：華中科技大學，2013.

[7] 張瀚.基于DPI技術的P2P流量檢測系統設計[D].北京：北京郵電大學，2013.

[8] 馬容生.基于自適應神經網絡的P2P流量檢測研究[J].通信技術，2012（6）：113?116.

[9] 張瀚，朱洪亮，辛陽.基于DPI 技術的P2P 流量檢測系統設計[J].信息網絡安全，2012（10）：36?40.

[10] 張小敏.基于DPI的P2P流量識別方法研究[D].南京：南京郵電大學，2012.

[11] 周雪蓮.P2P流量應用層實時檢測技術研究[D].長春：吉林大學，2012.

[12] 賀毅朝，宋建民，張敬敏，等.利用遺傳算法求解靜態與動態背包問題的研究[J].計算機應用研究，2015（4）：1011?1015.

[13] 王曉瑜，原思聰，李曼.基于自適應蟻群遺傳混合算法的PID參數優化[J].計算機應用研究，2015（5）：1376?1378.

[14] 劉奕君，趙強，郝文利.基于遺傳算法優化BP 神經網絡的瓦斯濃度預測研究[J].礦業安全與環保，2015，42（2）：56?60.

[15] 吳連平，楊曉翔.基于神經網絡與遺傳算法的關節軸承擠壓模具優化[J].中國機械工程，2015，26（10）：1351?1355.

[16] 李麟青，楊哲，朱艷琴.一種混合式BitTorrent流量檢測方法[J].計算機應用，2011，31（12）：3210?3214.

篇5

關鍵詞： 灰色系統模型，神經網絡，電信業務預測

中圖分類號：TN92 文獻標識碼：B

1 引言

電信業務預測是通信網絡分階段建設規劃的前提條件，同時也是規劃期內電信業務量和投資預估的必要條件之一。預測方法的選擇直接關系到預測結果的精確程度。傳統的預測方法很多，如趨勢外推法，成長曲線法等，但這些預測方法預測結果均為平滑的曲線，無法直觀描述出電信業務隨季節及其他外部環境引起的波動。因此，神經網絡法便給傳統預測方法進行了很好的補充。近年來神經網絡算法逐漸得到預測科學工作者的重視，已經在預測領域中得到了廣泛的應用，神經網絡預測法是一種由多個神經元以某種規則連接而形成的層次網絡結構，其基本原理是這些神經元之間“相互協作”，它有許多優點，對環境因素引起的波動性具有良好的適應性；對非線性輸入輸出關系的學習更具有優越性，其描述問題的能力很強。但是傳統的神經網絡算法（如BP神經網絡）是一種基于誤差函數梯度下降的學習方法，學習過程收斂速度較慢；其次，有些神經網絡訓練開始時初始權值是隨機給定的，這對網絡的訓練效果也會有極大影響，甚至導致網絡陷入局部最小點。

灰色系統理論是一種研究少數據，貧信息、不確定性問題的新方法，它以部分信息已知、部分信息未知的“小樣本”、“貧信息”不確定系統為研究對象，通過對“部分”已知信息的生成、開發，提取有價值的信息，實現對系統運行行為、演化規律的正確描述和有效監控。

2 灰色神經網絡模型結構及算法

3 數據來源及實證結果

對于移動通信運營商來說，VLR用戶數（拜訪位置寄存器）隨節假日的波動很大，尤其是人口輸入/輸出城市，節假日大量外來人口的返鄉/外出，會給當地運營商的核心網及無線載頻處理能力帶來較大的考驗，因此，合理準確的預測出該地市未來VLR用戶數可以很大程度上幫助運營商為用戶數的變化做好系統的擴容準備工作。對于某個運營商的VLR用戶數，影響其變化的因素很多，比如節假日，季節性因素，人均通信消費指數，當地的移動電話普及率，該運營商收費用戶數、品牌影響力，終端價格，競爭對手、市場特征等，本人根據各因素對VLR用戶數影響程度的大小，從中選取了該運營商收費用戶數、節假日、當地移動電話普及率、品牌影響力、競爭對手5個最重要的因素來預測某地市移動運營商的VLR用戶數。

該論文中，本人選取該地市的過去3年（36個月）的VLR用戶數進行驗證，首先取前30個月的數據作為訓練樣本，通過灰色神經網絡學習100次后預測最后6個月的數據與實際VLR用戶數做比較，如圖4所示。

從上圖可以看出，灰色系統模型預測結果與實際值相比，誤差在10%以內，并很好的反應了VLR用戶的波動性，因此可以說明灰色系統模型比較適合小樣本預測問題，在實際預測中，若與傳統預測方法相結合，并合理加權，預測準確度將更高。

4 結束語

本文為其他神經網絡模型所存在易于陷入局部最優解等缺陷而提出了基于灰色基礎模型的神經網絡算法，并利用所設計的灰色系統模型神經網絡算法，選擇我國某地市的移動公司VLR用戶數作為數據樣本，對該公司的VLR用戶數進行預測，并對比其他神經網絡模型，實證結果表明，灰色系統模型神經網絡算法，相對其他神經網絡而言，其預測效率和準確率大大得到提高，在電信業務預測方面具有較好的應用前景。

參考文獻：

[1]WANG Q， STOCKTON D J， BAGULEY P. Using neural networks in cost model development process [C].Proc of the 16th National Conf on Manufacturing Research， UK：Professional Engineering， 2000

[2]SMITH A E， MASON A K. Cost estimation predictive modeling： regression versus neural [J].Engineering Economist， 1997

[3]何 芳 陳 收：基于擴展卡爾曼濾波的神經網絡學習算法在股票預測中的應用[J].系統工程，2003

[4]史峰：MATLAB 神經網絡30個案例分析，北京航空航天大學出版社，2010.4

[5]Jatomder N D. Gupta， Sexton R S. Comparing back-propagation with a genetic algorithm for neural network training[J].Omega，1999，

篇6

關鍵詞：粒子群 徑向基 神經網絡 語音識別

中圖分類號：TP391 文獻標識碼：A 文章編號：1007-9416（2013）04-0109-02

近年來，語音識別作為一種便捷的人機交互方式被大量研究，并在日常生活中得到廣泛應用。大體上講，語音識別就是在給定的語料庫中找出與待識別詞語相同的語料，其識別方法的選擇對識別效果至關重要。語音識別的方法主要有3種：基于語音特征和聲道模型的方法、模板匹配的方法和人工神經網絡[1]。第1種方法出現較早，但由于其模型過于復雜，并未得到實際應用。第2種方法較為成熟，主要通過動態時間規整（DTW）、隱馬爾可夫模型（HMM）和矢量量化（VQ）技術實現[2]。第3種方法充分利用人工神經網絡較強的分類能力和輸入——輸出映射能力，非常適合解決語音識別這類難以用算法描述而又有大量樣本可供學習的問題[3]。

因此，本文將智能領域廣泛使用的RBF神經網絡運用到語音識別中，針對RBF神經網絡隱層基函數的中心值和寬度隨機確定的缺陷，運用具有全局尋優能力的粒子群算法（PSO）進行優化，來提高網絡的泛化能力和收斂速度，從而提高識別率。實驗結果表明，粒子群優化的RBF神經網絡用于語音識別，能夠顯著提升識別性能。

1 粒子群優化RBF神經網絡

1.1 RBF神經網絡

1.2 粒子群優化RBF網絡算法

因此，RBF神經網絡隱層基函數中心值和寬度的優化過程就是PSO算法依據輸入樣本進行聚類的過程，其基本流程為：

（1）參數初始化，包括粒子速度、位置，個體最優位置和全局最優位置；

（2）據（5）式計算慣性權重；

（3）據（3）（4）式更新粒子的速度和位置；

（4）據（6）式計算各粒子適應度值，并更新個體最優位置和全局最優位置；

（5）用全局最優粒子代替本次迭代適應度差的粒子；

（6）反復迭代，直到最大迭代次數則停止，得聚類中心。

2 PSO優化RBF語音識別系統

語音識別過程主要包括信號預處理、特征提取、網絡訓練及識別[6]。預處理主要對語音進行分幀、預加重和加窗處理。特征提取用于提取語音中反映聲學特征的相關參數，本文采用的是過零峰值幅度（ZCPA）。網絡訓練是在識別之前從語音樣本中去除冗余信息，提取關鍵參數，再按照一定規則對數據加以聚類，形成模式庫。網絡識別是通過已訓練好的網絡，計算測試樣本數據與模式庫之間的相似度，判斷出輸入語音所屬的類別。粒子群優化RBF神經網絡的語音識別系統原理框圖如圖1所示。

PSO優化RBF神經網絡進行語音識別的實驗步驟如下：

第1步：提取特征。

首先對用于訓練和識別的各種信噪比的語音文件進行ZCPA特征提取。語音信號的采樣頻率為11.025kHz，每幀為256個采樣點，經過時間和幅度歸一化處理后，得到256維特征矢量序列。

第2步：網絡訓練。

網絡訓練的過程就是調整RBF神經網絡基函數的中心和寬度以及隱層到輸出層之間的連接權值。實驗中，類別數為待識別的詞匯數，如對10個詞進行識別，則隱層節點數、輸出層節點數和聚類中心均為10，如對20個詞進行識別，則隱層節點數、輸出層節點數和聚類中心均為20，以此類推，本文對10詞、20詞、30詞和40詞分別進行訓練識別。利用PSO優化算法通過聚類獲取隱層基函數的中心值和寬度，網絡輸出權值使用偽逆法得到。在PSO算法中，種群大小為20，最大進化迭代次數為40。

第3步：網絡識別。

RBF神經網絡訓練好后，將測試集中的樣本輸入網絡進行識別測試。每輸入一個單詞的特征矢量，經過隱層、輸出層的計算后可得一個單詞分類號，將這個分類號與輸入詞自帶的分類號進行對比，相等則認為識別正確，反之，識別錯誤。最后將識別正確的個數與所有待識別單詞數的比值作為最終的識別率。

3 實驗仿真分析

本文運用matlab在PC機上仿真實現了PSO優化RBF神經網絡的孤立詞語音識別系統，選用在不同高斯白噪聲條件下（包含15dB、20dB、25dB和無噪聲），18個人分別錄制40詞各三次，形成實驗語音數據，實驗時選其中10人的10詞、20詞、30詞、40詞語音數據分別作為訓練樣本，另外8個人對應的10詞、20詞、30詞、40詞語音數據分別作為測試樣本進行實驗，得到了不同噪聲和詞匯量下的粒子群優化RBF神經網絡的語音識別結果。

表1所示為在不同詞匯量和不同SNR下，分別基于PSO優化RBF神經網絡和標準RBF神經網絡采用ZCPA語音特征參數的語音識別結果。由表中識別率的變化可知，基于PSO優化的RBF神經網絡的識別率在不同詞匯量和不同信噪比下都比標準RBF神經網絡的高，正確識別出的詞匯量明顯增多，這充分證明改進后的RBF神經網絡具有自適應性和強大的分類能力，縮短網絡訓練時間的同時，提高了系統的識別性能，尤其在大詞匯量的語音識別中表現出更加明顯的優勢。

4 結語

本文采用粒子群優化算法來聚類RBF神經網絡隱層基函數中心值和寬度，并將PSO改進的RBF神經網絡用于語音識別中。通過仿真實驗，得出了其與標準RBF神經網絡在不同詞匯量和不同SNR下的語音識別結果。通過分析比較，證明了PSO優化后的RBF神經網絡有較高的識別率，且訓練時間明顯縮短，表明神經網絡方法非常適宜求解語音識別這類模式分類問題。

參考文獻

[1]Edmondo Trentin， Marco Gori. A survey of hybrid ANN/HMM models for automatic speech recognition[J].Neurocomputing，2001，（37）：91-126.

[2]王凱.免疫粒子群改進LBG的孤立詞語音識別算法研究[J].數字技術與應用，2013，（1）：111-113.

[3]夏妍妍，黃健，尹麗華.基于徑向基函數神經網絡的語音識別[J].大連海事大學學報，2007，（S1）：157-159.

[4]孟艷，潘宏俠.PSO聚類和梯度算法結合的RBF神經網絡優化[J].自動化儀表，2011，（02）：6-8.

篇7

關鍵詞：模糊神經網絡；PID；控制系統；非線性

中圖分類號：TP183 文獻標識碼：A文章編號：1007-9599 (2011) 20-0000-02

Design of Control System Based on FNN PID

Duan Zhengjun1,Zhao Ran1,Tian Wenxue2

(1.TISCO Stainless Steel Pipe company,Taiyuan030000,China;2. China Chemical Engineering Second Construction Corporation,Taiyuan030000,China)

Abstract:At present,many of intelligent algorithm apply to the non-linear control system,it is intelligent control systems,for example,neural network,fuzzy control.According to the neural networks and fuzzy control in this article,introduced design principles and implementation based on neural nerwork and PID algorithm.

Keywords:Fuzzy neural network;PID;Control System;Nonlinear

一、引言

模糊神經網絡（FNN）是模糊邏輯控制和神經網絡兩者結合的產物。模糊邏輯控制和神經網絡兩者單獨使用時候，都會有一定的缺陷。模糊邏輯在一定的論域上面有很好的收斂性，在進行模糊量的運算上有優勢；而神經網絡具有強的自學習、自適應、并行運算和精確計算的能力。因此，兩者結合可以優勢互補，從而很大提高綜合能力。FNN-PID是將模糊神經網絡融進PID算法中，實現二者結合。FNN-PID算法具有PID控制器優點、模糊控制的良好收斂性和對模糊量的運算優勢，也有神經網絡自學習、自適應的特性。

二、FNN系統結構

FNN具有很多種結構和算法，對于不同的控制對象，在綜合考慮運算速度和精度的情況下，可以使模糊神經網絡結構有所不同。本文模糊神經網絡采用如圖1的結構，兩個輸入變量是有 、 ，為誤差E與誤差變化量EC。輸出變量為Y，為PID三要素中的一個。根據專家經驗知識把每個輸入因子分為（NM，NS，ZO，PS，PM）五個模糊狀態記為T[ ]。

圖1.模糊神經網絡的結構

第一層至第三層是實現模糊控制規則，第四層去除模糊化并實現輸出實際控制對象的值，每層的作用如下：

第一層為輸入層，該層的節點直接與輸入層相連，起著將輸入向量X傳送到下一層的作用，其節點個數等于輸入變量個數。輸入輸出關系可表示為：

， i=1，2（1）

第二層為隸屬函數層，其作用是計算輸入量屬于各語言變量值模糊集合的隸屬函數值，節點個數 ，每個節點代表一個模糊集合，可表示為：

， j=1，2，3（2）

式中j―― 的模糊分割數， 、 ――高斯函數中第j個輸入對第i個結點的中心和寬度。

第三層為模糊規則層，每個節點代表一條模糊規則。采用IF-THEN模糊規則，可表示為：

：If is and is and…is THEN Yis（3）

式中，1≤n≤2，1≤i≤3： （4）

第四層為輸出層： （5）

三、FNN的學習算法及步驟

在學習方法上，我們選擇在線學習，在線學習就是針對整個訓練集的每一個輸入和對應的輸出要求，每學習一條規則，就進行一次連接權的調整；這樣一輪一輪不斷的自動的調整網絡連接權，知道整個網絡達到所有的要求的響應為止。學習目的是對產生樣本規律的統計特性進行建模，從具體觀測推測隱含的規律，輸出結果與樣本接近。為了提高測量的精度，要求 、 和 三個參數能夠適應環境的變化，即可實時調節高斯隸屬函數和連接第三、第四層的權重比。具體算法如下：

式（5）可以按下式表示：（6）

設 ， ， ，從而得到式（6）的簡化形式為： ，由式子（6）和式子（7）得到（8）式：

（9）

（10）

定義輸出誤差為： （11），其中 ――k時刻的輸出值， ――k時刻的輸出期望值。

定義系統的性能指標為：（12）

采用反方向傳播方法進行監督學習，使性能指標E值最小化。根據梯度下降方法有：

以上式子分別為（13），（14），（15）。其中 為學習速度，由于采用在線學習，那么 為一個定值。根據性能指標選取規則和專家經驗知識，取終止條件為E≤0.005，具體的學習步驟如下：

步驟1： 、 、 及 的初始值在[0，1]之間隨機選取， 的值為恒定值，根據經驗決定。

步驟2：根據式子（11），（13），（14），（15）計算得出比較理想的 ， ， 值。

步驟3：根據式子（12）計算E，若E≤0.002，迭代結束。否則，令 ， ， 為初始值并返回步驟2。

四、PID-FNN系統的設計及實現

根據FNN結構可知，輸入是誤差和誤差變化量，輸出是PID控制參數中的一個，故我們設計PID-FNN系統時要使用3個FNN，選擇這樣的FNN結構是為了更加精確的得到PID所需要的修正值。當然，這里所用的FNN是已經結束學習過程的。PID-FNN控制系統的具體結構如圖2所示。

PID-FNN系統具體實現過程如下：①根據FNN的學習算法，通過提供的樣本對FNN-Kp、FNN-Ki和FNN-Kd進行訓練，使其得到合適的權值，滿足性能指標為止。②誤差和誤差變化量做歸一化處理，作為FNN-Kp、FNN-Ki和FNN-Kd的輸入。③根據式子（1）（2）（4）（5）計算FNN的各層的輸出，FNN-Kp、FNN-Ki和FNN-Kd最后一層的輸出就是PID控制參數Kp、Ki和Kd的修正值。④利用③中得到的修正值，對經典PID控制器所得出的Kp、Ki和Kd的值進行修正。⑤Kp、Ki和Kd的修正后的值傳送給控制對象，并由圖2中所示，控制結果反饋回到計算誤差處進行誤差計算。由此跳轉到②步。

圖2.FNN-PID系統結構

五、結束語

FNN融合了模糊控制和神經網絡的特點，本文利用這一點設計了PID-FNN控制系統并予以實現。文章中介紹了FNN的系統結構和學習過程的算法以及步驟，然后設計了PID-FNN的系統結構，并且描述了具體的實現過程。

本文作者創新點：模糊神經網絡（FNN）是模糊邏輯控制和神經網絡兩者結合的產物。兩者結合可以優勢互補，從而很大提高綜合能力。從而能夠更迅速、更精確的對PID參數進行修正，已達到最佳的控制狀態。

參考文獻：

[1]李士勇.模糊控制,神經控制和智能控制論[M].哈爾濱:哈爾濱工業大學出版社,1996

[2]曾黃麟.智能計算[M].重慶:重慶大學出版社,2004

[3]晁勤,傅成華.自動控制原理[M].重慶:重慶大學出版社,2005

[4]武嘉.輔助控制系統設計與仿真[M].北京:電子工業出版社,2005

篇8

關鍵詞:室內定位;RSS; BP神經網絡;IEEE 802.11b

中圖分類號:TN911.23 文獻標識碼:A

1 引 言

目前,室內定位算法主要有以下幾種｡

1)Time of arrival(TOA)

TOA定位的基本原理是通過測量節點間電波傳播的時間來確定節點的位置｡

TOA算法要求參加定位的各個基站在時間上實現嚴格同步｡在室內環境中,由于已知點到待測點的距離通常不遠,無線電波的傳播速度太快,且存在嚴重的多徑干擾,因此無法利用無線電波進行測距｡目前,基于TOA的室內定位技術通常是利用超聲波傳播速度較慢的特點(在20攝氏度時超聲波的傳播速度為343.38m/s),來測量出已知點和待測點間的距離,進而求出待測點的位置[1]｡

2)GPS L1 Re-radiating

GPS(Global Positioning System)是70年代初由美國開發的衛星導航定位系統,本質上它也是一個基于TOA的定位系統｡

GPS L1 Re-radiating是將GPS在L1頻段上的信號,通過戶外天線接收后,增益放大為室內可接收信號,進而基于GPS實現室內定位｡

3)Received signal strength,RSS

RSS定位的基本原理是利用移動裝置偵測所接收到的無線電波信號強弱,然后根據經驗模型或RSS隨距離衰減的模型來推斷節點間的距離,進而實現定位[2]｡

該技術主要使用無線網絡本身的無線電信號來定位,不需額外添加硬件,是一種低功率､廉價的定位技術[3]｡

基于信號強度的室內定位方法分為經驗模型法和信號衰減模型法｡

(1)經驗模型法

在經驗模型法中,將RSSI數據轉換為位置信息的方法主要有判定法和概率法兩種｡

(2)信號衰減模型法

信號衰減模型法則無需實地測量位置和RSSI,而是依據信號強度和距離的特定關系,結合三角測量法,根據來自三個(或以上)AP的RSSI來計算出待測點的位置｡

基于TOA的定位模型在開放的室外環境中非常有效,但在室內環境卻存在一些問題｡使用超聲波雖可克服無線電波傳輸速度快的問題,但需構建專門的超聲波系統｡GPS也主要是針對戶外目標設計的定位系統,應用于室內存在定位精度不高等問題｡基于RSS的定位模型中,經驗法需進行大量的實地測量,同時無法保護定位用戶的隱私;而信號衰減法在室內受NLOS(非視距傳播)等因素影響,也使得定位精度較低｡

因此,本文提出了一種基于BP神經網絡的室內定位模型并借助MATLAB 7.0加以實現｡采用該方法進行室內定位,不需要WLAN以外的其他資源｡由于不需要知道定位節點和建筑物的詳細特性,用戶的隱私將隨之得到完全的保護｡

2 基于BP神經網絡的室內定位模型

BP神經網絡通常是指基于誤差反向傳播算法(Backpropagation)的多層前向神經網絡,目前,該算法已成為應用最為廣泛的神經網絡學習算法[4]｡

BP神經網絡采用的是并行網絡結構,包括輸入層､隱含層和輸出層,經作用函數后,再把隱節點的輸出信號傳遞到輸出節點,最后給出輸出結果｡該算法的學習過程由信息的前向傳播和誤差的反向傳播組成｡在前向傳播的過程中,輸入信息從輸入層經隱含層逐層處理,并傳向輸出層｡第一層神經元的狀態只影響下一層神經元的狀態｡如果在輸出層得不到期望的輸出結果,則轉入反向傳播,將誤差信號(目標值與網絡輸出之差)沿原來的連接通道返回,通過修改各層神經元權值,使得誤差均方最小｡神經網絡理論已經證明BP神經網絡具有強大的非線性映射能力和泛化功能,任一連續函數或映射均可采用三層網絡加以實現｡

計算技術與自動化2007年6月第26卷第2期李 瑛等:一種基于BP神經網絡的室內定位模型2.1 樣本數據的采集和處理

輸入向量為待測點收到的來自至少三個不同位置AP的RSSI值,輸出向量為待測點的坐標值(X,Y)｡

樣本采集在一個10mX10m的室內場地中進行｡使用3個來自SMC公司的AP和1臺配置了ORiNOCO PC CARD的筆記本電腦｡AP及無線網卡符合并工作在IEEE 802.11b標準下｡筆記本電腦所使用的操作系統為RedHat Linux 9.0｡樣本均勻分布在6mx6m的中心區域中｡

2.2 網絡結構的確定

Kolmogorov定理已經證明[5],任意一連續函數可由一個三層BP 網絡來實現｡雖然研究表明三層以上的BP網絡可以減少隱含層節點數,提高計算效率,但在缺乏理論指導的BP網絡設計中這樣做容易使問題趨向復雜化｡因此選擇三層BP神經網絡,即只有1個隱含層的BP神經網絡｡

該網絡輸入層的節點數由輸入向量的維數決定,輸入向量的維數是3,所以輸入層節點數確定為3個｡輸出層節點數由輸出向量的維數決定,這里輸出節點數為2 ｡

隱含層節點數的選擇在BP網絡設計中是一個難點,目前還沒有理論上的指導｡過多的網絡節點會增加訓練網絡的時間,也會使網絡的泛化能力減弱,網絡的預測能力下降｡然而網絡節點過少則不能反映后續值與前驅值的相關關系,建模不充分｡經反復試驗,將隱含層節點數定為30,這樣形成了一個3-30-2結構的BP神經網絡,如圖1所示｡

2.3 學習算法的選擇

基本BP 算法采用梯度下降法使得誤差均方(mse)趨向最小,直至達到誤差要求｡但在實際應用中,存在收斂速度慢､局部極值等缺點｡Matlab 7.0神經網絡工具箱中提供了十多種快速學習算法,一類是采用啟發式學習方法,如引入動量因子的traingdm 算法､變速率學習算法traingda ､“彈性”學習算法trainrp等;另一類采用數值優化方法,如共軛梯度學習算法traincgf 等｡本研究選擇traincgf 算法｡該算法在不增加算法復雜性的前提下,可以提高收斂速度,并且可沿共扼方向達到全局最小點,較好地解決了經典BP算法所存在的收斂速度慢和可能出現局部最優解的問題｡

2.4 BP神經網絡的初始化､訓練與仿真

1)建立網絡

net==newff(P3,[30,2],{′tansig′,′purelin′},′traincgf′)

newff()為建立BP 神經網絡的函數;P3為6維矩陣,表示3維輸入向量中每維輸入的最小值和最大值之間的范圍｡[30,2]表示隱層節點數是30,輸出層節點數是2,{′tansig′,′purelin′}表示隱含層中的神經元采用tansig轉換函數,輸出層采用purelin函數,′traincgf′表示選擇的學習算法｡

2)權重和閾值初始化

net==init(net)

給各連接權重LW{1,1}､LW{2,1}及閾值b{1}､b{2}賦予(-1,+1)間的隨機值｡

3)訓練

[net,tr]=train(net,P,T)

P為輸入向量,T為目標向量,根據網絡學習誤差逆傳遞算法,利用阻尼最小二乘算法迭代,由前一次訓練得到的網絡權重及閾值訓練得到新的網絡權重及閾值｡

為了使生成的BP網絡對輸入向量有一定的容錯能力,最好的方法是既使用理想的信號又使用帶有噪聲的信號對網絡進行訓練｡具體做法是先用理想的輸入信號對網絡進行訓練,直到起平方和誤差足夠小;然后,使用20組理想信號和帶有噪聲的信號對網絡進行訓練｡經過上述訓練后,網絡對無誤差的信號也可能會采用對付帶有噪聲信號的辦法,這樣會導致很大的代價,因此,需要采用理想的向量對網絡再次訓練,以保證網絡能對理想信號作出最好的反應｡

使用函數traincgf對網絡進行訓練時,當網絡平方和誤差小于3時停止網絡的訓練｡訓練過程中的誤差變化情況如圖2所示｡

根據訓練后的網絡及輸入向量進行仿真輸出｡

3 實驗結果及分析

利用訓練后的BP神經網絡進行了36次定位,并統計了36次定位的平均誤差,結果如圖3所示｡

與利用信號衰減模型定位相比(如圖4所示),利用BP神經網絡定位具有更高的統計精度｡

與信號衰減模型相比,雖然BP神經網絡的模型解釋直觀性略有不足,但卻可獲得更精確的定位結果｡

利用BP神經網絡,雖然可解決傳統處理方法所不能處理的非線性映射問題,但在實際應用中,對如何選擇和確定一個合適的神經網絡結構沒有確切的理論指導,只能通過試驗―調整―再試驗的過程來確定一個合適的網絡結構｡同時,BP神經網絡的隱含層作用機理和隱含層節點個數的選擇是BP神經網絡的難點問題｡隱含層的節點個數的選擇需反復進行試驗,當多次輸出結果在一定誤差范圍內時才可確定｡

4 結束語

本文提出了一種基于BP神經網絡的室內定位模型,并在基于IEEE 802.11b標準的WLAN環境中對此模型進行了測試｡一個基于信號衰減模型的定位算法也在同樣的環境中進行了測試｡對比結果表明,利用BP神經網絡進行室內定位能取得更好的定位精度｡

篇9

關鍵詞：多元支持向量機 離心式壓縮機 故障診斷

The Application of Multi-Support Vector Machines in Fault Diagnosis for Compressors

Yu Huiyuan

（Well-Tech R&D Institutes， COSL， Yanjiao 065201， China）

Abstract： For solving the defect of traditional classificatory with many samples， a new classificatory recognizing faults based on Multi-Support Vector Machine （MSVM） is proposed for centrifugal compressors. SVM is a new machine study method which has excellent advantages in small-sample and multi-dimension binary classification. The new MSVM classificatory can be studied in a few samples rapidly to recognize several kinds of new faults. At the same time， the experiments showed that recognizing correct rate increased more greatly compared with traditional BP method.

Key words： MSVM； centrifugal compressor； fault diagnosis

一、引 言

壓縮機在工業生產領域中具有非常重要的作用，由于故障原因造成的啟停機一次所產生的經濟損失是非常巨大的。如果能夠事先準確診斷和預測出設備出現的各種故障，根據故障類型和實際情況采取相應的措施，就可以避免或減少經濟損失。機械故障診斷學就是通過研究故障和征兆之間的關系來判斷設備故障的。旋轉機械的故障形式多種多樣，故障產生的機理和原因也非常復雜[1]，加之實際因素的復雜性，故障和征兆之間表現出的關系也較為復雜，即各類故障所反映的特征參數并不完全相同，這種關系很難用精確的數學模型來表示，這就給現場診斷帶來了極大的困難。雖然神經網絡具有充分逼近任意復雜非線性關系的能力和分類能力，但存在局部極小值、算法收斂速度慢、受網絡結構復雜性和樣本復雜性的影響較大、容易出現“過學習”或泛化能力低等缺點[2，3]。

支持向量機是一種新的機器學習方法，它較好的解決了非線性數據的分類問題，在小樣本和二元分類方面有非常突出的優點。本文在分析了支持向量機的特點后，提出一種基于多元支持向量機的離心式壓縮機轉子故障分類識別方法，可以在較少樣本情況下完成對分類器的學習訓練工作，從而達到提高故障診斷效率的目的。

二、支持向量機分類原理

支持向量機不同于神經網絡基于經驗的算法，它是實現結構風險最小化原則的一種學習算法，是利用核函數把特征樣本映射到高維特征空間，然后在此空間中構造分類間隔最大的線性分類超平面，所以支持向量機比較適合于小樣本數據的分類。其基本思想如圖 1 所示，圖中圓點和三角點分別表示兩類訓練樣本，H 為把兩類樣本完全無誤分開的分類線，H1、H2 分別為通過樣本中離分類線最近的樣本且平行于分類線的直線，它們之間的間隔為分類間隔，圖中的樣本點就是支持向量。該最優面不但可將兩類樣本無誤的分開，而且還要使分類間隔最大。前者保證經驗風險最小，后者使問題的真實風險最小[4]。

不同的核函數將導致不同的支持向量機算法，常見的核函數包括多項式內積函數、徑向基函數、S型內積函數等[5]。

三、基于MSVM的故障識別分類器

（一）基于MSVM的故障識別分類模型

由于SVM是二元分類器，診斷過程中，故障通常有多種類型。要對多種故障模式進行識別，必須構造一種多元分類器才能進行這種多種模式的識別。通常通過組合多個兩類分類器的方法來實現多值分類器的分類，目前此類方法主要有以下幾類算法：一對一算法（one-against-one，簡稱1-v-1）、一對多算法（one -versus-rest，簡稱1-v-r）和決策導向無環圖算法（Decision Directed Acyclic Graph，DDAG）等幾種，可參見文獻[5，6]。通過比較分析，筆者采用一對一方法構造多元分類器[5]，其基本思想是：對N元分類問題建立N（N-1）/2個SVM，每兩類之間訓練一個SVM將彼此分開。這種方法優點是單個SVM訓練規模較小，分類器的推廣能力強。

采用多元分類器訓練數據樣本后，在預測新樣本時，使用成對的SVM進行比較，每次產生一個優勝者（即獲得一個類別），然后在優勝者之間再次進行比較，直到最后僅剩一個優勝者。實際上，在預測新樣本時，并不需要對每兩類之間的優勝者再次進行競爭淘汰，只需比較兩類之間獲勝次數最多的類，即為新樣本所屬的故障類別。

（二）分類器的學習訓練方法

本文的MSVM分類器訓練程序采用的是LIBSVM開發函數庫，在沒有先驗知識前提下使用徑向基函數作為核函數。實驗表明，通常情況下該核函數的分類效果略優于其他核函數。基于MSVM的故障分類識別分類器工作過程主要有學習訓練和識別兩個階段，如圖2所示。

圖2 模分類器的工作過程

四、壓縮機故障診斷實例

在離心式壓縮機等旋轉機械中，不平衡、不對中及油膜振蕩是轉子部件幾種較常見的故障。目前人工智能方法在故障診斷領域已經得到較好的應用效果。但是，基于神經網絡的診斷方法通常需要用大量的故障特征樣本對模型進行訓練，才能得到較為可靠的識別模型。然而，在機械設備實際故障樣本的收集過程中，采集到的樣本比較有限，尤其是某些故障樣本的收集十分困難，這極大地限制了檢測模型在模式分類過程中對訓練樣本的需求。而支持向量機在小樣本和高維特征分類方面有突出優勢，本文以離心式壓縮機組轉子故障為例，采用上述MSVM方法建立故障診斷模型。

（一）壓縮機轉子故障診斷模型設計

以轉子不平衡、不對中及油膜振蕩三種常見故障作為示例樣本建立故障識別模型，將轉子不平衡故障作為一類，轉子不對中作為一類，油膜振蕩作為一類。由于SVM是二元分類器，對于多種故障形式識別，必須構造一種多元分類器才能進行識別。由于本文采用一對一方法構造多元分類器建立故障識別模型，當需要對以上三種故障形式進行識別時，共需要構建3個SVM分類器。用SVM1來區分轉子不平衡與不對中，SVM2識別轉子不對中與油膜振蕩，SVM3識別油膜振蕩與轉子不平衡。通過每兩類樣本分別對三個SVM分類器進行學習訓練來尋求最優分類函數，以達到對建立識別模型的目的，模型如圖3。

圖3 多類故障識別模型

對于部件的有更多種故障模式存在的情況下，只需獲取該部件對應故障狀態下的特征樣本，在原有模型基礎上增加分類器即可，方法同上。不過對于多種故障模式下多元支持向量機模型的選擇需要在速度、模型復雜度、識別效率等方面進行綜合考慮。

（二）測試結果

為了考查模型的泛化能力，對診斷模型進行學習訓練后，用訓練后的分類器對45個測試樣本進行分類試驗。利用兩類之間比較獲勝次數最多的類，即為新樣本所屬的故障類別，如勝次相等，則為識別失敗。表1為各類故障的分類識別結果。除3個待測故障的識別結果不太理想外，其余故障類型的識別結果都相當理想，本分類器的總體泛化能力為93.3%，結果令人滿意。由此可見，該模型具有較好的泛化識別能力。

表1 識別結果

（三）與神經網絡方法比較

為了與神經網絡方法進行比較，同樣利用故障樣本對BP神經網絡進行訓練時發現，由于樣本數量較少，網絡訓練陷入局部極值點，訓練失敗。因而表明MSVM能在較少樣本情況下實現對分類器的學習訓練。利用兩組樣本總和重新訓練，在與BP神經網絡同樣的樣本集均方誤差情況下，發現其測試集均方誤差一般比BP神經網絡精度高；當訓練樣本集數目增加時，兩者的泛化能力都有所提高，但BP神經網絡提高速度要快于支持向量機；當樣本集變化時，MSVM的測試集均方誤差變化幅度小于BP神經網絡，這些都說明了MSVM對訓練樣本數據的依賴程度比神經網絡小。

取不同的收斂閾值對神經網絡分類模型進行訓練，并將它與MSVM方法的識別結果進行對比，如表2所示。從表中可以看到，支持向量機分類器的泛化識別能力明顯優于神經網絡分類器，可能是由于神經網絡方法往往陷入過學習，即所謂的經驗風險最小化，造成分類器推廣能力泛化差于支持向量機。

表2 MSVM方法和BP神經網絡方法識別結果對比

五、結論

由于支持向量機在小樣本分類識別方面有獨特優勢，基于此設計了多元支持向量機的壓縮機故障分類識別模型。試驗證明，利用支持向量機對壓縮機轉子故障模式進行識別的方法是可靠和有效的，即使在小樣本情況下，該方法仍可以有效地診斷出壓縮機關鍵部件的工作狀態和故障類型，解決故障診斷中少樣本情形下模型訓練不足和識別效率低的問題。因此，支持向量機在故障診斷領域是一種值得推廣的方法。

參考文獻

[1] 李小彭，羅躍綱，白秉三.模糊綜合評判在機械故障診斷中的應用[J].沈陽工業大學學報.2002，24（5）：439-442

[2] 朱君，高宇，葉鑫銳. 基于BP神經網絡的螺桿泵井故障診斷方法[J].石油機械. 2008， 36（1）：42-44

[3] 趙海洋，王金東，劉樹林，等.基于神經網絡和支持向量機的復合故障診斷技術[J].流體機械，2008，36（1）：39-42

[4] 張學工.關于統計學習理論與支持向量機[J].自動化學報.2000，26（1）：32-42

篇10

【關鍵詞】股票預測 支持向量機 非線性回歸 神經網絡

一、股市預測方法

股票發展至今已有300多年的歷史，現在已經成為國家經濟的“晴雨表”。在股票市場中，無論對于機構投資者還是個人投資者來說，預測股票價格走勢一直是人們關心的問題。

（一）國內外現有股票預測方法簡介

目前，從金融角度來講，對股票價格趨勢預測有兩種方法：基本面分析和技術分析。一般所講的基本面分析是指對宏觀經濟面、公司主營業務所處行業、公司業務同行業競爭水平和公司內部管理水平包括對管理層的考察這諸多方面的分析。這種方法有非常系統的理論依據，然而，我國金融市場中廣泛存在的炒作現象經常使股票的價格嚴重背離其基本價值，使基本面分析在實務中被認同的程度不高。股票技術分析，是以預測市場價格變化的未來趨勢為目的，通過分析歷史圖表、技術指標對市場價格的運動進行分析的一種方法。其目的是預測短期內股價漲跌的趨勢。然而，國內學者研究表明，中國股市存在非線性與混沌。股市是一個十分復雜的非線性高維動態系統，要對股市進行相關的預測分析是極具挑戰性的。然而對股市的探索研究始終在取得新的突破。現在一些新型的技術理論的出現，例如數據挖掘技術、統計學習理論、機器學習、人工智能、數理統計、信息技術等空前的發展，極大的推動了相關領域的應用研究。

（二）機器學習在股票預測中的應用

求解非線性回歸問題的方法有很多，如：局部線性模型、前饋神經網絡模型、徑向基函數模型等。結合上述股票預測方法，兩種機器學習方法在實際運用中證明了其可行性。在其中神經網絡模型在非線性映射中表現出其優越性，被廣泛應用于股票市場預測中。然而，在實際應用中，神經網絡學習算法表現出其不足，如隱含層數的選擇、過你核問題、局部極小值以及泛化性能不強。20世紀90年代中期發展起來的基于統計學習的機器學習方法――支持向量機（SVM）具有良好的泛化能力。他通過尋求結構化風險最小化，而非傳統的經驗風險最小化，使風險只與輸入樣本數目有關，而與輸入的維數無關，避免了“維災數”的問題。而且，SVM的結構參數從樣本學習中自動確定，從而克服傳統神經網絡結構不易確定的缺點。SVM最初應用于模式識別，隨著Vapnik的ε不敏感損失函數的引入，SVM已經擴展為解決非線性回歸問題，與神經網絡方法相比，有顯著的優越性且在非線性時間預測方面取得很好的效果。

二、支持向量機理論

SVM理論是在統計學習理論的基礎上發展起來的。由于統計學習理論和SVM方法對優先樣本情況下模式識別中的一些根本性的問題進行了系統的理論研究，很大程度上解決了以往的機器學習中模型的選擇與過學習問題、非線性和維數災難問題、局部極小值問題等等。因此，SVM理論越來越受到人們的重視。SVM是針對二類分類問題提出的。

SVM回歸問題：設已知訓練集│（x1，y1），…，（xn，yn）│，其中，x∈Z Rn，y∈│1，-1│，是類別標記符號。i=1，2，…，n。xi是輸入數據，yi為對應的輸出數據。樣本數集中包含樣本和噪聲。目標是，根據對訓練集所包含信息的學習，找到y對x的相關關系 y=f（x）。

回歸問題分為線性回歸和非線性回歸兩種。下面我們分別討論線性支持向量回歸和非線性支持向量回歸。

（一）線性可分

其中，λ是超參數。在實驗中針對不同訓練值調整，表示前后兩項的權重。λ越大，δi占有的優化權重越大。

求解過程類似線性可分，引入Lagrange函數，并將原問題轉化為對偶問題求解。

三、支持向量機預測效果及與神經網絡方法的比較

（一）與神經網絡相比分類識別率更高

投資者在選取股票時，最關心的則是每股收益。因此每股收益在實證分析中通常被選為分類標準。選取每股凈資產、股利支付率、每股股利、凈資產收益率、留存盈利比例、流動比率、速動比率、負債比率、長期負債比率、應收帳款比率、存貨周轉率、銷售報酬率、凈利潤率、投資報酬率、凈值報酬率這15個影響每股收益的指標作為輸入樣本的屬性。在張晨希等人的實證研究中，對巨靈證券數據庫產品3.0產品中的上市公司數據進行整理分析后所得到的樣本的基本情況，并利用支持向量機對樣本進行了交叉訓練測試。用其中9組進行學習，一組用來測試，循環交叉。SVM、BP、RBF三種方法的測試結果如下：分類測試得到以下結果：分類識別率為70.068%，訓練時間為10.642s，測試時間約為0.4095s。

從測試結果中可以得出，在訓練時間和測試時間與BP算法差不多的情況下，通過SVM取得的分類識別率明顯高于BP和RBF。

為了進一步驗證支持向量機在分類識別率上的優越性，試驗者將原有樣本屬性類別由四類改成三類之后再次進行測試。結果顯示：

（1）采用支持向量機進行股票預測的分類準確率在將屬性類別分為四類時明顯高于BP和RBF算法。在分類為三類時，盡管BP算法也表現出了較高的分類識別率，但支持向量機仍要比BP高出7%。因此，相比于傳統的神經網絡預測方法來說，支持向量機在預測效果上要明顯提高。

（2）對比發現，支持向量機的分類識別率會隨著決策屬性類別的增加而降低。然而，始終由于同等情況的神經網絡方法。

（3）相比于神經網絡方法，支持向量機還克服了BP固有的缺陷，例如，學習過程收斂速度慢、網絡性能差、局部極小值等等。

然而，該試驗的局限性在于，盡管支持向量機能夠在股票是否盈利的預測中取得良好效果，但是在預測每股收益具體數值方面非常有待提高。

（二）預測值誤差更小

在對股票預測方法的研究中中，田靜提出了一種支持向量機算法，使得輸出結果為準確的輸出值，而非判斷盈利與否的簡單分類。文章對上證指數和四川長虹公司的股價進行試驗，同時，在文章中，他也用BP神經網絡算法進行了同樣的預測，并將兩種方法的預測值分別與真實值進行比較，得出相對誤差進行對比。

以四川長虹的預測結果為例，ε支持向量機算法的預測值與真實值之間的誤差最大為1.28%，誤差最小為0.007%，平均相對誤差是0.00556.；BP算法的預測值與真實值之間的誤差最大為2.46%，誤差最小為0.022%。

因此，ε支持向量機方法無論對于大盤還是上市公司股價的預測都取得了比神經網絡方法更優越的預測結果。原因可能是BP神經網絡方法采用的梯度下降法得到的最優解是局部最優而非全局最優。

通過已有的對比研究發現，支持向量機方法在預測股票走勢過程中體現出了更高的識別率和準確性。隨著科學技術的發展以及人們對于股市預測的熱情，在未來支持向量機的方法將在不斷改進和完善的過程中得到更好地發展和更廣泛的應用。

參考文獻：

[1]徐緒松：古雜科學、資本市場、項目評價[M]。北京：科學出版社，2003.

[2]Burgers BC.A Tutorial on Support Vector Machines for Pattern Recognition[J]. Data Mining and Knowledge Discovery， 1998.

[3]財政部注冊會計師考試委員會辦公室。財務成本管理[M].北京：經濟科學出版社，2003.

[4]張晨希.基于支持向量機的股票預測[J].計算機技術與發展，2006.