神經網絡的優缺點范文
時間:2024-03-28 18:12:32
導語:如何才能寫好一篇神經網絡的優缺點,這就需要搜集整理更多的資料和文獻,歡迎閱讀由公務員之家整理的十篇范文,供你借鑒。
篇1
關鍵詞:油液光譜;神經網絡;遺傳算法;預測
磨損金屬顆粒濃度可直接反映了設備的運行狀況,所以在設備狀態監控領域金屬顆粒濃度預測是油分析的最重要內容之一。文章通過研究磨損金屬顆粒濃度數據序列構成的一般規律,根據神經網絡與遺傳算法在時間序列預測中的優缺點,提出以GA優化BP神經網絡的初始權、閾值,構建GA-BP模型。實例預測結果表明,GA-BP模型的精度與速度都比較理想,優于單一的BP模型。
1神經網絡和遺傳算法
BP神經網絡在時間序列分析中不是一個十分完善的網絡,這是因為一方面學習算法的收斂速度較慢,另―方面在優化過程中易陷入局部極小點。
而遺傳算法具備優秀的全局搜索能力,所以可利用遺傳算法對BP網絡從三個方面進行優化:(1)優化神經網絡的初始權值和閾值;(2)優化神經網絡的拓撲結構進化;(3)神經網絡學習規則的進化。
通過得出具有最佳隱層節點的網絡結構,合理的初始權值和閾值,及最佳學習進化規則,保證網絡不陷入局部最小值,同時又具備合理的收斂速度。
2遺傳算法優化BP神經網絡預測模型
文章GA-BP算法的假設是網絡拓撲結構固定。算法的基本思想是:(1)給定網絡拓撲結構以及網絡的輸入、輸出樣本;(2)構建待尋優參數與GA染色串的映射函數;(3)確定GA算法的目標函數、適應度函數和優化參數,產生初始種群;(4)計算目標函數的值,個體的適應度,判斷是否進行優化計算,并進行遺傳操作(復制、交叉和變異),產生新一代群體;(5)重復上述過程,直至進化滿足停止準則。
step5:新個體插入到種群中,計算評價函數;
step6:如果找到了滿意的個體,則結束,否則轉step3。最終群體中的最優個體解碼即可得到優化后的網絡連接權值;
step7:以GA算法獲得的連接權值作為初始權值,用BP算法訓練網絡,直到指定精度。
3GA-BP模型預測油液光譜參數
3.1光譜數據的處理
在機械裝備狀態監測中,一般不直接對采集到的油液光譜參數進行建模,這是因為,一方面直接建模容易忽視參數的摩擦學特征,另一方面,設備的元素含量之間本身有一定線性比例關系,所以,設備的檢修、補換油等因素的影響效果從某種程度上來說是一致的。在文章的研究中,通過將元素間比例關系的數據作為系統的輸入與輸出,即以元素間濃度比值的形式對原始數據進行處理,使其能夠比較客觀地表征被監測系統的狀態。一定設備的油樣中,各種不同元素的濃度差異較大,Fe、Cu、Pb、及A1等元素的變化具有一定的規律。文章數據是引用的SGM沖壓機油系統與液壓系統的油箱中的采樣監測結果為例進行討論。監測過程中,根據元素光譜分析的結果,選取與設備磨損密切相關的五種元素,并計算各種元素濃度值的比例,如表1所示。
3.2實驗分析
將表1的Fe元素百分比數列前6組作為訓練樣本,后2組作為實驗樣本,如表2所示。
構建4×9×1的BP神經網絡,第一層、第二層采用tansig傳遞函數,第三層采用purelin傳遞函數。最大循環次數10000,收斂誤差0.002,學習率0.01。設置種群規模為80,遺傳代數為800,染色體長度為55,交叉概率為0.98,變異概率0.01。
用Matlab2010編程,主要包括4個程序:主程序gabpfault.m;網絡初始化nninit.m;適應值計算函數gabpEval.m;編碼解碼函數gadecod.m。經過大約700代的搜索后染色體的平均適應度趨于穩定,誤差平方和曲線和適應度曲線,如圖l所示,將遺傳算法的結果分配BP網絡所對應的權值、閾值,訓練神經網絡。如圖2所示,給出了GA-BP算法的訓練目標曲線。用GAS訓練BP網絡的權值可以得到滿意的結果。GA-BPfflBP都用前6組進行訓練,后2組進行仿真,如表3所示,列出了GA-BP和BP的預測結果。
篇2
關鍵詞:BP網絡 旋轉觸探儀 神經網絡預測 訓練函數
中圖分類號:TP751 文獻標識碼:A 文章編號:1674-098X(2014)12(c)-0004-02
隨著計算機技術的快速發展,人工神經網絡在數學p物理p工程p巖土等行業得到廣泛應用。Matlab軟件提供了神經網絡的工具箱,提供了多種神經網絡庫函數,為數值計算提供了計算平臺。巖土工程問題的復雜多變性,在運用神經網絡分析和預測時,其結果往往受各種因素的影響,關鍵還是網絡結構的構建和訓練函數的選取。因此,應該對網絡的訓練函數的選取進行深入研究。
該文在大量的旋轉觸探試驗的基礎上,結合土的物理性質指標含水量、干密度,土的強度參數粘聚力和內摩擦角,以及埋深情況,建立土的旋轉觸探模型,建立BP神經網絡,采用不同的訓練函數對網絡進行訓練。
1 BP神經網絡
BP網絡是一種單向傳播的多層前向網絡,具有三層或三層以上的神經網絡,包括輸入層、中間層(隱層)和輸出層。在人工神經網絡的實際應用中,BP網絡廣泛應用于函數逼近、模式識別/分類、數據壓縮等,人工神經網絡模型采用BP網絡或它的變化形式,它是前饋網絡的核心部分,體現了人工神經網絡最精華的部分。BP算法的基本思想[1]是,學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。正向傳播時,輸入樣本從輸入層傳入,經各隱層逐層處理后,傳向輸出層。若輸出層的實際輸出與期望的輸出不符,則轉入誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形式通過隱層向輸入層逐層反傳,并將誤差分攤給各層的所有單元,從而獲得各層單元的誤差信號,此誤差信號即作為修正各單元權值的依據。這種信號正向傳播與誤差反向傳播的各層權值調整過程,是周而復始地進行的。權值不斷調整的過程,也是網絡的學習訓練過程。此過程一直進行到網絡輸出的誤差減少到可以接受的程度,或進行到預先設定的學習次數為止。
2 BP神經網絡的訓練函數
BP神經網絡中的訓練算法函數是根據BP網絡格式的輸入、期望輸出,由函數newff 建立網絡對象,對生成的BP 網絡進行計算,修正權值和閾值,最終達到BP網絡的設計性能,從而完成網絡的訓練和預測。BP 神經網絡幾種主要的訓練函數及其特點分述如下[2]。
(1)traingda、trainrp函數和trainlm函數。
traingda函數是最基本的自適應學習步長函數,其最大優點可以根據誤差容限的性能要求調節函數,彌補標準BP算法中的步長選擇不當問題。trainrp函數可以消除偏導數的大小權值帶來的影響,只考慮導數符號引來的權更新方向,忽略導數大小帶來的影響。trainlm函數。該函數學習速度較快,但占用內存很大,從理論上來說適用于中等規模的網絡。
(2)共軛梯度算法:traincgf函數、traincgp函數、traincgb 函數、trainscg函數。
共軛梯度算法是介于最速下降法與牛頓法之間的一個方法,其利用一階導數信息,但克服了最速下降法收斂慢的缺點,又避免了牛頓法需要存儲和計算Hesse矩陣并求逆的缺點。上述四種共軛梯度算法前三種收斂速度比梯度下降快很多,其需要線性搜索,對于不同的問題會產生不同的收斂速度。而第四種不需要線性搜索,其需要較多的迭代次數,但是每次迭代所需計算量很小。
(3)Newton算法:trainbfg函數、trainoss函數。
trainbfg 算法的迭代次數較少,由于每步迭代都要Hessian矩陣,其每次迭代計算量和存儲量都很大,適合小型網絡。Trainoss為一步割線算法。它是介于共軛梯度法和擬牛頓算法的方法,其需要的存儲和計算量都比trainbfg要小,比共軛梯度法略大。
上述各算法由于采用的訓練函數不同,其計算速度、收斂速度及其迭代次數不盡相同,并且對內存要求依研究對象的復雜程度、訓練集大小、網絡的大小及誤差容限的要求等存在差異。在運用BP網絡解決相關工程性問題時,需要選擇合理的訓練函數。
3 網絡訓練函數的選取
該文著重研究BP神經網絡的訓練函數的選擇,所用數據樣本均來自于實踐中用新型微機控制旋轉觸探儀采集到的數據,經過歸一化處理建立了網絡的樣本數據庫,根據訓練函數的特點選擇其隱含層數為2。文選擇非線性函數為Sigmoid,輸出層的傳遞函數為Purelin,可以用來模擬任何的函數(必須連續有界)。
采用不同的訓練函數對網絡的性能也有影響,比如收斂速度等等,下面采用不同的訓練函數(trainbr、traingd、traingdm、traingdx、traincgf、trainlm、trainb)對網絡進行訓練,并觀察其結果,如表1所示。
對比可知,trainlm訓練函數的收斂效果較好,trainbr、trainlm訓練函數得到的絕對誤差相對較小,其它訓練函數的收斂性能較差。trainbr訓練樣本的絕對誤差比trainlm訓練函數的絕對誤差小,且分布比較均勻,但是trainbr訓練函數的收斂精度卻相對較差,這可能是出現局部最優化的問題,通過測試樣本的進一步分析如表2所示,trainbr訓練以后的網絡對于預測樣本的預測精度較低,偏差較大,進一步驗證了該訓練函數在訓練過程中訓練收斂精度相對較差,并出現局部最優化[3]。
綜合考慮,可以看到trainlm訓練函數具有訓練速度快且預測精度高的特點,所以本文中選用trainlm作為訓練函數。
4 結論
該文以Matlab神經網絡的作為工具,基于觸探模型作為研究對象,對不同的訓練函數進行了仿真比較,結果表明采用不同的訓練函數其存在明顯的差異。綜合考慮干密度誤差,含水量誤差,干密度誤差(樣本順序),含水量誤差(樣本順序)以及迭代次數和性能誤差等因素,選用trainlm作為訓練函數,trainlm函數由于其訓練速度較快且計算精度較高而顯現出一定的優勢。
參考文獻
[1] 葛哲學,孫志強.神經網絡理論與MATLAB R2007實現[M].電子工業出版社,2007.
篇3
[關鍵詞] 信用評分 判別分析模型 決策樹分析 回歸分析法 神經網絡法
一、信用評分概況
信用評分模型作為信用風險管理的基礎和核心,無論是對于建立社會征信體系還是對于金融機構的信貸資產管理,都有著不可替代的作用。其主要目的,在于盡量將能夠預測借款人未來行為的指標加以整合,并統一成可以比較的單一指標,以顯示借款人在未來特定時間內違約的可能性,所有的信用評分模型,無論采用什么理論或方法,其最終目的都是將貸款申請者的信用級別分類。為達到分類目的。當前,對個人信用評分模型的定義有多種,較為權威的種觀點認為:“信用評分是預測貸款申請人或現有借款人違約可能性的一種統計方法。”這一觀點指出了信用評分的作用和目的,不過隨著信用評分模型的不斷發展,信用評分已不僅是一種統計方法,也包含了運籌學,如數學規劃法、非線性模糊數學(如神經網絡方法)等。此外,信用評分的實際操作應用也與決策原則緊密相關,決策原則事實上決定了信用評分模型實現其目的和作用的程度。因此,對個人信用評分模型這一數學工具在金融和銀行業中的應用來說,較為全面和恰當的定義應是,“信用評分是運用數學優化理論(包括統計方法、運籌方法等),依照即定原則或策略(損失最小原則或風險溢價原則),在數據分析決策階段區分不同違約率水平客戶的方法。
二、各類信用評分模型概述
1.判別分析模型
判別分析法是對研究對象所屬類別進行判別的一種統計分析方法。進行判別分析必須已知觀測對象的分類和若干表明觀測對象特征的變量值。判別分析就是要從中篩選出能提供較多信息變量并建立判別函數,使推導出的判別函數對觀測樣本分類時的錯判率最小。這種方法的理論基礎是樣本由兩個分布有顯著差異的子樣本組成,并且它們擁有共同的屬性。它起源于1936年Fisher引進的線性判別函數,這個函數的目的是尋找一個變量的組合,把兩個擁有一些共同特征的組區分開來。
判別分析方法的優點:適用于二元或多元性目標變量,能夠判斷,區分個體應該屬于多個不同小組中的哪一組。自身也存在不可避免的缺點:該模型假設前提是自變量的分布都是正態分布的,而實踐中的數據往往不是完全的正態分布,從而導致統計結果的不可靠性。
2.決策樹方法
決策樹模型是對總體進行連續的分割,以預測一定目標變量的結果的統計技術。決策樹構造的輸入是一組帶有類別標記的例子,構造的結果是一棵二叉或多叉樹。構造決策樹的方法是采用自上而下的遞歸構造。在實際中,為進行個人信用分析,選取個人信用作為目標屬性,其他屬性作為獨立變量。所有客戶被劃分為兩類,即好客戶的和壞客戶,將客戶信用狀況轉換為“是否好客戶”(值為1或0),而后利用數據集合來生成一個完整的決策樹。在生成的決策樹中可以建立一個規則基。一個規則基包含一組規則,每一條規則對應決策樹的一條不同路徑,這條路徑代表它經過節點所表示的條件的一條鏈接。通過創立一個對原始祥本進行最佳分類判別的決策樹,采用遞歸分割方法使期望誤判損失達到最小。
決策樹模型的優點:淺層的決策樹視覺上非常直觀,容易解釋;對數據的結構和分布不需做任何假設;可以容易地轉化成商業規則。它的缺點在于:深層的決策樹視覺上和解釋上都比較困難;決策樹對樣本量的需求比較大;決策樹容易過分微調于樣本數據而失去穩定性和抗震蕩性。
3.回歸分析法
回歸分析法是目前為止應用最為廣泛的一種信用評分模型, 這其中以著名的logistic回歸為代表。除此之外, 線性回歸分析、probit回歸等方法亦屬于此類。最早使用回歸分析的Orgler,他采用線性回歸模型制定了一個類似于信用卡的評分卡, 他的研究表明消費者行為特征比申請表資料更能夠預測未來違約可能性的大小。同數學規劃方法中一樣, 假設已經通過一定的方法從樣本變量中提取出了若干指標作為特征向量, 回歸分析的思想就是將這些指標變量擬合成為一個可以預測申請者違約率的被解釋變量, 自然就是違約率p,回歸分析中應用最廣泛的模型當屬線性回歸模型,它是對大量的數據點中表現出來的數量關系模擬出一條直線,回歸分析的目標就是使目標變量值和實際的目標變量值之間的誤差最小。因此最早將回歸方法應用于信用評分研究的模型,就是簡單的線性回歸模型,目前基于logistic回歸的信用評分系統應用最為普遍。
回歸模型的優點:容易解釋和使用;自變量可以是連續性的,也可以是類別性的;許多直觀的統計指標來衡量模型的擬合度。缺點:不能有效處理缺失值,必須通過一定的數據加工和信息轉換才能處理;模型往往呈線形關系,比較難把握數據中的非線形關系和變量間的互動關系,而且模型假定變量呈正態分布;模型受樣本極端值的影響往往比較大。
4.人工神經網絡法
近些年來, 隨著信用評分領域的研究深入, 有學者將人工智能領域的一些模型算法引入到了信用評分研究中, 人工神經網絡模型為典型代表。人工神經網絡是由大量簡單的基本元件――神經元相互連接而成的自適應非線性動態系統,是一種把各種投入要素通過復雜的網絡轉換成產出的信息加工結構。神經網絡模型本質上所解決的問題仍是分類或者說模式識別問題, 但其原理卻與其做方法迥然相異。人工神經網絡有多種模型, 比如BP神經網絡、RBF神經網絡、Hopfield網絡等。BP神經網絡為目前研究最為成熟、算法最為穩定同時應用也最為廣泛的一種神經網絡模型。
神經網絡模型的優點:有效地捕捉數據中非線性,非可加性的數量關系;適用于二元性,多元性和連續性的目標變量;能處理連續性和類別性的預測變量。缺點:基本上是一個黑箱方案,難以理解;如果不經過仔細控制,容易微調于樣本數據,從而不具備充分的抗震蕩性和穩定性。
三、結語
信用評分作為一種嚴謹的基于統計學等理論的決策手段, 正在逐漸被我國商業銀行重視。信用評分系統的建設在我國屬于起步階段,應逐步建設適合我國特色的、高水平的信貸決策支持制度不但需要借鑒國外已有的理論研究成果和實踐方案, 更需要我國學界的創新或結合我國本土數據的實證研究。
參考文獻:
[1]陳 建:信用評分模型技術與應用.中國財政經濟出版社,2005
篇4
關鍵詞 河流,人工神經網絡,水質,Gauss Newton算法
1.前言
河流水體作為淡水資源的重要組成部分,在灌溉、人類生活用水的供應、生活污水和工業廢水的接納等密切相關。水質的評價是一個復雜的問題,目前主要的評價方法主要有兩大類,一類是以水質的物理化學參數的實測值為依據的評價方法;另一類是以水生物種群與水質的關系為依據的生物學評價方法。較多采用的是物理化學參數評價方法,其中又分單因子法和多項參數綜合評價法。前者即用某一參數的實測濃度代表值與水質標準對比,判斷水質的優劣或適用程度。多項參數綜合評價法即把選用的若干參數綜合成一個概括的指數來評價水質。多因子指數評價法用兩種指數即參數權重評分疊加型指數和參數相對質量疊加型指數兩種。參數權重評分疊加型指數的計算方法是,選定若干評價參數,按各項參數對水質影響的程度定出權系數,然后將各參數分成若干等級,按質量優劣評分,最后將各參數的評分相加,求出綜合水質指數。數值大表示水質好,數值小表示水質差。用這種指數表示水質,方法簡明,計算方便。參數相對質量疊加型指數的計算方法是,選定若干評價參數,把各參數的實際濃度與其相應的評價標準濃度相比,求出各參數的相對質量指數,然后求總和值。根據生物與環境條件相適應的原理建立起來的生物學評價方法,通過觀測水生物的受害癥狀或種群組成,可以反映出水環境質量的綜合狀況,因而既可對水環境質量作回顧評價,又可對擬建工程的生態效應作影響評價,是物理化學參數評價方法的補充。缺點是難確定水污染物的性質和含量。隨著計算機計算的發展,神經網絡也被越來越多用在水質評價工程中。神經網絡是一種非常適合解決復雜的非線性響應關系的數學模型。它可以用在分類、聚類、預測等方面,通過歷史數據對神經網絡進行訓練,網絡可以學習到數據中隱含的非線性映射關系。本文試圖應用人工神經網絡,來評價河流的水質,并對訓練方法進行探討,采用MATLAB語言編寫相應的評價程序進行實例評價,試圖找出此種算法和傳統BP算法在水質綜合評價中的優缺點。
2.網絡結構和數據預處理
采用BP ANN網絡,網絡分一層輸入層、一層輸出層和幾層隱含層組成。同一層之間的神經元之間沒有聯系,相鄰兩層的神經元之間通過連接權值和激活函數進行連接。在訓練的過程中,通過不斷調節連接權值來使網絡的仿真結果逐漸接近期望值。本文采用4層的網絡結構,兩層隱含層都是4個神經元節點,輸出層只有一個節點,代表評價結果,輸入層5個節點,代表5個評價參數。
評價標準選《國家地表水環境標準》(GB3838-2002),訓練樣本直接由該標準生成。輸出層和輸入層進行線性歸一化處理。
3.Gauss Newton算法
針對傳統BP ANN算法的收斂速度慢,魯棒性弱,容易陷入局部極小值的缺點,采用了改進的算法Gauss- ANN算法。激活函數采用sigmoid函數,層與層之間的連接權值和閾值隨著每次的訓練修正出新值。每次訓練用Gauss- ANN方法計算出權值和閾值的修正值。
4.結果
為了驗證Gauss-Newton算法的性能,將它與傳統BP算法進行比較。使用生成的訓練樣本進行訓練,兩種算法各訓練10次,每次訓練最多迭代200000次,網絡誤差函數為所有訓練樣本誤差的平方和。誤差為3.0的時候認為網絡收斂。表1為訓練過程對比,表2為水質的評價結果。從結果看,水質都在地表水環境質量標準里面的1類水水平。
表1 兩種算法訓練和評價結果比較
傳統BP算法 RPROP算法
迭代次數 200000 22700
誤差 12.25 6.0
收斂次數 1 3
訓練樣本準確率(%) 75.1 92.5
驗證樣本準確率(%) 74.2 91.2
表2 評價結果
NH3-N TP COD BOD 評價結果
斷面I 0.002 0.034 3 1.0 1.22
斷面II 0.002 0.020 4 1.0 1.17
斷面III 0.002 0.012 2 1.0 1.13
5.建議
(1)使用的訓練算法,使神經網絡的收斂速度加快,魯棒性加強,適合用在水質評價工作。
篇5
關鍵詞: 計算機網絡安全; 安全評價; 神經網絡; 遺傳神經網絡
中圖分類號: TN915.08?34 文獻標識碼: A 文章編號: 1004?373X(2017)03?0089?03
Computer network security evaluation simulation model based on neural network
WEN Siqin1, WANG Biao2
(1. Department of Computer Science and Technology, Hohhot Minzu College, Hohhot 010051, China;
2. College of Computer Information Management, Inner Mongolia University of Finance and Economics, Hohhot 010051, China)
Abstract: The applications of the complex network algorithm, neural network algorithm and genetic algorithm in computer network security evaluation are introduced. On the basis of the BP neural network algorithm, the genetic algorithm is used to improve the computer network security evaluation simulation model. The application of GABP neural network algorithm in computer network security evaluation is studied deeply. The simulation model has high theoretical significance and far?reaching application value for the computer network security evaluation.
Keywords: computer network security; security evaluation; neural network; genetic neural network
0 引 言
隨著科學技術的不斷進步,Internet和計算機網絡技術越來越深入到了政治、經濟、軍事等各個層面。網絡技術發展的越快,網絡安全問題越突出。目前,信息系統存在著很大安全風險,受到嚴重的威脅,許多網絡入侵者針對計算機網絡結構的復雜性和規模龐大性,利用網絡系統漏洞或安全缺陷進行攻擊[1?2]。
目前,國內存在不少的計算機網絡安全評估系統,但是僅有少部分在使用,其主要任務是檢測網絡安全存在的漏洞,對于網絡安全的風險評估涉及不多或只是簡單的分析,并且基本上沒有涉及計算機網絡安全態勢評估和預測[3]。由于網絡安全評估系統沒有能夠將評估技術和檢測技術相結合,所以沒有形成一個框架和一個有力支撐平臺的網絡信息安全測試評估體系,用于指導各行業網絡安全風險評估和檢測[4]。因此,需要建立一個包括多種檢測方法和風險評估手段的全面網絡安全評估系統。本文在BP神經網絡和遺傳算法的基礎上,研究并制定了一個簡單、有效、實用的計算機網絡安全評估仿真模型。
1 基于GABP神經網絡的計算機網絡安全評價
仿真模型
1.1 染色串與權系值的編碼映射
以下為BP神經網絡的訓練結果,分為4個矩陣。在設定時,輸入節點、隱含節點和輸出節點分別設置為[i,][j,][k。]
(1) 輸入層到隱含層之間的權值矩陣為:
(2) 隱含層閾值矩陣:
[γ=γ1γ2?γj] (2)
(3) 隱含層到輸出層的權值矩陣:
(4) 輸出層的閾值矩陣:
[h=h1h2?hj] (4)
為利用GA進行BP神經網絡的權值優化,對上述四個矩陣進行優化,形成染色體串,并進行編碼,如圖1所示。
1.2 自適應函數
使用GA算法的具體目的是為了優化權值,首先要設定一個函數,這個函數基于輸出層誤差并且是一個能夠評價染色體具有自適應功能的函數,具體定義為:
[ft=1E,t=1,2,3,…] (5)
其中[minE=12i=1r(yak-yi)2,][yak]和[yi]分別表示期望輸出和實際輸出。
1.3 GABP算法
GABP算法的具w實現步驟如下:
1.4 BP算法實現
BP算法如下:
[Wij(K+1)=Wij(K)-lr-w??Ek?Wij, i=1,2,…,r;j=1,2,…,m] (6)
式中:[?Ek?Wij=?Ek?netijOjk=δjkOjk,]其中[Ojk]表示前一層第[j]個單元輸出,[Ojk=fnetjk]。
1.5 GA算法實現
(1) 權系編碼
本系統對神經網絡權值系數進行碼時采用的是實數編碼,因為系統內包含96個變量,但是若是一般的情況,遺傳算法基本采用二進制編碼。
[w1,1,w2,1,…,w17,1φ1w1,2…w17,5φ2…φ17b1b2φ18]
其中,[φi](i=1,2,…,17)是指單元數目。
(2) 初始化及自適應函數
GA算法搜索最優函數參數[θc=cij,bij,]使得[minE=12i=1r(yak-yi)2,][yak]和[yi]分別表示期望輸出和實際輸出,從而求得每個染色體的適應度值[ft=1E(t=1,2,3,…)。]
(3) 比率選擇
比率選擇是基于“賭輪法”進行概率分布的選擇過程:
計算單個染色體的適應值eval(θi);
計算群體的總適應值:[f=i=1popsizeeval(θ);]
計算每一個染色體的被選擇概率:[Pt=eval(θt)F;]
計算每個染色體的累積概率:[qt=j=1tPj 。]
羅盤轉動popsize次,按照相應的方法選擇一個單個染色體。
(4) 雜交
雜交的兩種方式分別是按照遺傳算法進行的雜交,屬于簡單雜交,與二進制雜交類似,就是在浮點數之間進行具體的劃分;另一種叫做算數雜交,就是將不同的兩個向量進行組合。
(5) 變異
本系統采用均勻變異,也就是被變異個體必須要有較好的適應值,才能夠被接受為新的成員,替代變異前的群體,否則變異體被消去,群體保持不變。
2 仿真模型性能分析
計算機的網絡安全等級按照網絡安全評價的特點劃分為四級,A級對應安全程度為很高,B級對應安全程度為較高,C級對應安全程度為一般,D級對應安全程度為較低。在本系統中,作為輸入值的是計算機17項網絡安全指標的具體分值,而將安全綜合評價分值作為網絡期望的惟一一項輸出項。BP神經網絡的輸入數值有一定的要求,需要一定量的樣本且具有一致性的特點,并對其進行訓練,同時在對其評價時也采用訓練好的網絡,但是就現在來看符合要求的數據相對來說較少,如表1所示,本系統評價數據時采用12組典型的網絡安全單項指標。在進行綜合評價時采用層次分析的方法,并作為訓練樣本訓練BP神經網絡,以檢驗該仿真模型的安全評價效果。
本模型用Matlab語言實現,神經網絡的隱藏節點為5,表2為對最后樣本進行評價,閾值調整系數[β]的值為0.1,權值調整參數[α]為0.1,經過1 000次的訓練,1‰的學習精度,所得結果收斂于之前所要求的誤差范圍內。可知該仿真模型是有效且可靠的,實際輸出的數值與期望值的相對誤差低于3.7%,其安全等級為B級與期望值相同。
3 結 論
通過分析BP神經網絡系統和遺傳算法的優缺點,針對BP神經網絡收斂速率低和搜索能力弱等問題,采用GA算法進行補償,并設計了GABP計算機網絡安全評價仿真模型,并對評價結果進行相應的分析,認為該評價仿真模型性能比較優良,具有較高的理論價值和廣闊的應用前景。
參考文獻
[1] RAYNUS J. Software process improvement with CMM [M]. Norwood: Manning Publications, 2009.
[2] 司奇杰.基于圖論的網絡安全風險評估方法的研究[D].青島:青島大學,2006.
[3] 張天舟.GABP算法的復雜計算機網絡安全評價中的應用[D].成都:電子科技大學,2015.
[4] KUCHANA P.Java軟件結構設計模式標準指南[M].北京:電子工業出版社,2006:358.
[5] 占俊.基于自適應BP神經網絡的計算機網絡安全評價[J].現代電子技術,2015,38(23):85?88.
[6] 于群,馮玲.基于BP神經網絡的網絡安全評價方法研究[J].計算機工程與設計,2008(8):1118?1125.
[7] SUR S, BOTHRA A K, SEN A. Bond rating: a non?conservative application of neural networks [C]// Proceedings of 1988 IEEE International Conference on Neural Networks. San Diego: IEEE, 1988: 443?450.
篇6
關鍵詞:脫機手寫藏文識別;GABP神經網絡;特征提取
中圖分類號:TP317.2 文獻標識碼:A 文章編號:16727800(2013)009007902
基金項目:青海省普通高等學校研究生創新項目
作者簡介:梁會方(1987-),女,青海師范大學計算機學院碩士研究生,研究方向為藏文信息處理。
0引言
模式識別在各個領域中的應用非常多,從這些應用中可以看到它們的共性,即一個模式識別系統通常包括原始數據的獲取和預處理、特征提取與選擇、分類或聚類、后處理4個主要部分。其中藏文識別需要解決的關鍵問題是模式分類,其理論基礎是模式識別技術,其中最常用的方法是統計模式識別方法和結構模式識別方法。近年來也有很多人將隱馬爾科夫模型用于手寫識別領域,取得了良好的效果。本文主要介紹統計模式識別、結構模式識別以及使用較多的隱馬爾科夫模型和人工神經網絡模型。
1模式識別
1.1統計模式識別
統計模式識別是依據統計的原理來建立分類器,其分類器設計方法主要有貝葉斯決策理論和判別函數。貝葉斯決策理論基本思想為:在類條件概率密度和先驗概率已知或者可以估計的條件下,利用貝葉斯公式比較樣本屬于兩類的后驗概率,然后將類別決策為后驗概率大的一類,從而使總體錯誤率最小。常見的一種貝葉斯決策為最小錯誤率貝葉斯決策[1],其決策規律如下:
如果P(w\-1|x)>P(w\-2|x),則x∈w\-1;反之,則x∈w\-2。
通過貝葉斯公式 ,后驗概率的比較可以轉化為類條件概率密度的比較,離散情況下也是類條件概率的比較,而這種條件概率或條件密度則反映了在各類模型下觀察到當前樣本的可能性或似然度,因此可以定義兩類之間的似然比或對數似然比進行決策。
該方法的主要優點是抗干擾能力強,且易于實現,但是應用中的主要缺點是細分能力較弱,區分相似字的能力較差。
1.2結構模式識別
藏文文字結構復雜,但同時具有相當的規律性,這種文字都含有豐富的結構信息,因此可以獲取這些組字的規律以及藏文字符信息的結構特征作為識別的依據。結構模式識別[2]的主要思想就是文字圖像劃分為很多基本組合,然后利用一些相似性度量準則確定出這些組合之間的關系,以及這些字符圖像模式和一些典型模式之間利用一些相似性度量準則確定的相似程度。
1.3隱馬爾科夫模型
HMM模型[3]是將特征值和一個狀態轉移模型聯系起來,它是一個雙重隨機過程,其中狀態轉移過程是不可觀察即隱藏的馬爾科夫模型,而可觀察事件的隨機過程是隱藏狀態轉換過程的隨機函數。HMM有3個基本問題及常用算法:①評估問題:前后向遞推算法;②解碼問題:Viterbi算法;③學習問題:BaumWelch算法。
HMM模型可以用一種特定的神經網絡模型來模擬[4],該模型收斂性較差,易陷入局部極值。
1.4人工神經網絡模型
神經系統是由大量神經細胞構成的復雜網絡,是一個由大量簡單的處理單元組成的高度復雜的大規模非線性自適應系統。神經網絡是一個高度并行的分布處理結構,它是非線性的,具有自組織和自學習的能力。神經網絡與傳統的模式識別不同,能夠直接輸入數據并進行學習,用樣本訓練網絡并實現識別。它是非參數的識別方法,不需要傳統方法中的建模、參數估計以及參數校驗、重新建模等復雜過程。
在字符識別領域常用的網絡模型有:BP網絡、RBF網絡、自組織網絡、Hopfield網絡、SVM網絡等。
BP網絡是一種多層前饋網絡[5],是一種依靠反饋值來不斷調整節點之間的連接權值而構建的一種網絡模型。它由輸入層、隱藏層、輸出層相互連接構成,其結構如圖1所示。
網絡的學習訓練過程由信號的正向傳播與誤差的反向傳播組成,其中正向傳播是把輸入樣本從輸入層輸入,經各隱層處理后傳向輸出層,若輸出層的實際輸出和期望輸出不符,則轉入誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形式通過隱層向輸入層逐層反傳,并將誤差分攤給各層的所有單元,從而獲得各層單元的誤差信號,此誤差信號即作為修正各單元權值的依據。各層權值調整過程是周而復始地進行,直到網絡輸出的誤差減少到可以接受的程度。
2遺傳算法改進的BP網絡
藏文字符識別是中國多文種信息處理系統的重要組成部分,脫機手寫藏文識別在很多領域有廣闊的使用前景。在現有漢字以及數字識別方法的基礎上,提出了很多預處理和模式識別的方法,大大提高了手寫藏文的識別精度。為了提高脫機手寫藏文識別精度,本文將GABP神經網絡應用于脫機手寫藏文識別分析中,識別過程分為兩步:訓練階段、識別階段。在訓練階段,提取訓練樣本集的特征,建立網絡模型,以輸入為目標,保存網絡的連接權值和閾值以及字符特征;在識別階段,將待識別的藏文特征送入網絡運行,待網絡運行到平衡狀態,將輸出結果與數字特征庫的值進行比較,識別出藏文字符。
BP網絡是目前應用最多的神經網絡,這主要是因為BP算法[6]有較強的非線性映射能力、泛化能力以及容錯能力。但是它本身存在大量的問題,突出表現在:BP算法的學習速度很慢,需要較長的訓練時間;網絡訓練失敗的可能性較大,易陷入局部極小點,逼近局部極小值[5]。為了改善這些缺點,通常會改變隱層數量,隱藏層一般根據具體情況制定,但是增加隱藏層的層數和隱藏層神經元個數不一定總能夠提高網絡精度和表達能力。而遺傳算法的基本作用對象是多個可行解的集合,而非單個可行解。它同時處理多個個體,同時對搜索空間中的多個解進行評估,使得遺傳算法具有較好的全局搜索性能,減少了陷于局部最優解的可能性,同時,它本身具有良好的并行性。所以用遺傳算法學習神經網絡的權重及拓撲結構[6],對神經網絡進行改進,提高了神經網絡的精度,同時也提高了遺傳算法的局部搜索能力。在模式分類應用中進行數據預處理,利用遺傳算法進行特征提取,其后用神經網絡進行分類。GABP混合學習算法結構如圖2所示,采用GA優化BP網絡權值。
①BP網絡參數初始化;
②按BP網絡的權值和閾值連接隨機產生染色體;
③計算染色體的適應值以及迭代次數,如果達到要求,則結束GA算法,產生最佳個體,如果沒有達到,進行下一步;
④按適應度進行選擇、交叉和變異操作,產生新的染色體,重復上一步;
⑤將產生的最好個體依次映射到BP網絡中對應的權值和閾值,并將此作為BP網絡的初始值;
⑥利用BP網絡,判斷誤差是否達到預定要求,達到就結束,如果沒有,則BP網絡反向傳播,返回上一步。
3結語
本文分析了文字識別的常用方法及其優缺點,著重分析了手寫藏文識別征提取和分類器設計兩個關鍵技術,并對藏文識別研究領域今后的研究方向和發展前景提出了一些看法。在原BP網絡的基礎上改進GABP神經網絡,可以提高其學習速度,加快收斂速度,相比而言識別精度較高、訓練時間較短,且具有較強的魯棒性。由于神經網絡和遺傳算法已經發展得比較成熟,將兩者結合的方法用于藏文識別,具有很大的實用價值,同時將GABP神經網絡用于藏文識別,有助于神經網絡用于藏文識別的可能性和有效性。
參考文獻:
[1]張學工.模式識別[M].北京:清華大學出版社,2010.
[2]吳剛,德熙嘉措,黃鶴鳴.印刷體藏文識別技術[C].第十屆全國少數民族語言文字信息處理學術研討會論文集,2005.
[3]劉衛,李和成.基于局部保持投影與隱馬爾可夫模型的維文字符識別[J].計算機應用,2012,32(8).
[4]梁弼,王維蘭,錢建軍.基于HMM的分類器在聯機手寫藏文識別中的應用[J].微電子學與計算機,2009,26(4).
篇7
【關鍵詞】模糊神經網絡;模糊控制;模糊辨識;規則抽取;學習算法
1 問題的提出
模糊邏輯和神經網絡都適于處理那些被控對象模型難以建立或存在大的不確定性和強非線性的系統. 由于神經網絡在分布式處理,學習能力,魯棒性,泛化能力方面具有明顯的優勢,而模糊系統的優勢在于良好的可讀性和可分析性,因此,將神經網絡的思想融合到模糊辨識和模糊控制模型中就可以實現兩者的優勢互補.模糊神經網絡控制針對雙方的特點相互借鑒和利用,比單獨的神經網絡控制或單獨的模糊控制具有更好的控制性能. 隨著智能控制理論的發展,模糊神經網絡控,難以實現系統的實時控制制受到控制界的廣泛關注,相繼提出了許多控制和辨識的方法.
本文總結了近期我國學者提出的幾種新的基于模糊神經網絡的系統辨識與控制方法,并通過仿真進行了各自特點的比較,希望可以通過這些比較,對這些研究加以改進和應用.
2 模糊神經網絡
2.1 仿射非線性系統
為了實現非線性系統的實時控制,基于徑向基函數網絡與TSK 型模糊推理系統的函數等價的特點,有學者提出了一種動態模糊神經網絡的在線自組織線性算法,從而實現了系統的結構和參數的同時在線自適應. 學習速度快是這種模糊神經網絡的突出特點.在此基礎上,針對未知仿射非線性SISO 系統提出了一種在線自適應模糊神經網絡辨識與控制方法. 該方法首先采用G2FNN 學習算法實時建模系統的逆動態,實現模糊神經網絡的結構和參數的同時在線學習. 然后,設計一個魯棒補償器與辨識好的模糊神經網絡組成復合控制器,并基于Lyapunov 穩定性理論設計自適應控制律進一步在線調整網絡的權值,實現系統的跟蹤控制.
控制目標是設計一個由G2FNN 控制器和魯棒控制器構成的模糊神經網絡自適應魯棒控制器, 使得系統的輸出y 跟蹤給定的參考輸入信號ym ,對于一個給定的干擾衰減水平常數ρ>0 ,獲得良好的H ∞跟蹤性能指標.
廣義模糊神經網絡G2FNN 由四層網絡結構組成,分別實現模糊邏輯的模糊化、模糊推理和解模糊化過程. 圖1 所示為單個輸出結點G2FNN 的結構.
圖1 G2FNN 的結構
G2FNN 中有兩類學習算法,即結構學習和參數學習. 結構學習是通過對每個新的訓練數據計算出G2FNN 的輸出與期望輸出之間的偏差來決定是否產生新的模糊規則或刪除多余的規則; 參數學習有兩個方面,一是當系統產生第N r+1條新的模糊規則時確定新規則前提參數ci ( N r+1) ,σi(N r+1),另一個是當不需要進行結構學習時對第三層與第四層網絡之間的權值向量W 的調節.
第一層直接將輸入語言變量xi(i =1,2,…Ni) 傳遞到下一層.
第二層計算輸入分量隸屬于各語言變量值模糊集合的隸屬度,隸屬度函數為高斯函數:
式中: cij ,σij (i =1 ,2 , …, N r) 分別是第i 個輸入語言變量xi的第j 條隸屬度函數的中心和寬度;N r 為系統產生的規則數.
第三層是規則層, 這一層的每個結點代表一條模糊規則,它的作用是用來匹配模糊規則的前提,每個結點的輸出可以表示為:
第四層是結點定義語言變量的輸出, 它的作用是用來匹配模糊規則的結論,實現TSK型模糊推理系統的解模糊化過程. 其輸出為:
這里, Wj 為第三層與第四層之間的權值.
使用倒立擺系統方程進行仿真研究, 倒立擺的動態方程為:
系統仿真結果如圖(圖2):
圖2 自適應模糊神經網絡控制系統跟蹤軌跡
由圖可知,所設計的控制器實現了模糊神經網絡的結構和參數的在線自適應,輸出跟蹤參考輸入信號,系統的誤差收斂速度快,魯棒性好.
由仿真可見,該方法不僅實現了模糊控制規則的自動產生和刪除,還保證了閉環系統的全局穩定,并使外部干擾和模糊神經網絡逼近誤差對系統跟蹤誤差的影響衰減到一個指定的水平.本方法不需要知道系統的控制增益,設計了一個魯棒補償器來抑制模糊神經網絡逼近誤差和外部干擾的影響. 系統魯棒性好,抗干擾能力強,所設計的控制器可用于系統的實時控制.
2.2 網絡參數自學習模糊控制
在模糊系統的許多應用中, 如模糊推理、模糊邏輯控制器、模糊分類器等, 提取模糊規則是一個重要步驟。在新興的研究領域――數據挖掘中, 提取模糊規則也起著重要作用。然而模糊控制規則的獲得通過由專家經驗給出, 這就存在諸如控制規則不夠客觀、專家經驗難以獲得等問題。因此研究模糊規則的自動生成有著重要的理論和應用價值。在許多問題中, 希望提取出來的模糊規則能夠用語言變量表示, 以便揭示模糊系統內部的規律, 同時這也是模糊系統的一個特色。為了提高抽取復雜系統模糊if- then 規則的質量, 將具有極好學習能力的神經網絡與模糊推理系統相結合, 產生了神經- 模糊建模方法, 這種方法綜合了兩種形式的特點, 提供了一種從數值數據集抽取模糊規則的有效框架。有關領域的研究者們提出了多種模糊邏輯與神經網絡結合的方法, 給出了各種用于提取模糊if- then 規則的神經網絡結構框架。
由于徑向基函數網絡(RBFN)以其結構簡單、良好的逼近能力、獨特點可分解性以及和模糊推理系統的函數等價性, 因此可應用于模糊系統。然而, 當一個模糊系統使用學習算法被訓練之后可能會影響其可解釋性, 也就是使得模糊系統的可理解性下降, 而可解釋性是模糊系統的一個突出特點。為了讓模糊系統在具有自學習和自組織性的同時也具有可解釋性這一突出特點, 以下提出了一種能夠有效表達模糊系統可解釋性RBF 網絡結構, 并進行了仿真實驗, 取得較好的仿真結果。
根據測量數據采用各種神經網絡自動提取模糊規則的方法, 在輸入輸出空間劃分部分運用的是聚類的思想, 而大多數其輸入輸出空間劃分數( 聚類數) 是預先給定, 這不免帶有一定的盲目性, 直接影響規則的提取質量。為此, 本文關于初始聚類中心及聚類中心個數的確定方法采用文獻7 提出的一種聚類神經網絡初始聚類中心的確定方法。利用這種基于密度和基于網格的聚類方法, 能自動地進行樣本空間的劃分, 針對樣本空間劃分過程中不同階段的特點, 采用了不同的處理手段, 使得該方法在樣本空間劃分數、聚類學習時間等方面都具有比較明顯的優越性(圖3)。
圖3 仿真實驗結果
下面針對每個仿真曲面分別給出一組訓練樣本點為500 個, 評價樣本點為100 個的仿真結果圖, 如圖4所示:
圖4
從圖中, 可見各樣本數據的預測值與實際值吻合的比較好, 只有個別的點誤差較大, 這與訓練樣本點的選取有關。另外, 在系統模型建立好后, 為了檢驗模型的效果, 筆者另外又抽取幾組數據樣本作為評價樣本, 結果發現預測值與實際值相比, 誤差也在允許范圍內, 效果比較令人滿意。
本方法的創新點是提出了一種能夠有效表達模糊系統可解釋性RBF 網絡結構, 并給出了一種有效的提取模糊規則的算法, 這就使模糊系統在具有自學習和自組織性的同時也具有可解釋性這一突出特點。利用這種網絡結構和算法進行控制器設計, 至少有以下的優點:
(1)模糊系統具有很好的可解釋性。
(2)該算法克服了RBF 中心個數選擇的隨機性,較好地解決了樣本聚類。
(3)提出的增量數據處理方法保證了網絡結構能適應不斷擴大的數據集。
綜上所述, 這種RBF 模糊神經網絡控制算法,對于研究非線性, 時變的多變量系統, 提供了一種新的思路, 具有一定的理論意義和工程應用價值。
2.3 其他一些方法
其他的一些最近被提出的,如基于神經模糊網絡的方法,基于模糊推理網絡的方法(見圖5), 基于非線性自回歸滑動平均模型等,都取得了很好的控制和辨識效果,具有有良好的發展和應用前景.
圖5 6層神經模糊推理網絡
3 總結
本文系統地敘述了目前研究比較熱門的近期我國學者提出的幾種新的基于模糊神經網絡的系統辨識與控制方法的研究成果,并簡要分析了各種方法的優缺點. 限于篇幅,除本文介紹的幾種方法外, 還有一些研究成果沒有列出. 本文的目的是為在這方面進行研究的學者提供一個系統的參考和建議.
【參考文獻】
[1]李佳寧,易建強,等.一種新的基于神經模糊推理網絡的復雜系統模糊辨識方法[J].自動化學報,2006,Vol.32,No.5.
[2]王鍇,王占林,付永領,祁曉野. 基于PNN與FNN模型神經網絡控制器設計與分析[J].北京航空航天大學學報,Vol.32, No.9,2006.
[3]李曉秀,劉國榮,沈細群.仿射非線性系統的在線自適應模糊神經網絡辨識與控制[J].湖南大學學報(自然科學版),2006,8,33(4).
[4]李延新,李光宇,孫輝,李文.基于RBF 網絡的參數自學習模糊控制的研究[J].微計算機信息,2006,8,22(8).
篇8
關鍵詞:電網規劃;交流線路;線路長度;多元回歸;神經網絡 文獻標識碼:A
中圖分類號:TP273 文章編號:1009-2374(2016)22-0062-03 DOI:10.13535/ki.11-4406/n.2016.22.030
1 概述
電網規劃是電網安全穩定運行的基石,電網規劃數據的準確性尤其是數據中交流架空線路參數的準確性對規劃結果的合理性具有重要影響。
對于輸電線路的參數辨識方法較多,例如增廣狀態估計法、偏移向量法、卡爾曼濾波法等傳統數值方法,這些方法能較好地逼滑目標函數的極值點,但其迭代過程都依賴量測方程的增廣雅可比矩陣,苛刻地要求量測系統必須同時滿足狀態可觀測和參數可估計條件,并且可能遭受數值問題的干擾。參考文獻[4]中提出一種線路參數估計啟發式方法,將目標函數從增廣解空間垂直投影到參數空間,以啟發式方法搜索參數空間,尋找投影下表面的下確解,較好地解決了數值問題的干擾。參考文獻[5]在基于雙端PMU數據的線路線性數學模型和相應的最小二乘辨識的基礎上,引入基于IGG法的抗差準則。
2 BP人工神經網絡
2.1 BP神經網絡模型
BP神經網絡由輸入層、隱含層和輸出層三層網絡組成。BP神經網絡的核心在于其誤差反向傳播,反向傳播的學習規則是基于梯度下降法,由輸出端的實際輸出值與期望輸出值的誤差平方和進行鏈式求導,從而各層之間的連接權值。
2.2 BP神經網絡模型算法優缺點分析
神經網絡可以充分逼近任意復雜的非線性關系;采用并行分布處理方法;可學習和自適應不確定的系統等。
BP神經網絡算法的極小化代價函數易產生收斂慢或者振蕩的現象;代價函數不是二次的,而是非凸的,存在許多局部極小點的超曲面。這也導致神經網絡算法對初值的要求較高,給定較好的初值,BP神經網絡的收斂速度會大大加快,而且不易陷入局部極小值。
3 線路參數辨識中多元回歸模型與神經網絡的結合
3.1 線路長度回歸計算模型
實際工程中,線路長度與阻抗導納值之間的關系是確定的,對于架空線路,當長度小于300km時,其阻抗導納參數等于該型號架空線路單位長度的阻抗導納值與線路長度的乘積,此時阻抗導納參數與線路長度為簡單的線性關系;而當長度大于300km時,其阻抗導納參數的值就需要考慮長距離輸電線路分布參數的情況,此時并不能用簡單的線性關系來描述。
在建立線路長度回歸計算模型時,首先忽略線路的分布參數特性,建立回歸模型如下:
式中:L表示線路長度;lX表示通過電抗參數除以單位長度的電抗值得到的線路長度;lR表示通過電阻參數得到的線路長度;lG表示通過電導參數得到的線路長度;lB表示通過電納參數得到的線路長度;K1、K2、K3、K4、K5分別為各自的系數值。
回歸方程的求解采用最小二乘法,目標是使長度的計算值與長度的實際值差值的平方和達到最小,目標函數為:
J=∑Ni=1(Li~-Li)2
式中:J為線路長度計算值與實際值差值平方和;N為樣本線路的條數;Li~為線路長度的實際值;Li為線路長度通過回歸模型的計算值。
3.2 BP神經網絡模型的建立
當考慮線路長度的分布參數情況時,線路參數之間就不僅是簡單的線性關系,本文建立了神經網絡模型,輸入層為線路的電阻、電抗、電導和電納參數值;隱含層包含5個神經元;輸出層為線路的長度值。
如圖1所示,神經網絡模型的輸入層為線路的阻抗導納值;輸出層結果為線路長度,其中隱含層到輸出層的連接權值采用3.1中回歸模型的5個系數值作為初始值,然后輸入樣本值對神經網絡進行訓練,直到輸出實際值與理想值滿足誤差要求時停止。
4 回歸分析與神經網絡結合模型在線路參數辨識中的應用
4.1 線路參數辨識流程
根據以下步驟建立線路參數辨識模型,完成對BPA中交流架空線路的電阻、電抗、電導和電納參數的辨識。
第一步:提取BPA中所有交流架空線路的完整參數信息。
第二步:訓練回歸模型和神經網絡模型,直至滿足收斂標準。
第三步:判斷線路長度參數是否填寫。如果已填寫線路長度則進入步驟四,若沒有填寫線路長度進入步驟五。
第四步:根據已訓練完成的神經網絡模型反推線路的長度值,并比較線路長度的訓練值與長度填寫值之間的差距,如果兩者差距在合理范圍之內,進入步驟六,如果兩者差距過大,則采用長度訓練值進行后續的參數辨識過程。
第五步:根據已訓練完成的神經網絡模型反推線路的長度值。
第六步:根據單位標準參數值與線路長度計算得到線路參數的標準值,將標準值與線路參數的實際填寫值進行比對,如果計算得到的標準值與實際填寫值之差沒有超過閾度值,則進入步驟七;反之進入步驟八。
第七步:線路參數填寫合理,進入第十步。
第八步:線路參數填寫存在問題并按照計算得到的標準值作為推薦的修改值,并標識修改后的線路。
第九步:輸出標識的不合理數據,由規劃人員審核是否接受建議的修改值。
第十步:結束參數辨識。
4.2 辨識結果分析
4.2.1 線路長度訓練結果分析。如圖2所示,采用100條線路測試樣例,長度值由小到大進行排序,折線表示線路長度的實際值,折線表示的是通過本論文所建立的神經網絡模型得到的線路長度計算值。
對模型的訓練誤差做進一步分析可得:
訓練長度的平均誤差為1.35;訓練長度誤差最大值為8.9;訓練長度誤差最小值為0;訓練長度誤差均方差為1.68。
由以上數據可以看出,本論文所提的線路長度訓練算法準確度較高,能夠滿足參數辨識工作的需要。
4.2.2 線路參數辨識結果。算例采用數據為某電網某年的實際BPA規劃數據,辨識結果如表1所示:
由表1和表2的對比可以看出,上述交流線路的電納參數的填寫的確存在問題,由表2可以看出線路電阻和電抗的填寫值與標準值的差距很小,這說明線路填寫的電阻和電抗值是合理的,而電納的填寫值與標準值差距較大,由此可以說明線路電納值的填寫有誤;將表1中的辨識電納結果值與表2中的標準電納值做比較可以發現兩者之間差距不大,如表3所示,這說明采用該算法進行線路參數的辨識是有效合理的,辨識的結果值具有很大的參考價值。以上結果證明了算法的有效性,可以對參數填寫存在問題的交流線路進行辨識,并給出準確性較高的辨識結果值作為建議修正值。
5 結語
本文提出了電網規劃數據中輸電線路參數辨識算法。算法的創新點是根據線路阻抗導納參數與長度之間的潛在關系,首先建立線性回歸模型得到回歸系數作為BP神經網絡模型隱含層到輸出層的初始連接權值,然后建立神經網絡模型,訓練線路參數與線路長度之間的非線性關系。采用電網規劃中的實際BPA數據進行了算法有效性的驗證,結果表明本文提出的解決思路和算法對規劃工作具有很大的實際應用價值。
參考文獻
[1] 于爾鏗.電力系統狀態估計[M].北京:水利電力出
版社,1985.
[2] Liu W H E,Wu F F,Lun S M.Estimation of parameter
errors from measurement residuals in stateestimation[J].
IEEE Transactions on Power Systems,1992,7(1).
[3] Slutsker I W,Clements K A.Real time recursive
parameter estimation in energy management systems[J].
IEEE Transactions on Power Systems,1996,11(3).
[4] 趙紅嘎,薛禹勝,汪德星,等.計及PMU支路電流
相量的狀態估計模型[J].電力系統自動化,2004,28
(17).
[5] 戴長春,王正風,張兆陽,等.基于IGG準則的抗差
最小二乘輸電線路參數辨識[J].現代電力,2014,31
(2).
[6] 陳珩.電力系統穩態分析[M].北京:中國電力出版
社,2007.
[7] 曾明,魏衍.一種BP神經網絡改進算法的研究及應用
[J].微計算機信息,2009,(18).
[8] 孟棟,樊重俊,王家楨.混沌遺傳算法對BP神經網絡
的改進研究[J].數學理論與應用,2014,34(1).
[9] 吳俊利,張步涵,王魁.基于Adaboost的BP神經網
絡改進算法在短期風速預測中的應用[J].電網技術,
2012,36(9).
[10] 楊耿煌,溫渤嬰.基于量子行為粒子群優化――人
工神經網絡的電能質量擾動識別[J].中國電機工程學
報,2008,28(10).
[11] 王越,衛志農,吳佳佳.人工神經網絡預測技術
在微網運行中的應用[J].電力系統及其自動化學報,
2012,24(2).
[12] 龐清樂.基于粗糙集理論的神經網絡預測算法及
其在短期負荷預測中的應用[J].電網技術,2010,34
(12).
[13] 師彪,李郁俠,于新花,等.基于改進粒子群-徑向
基神經網絡模型的短期電力負荷預測[J].電網技術,
2009,33(17).
[14] 王旭東,劉金鳳,張雷.蟻群神經網絡算法在電動
車用直流電機起動過程中的應用[J].中國電機工程學
篇9
【關鍵詞】智能控制 火電廠 熱工自動化
1 智能控制的發展
隨著社會經濟的發展和科學技術的進步,尤其是信息技術的發展,在新時期,人們又將信息論的因素融入到智能控制中、因此發展為例成熟的四元交集,近年來,在計算機技術高速發展的作用下,智能控制技術得到了快速的發展,在火電廠等行業中得到了廣泛的應用。
2 智能控制技術分類
2.1 專家控制
專家系統可以按照其在整個控制系統中的使用繁雜度進行分類,一般分為專家式控制器與專家控制系統兩種,前者適用于數據庫較小、推理較易的控制,常見的就是工業專家控制器,它強調的是邏輯與實算;后者則必須建立在復雜的數據庫和推理上,它具有較為完善的系統結構及處理能力。
2.2 模糊控制
模糊控制建立在模糊推理與模擬思考的基礎上,它可以用于無法創建有效數學模型目標的控制,對于推理及控制系統中的不確定及不精確問題,它能進行有效的管理和控制。模糊數學、模糊邏輯推理以及模糊言語表達是模糊控制技術的建立基礎,它在計算機系統的作用下實現了反饋和閉環的自動控制。模糊控制的控制是通過系統設計人員的控制能力以及控制數據來完成的,它無需進行數學建模;模糊控制有很好的魯棒性,能夠很好地克服一些時變、時滯、非線性以及不確定控制問題;模糊控制使用單純的語言變量,因此很容易建立相應的專家系統。
2.3 復合智能控制
不同智能控制系統具有不同的優缺點,復合智能系統就是將各種不同種類的控制系統進行綜合使用,這樣可以在克服各個控制系統缺點的同時,實現各個系統優點的綜合。目前常用的復合系統是主要有模糊滑模控制、模糊專家控制以及神經網絡模糊控制。
模糊專家系統。該系統的特點就是,即使初始信息獲取的不夠完整或者準確,但該系統還是可以較為有效的人類專家思維模擬,在既有的不完整的信息下提出最優化的解決方案。模糊專家系統是模擬人類有關專家進行有關問題解決的思路,因此是一種較容易開發應用的復合系統。神經網絡模糊系統。神經網絡模糊系統是兩種系統的有效結合,它在實現模糊邏輯利用少量信息進行知識表達的同時,也可通過聯想進行有關知識的應用,這使得該控制方法實現了表達和學習能力的綜合提升。模糊滑模控制。滑模控制最大的優點就是不受系統不確定性的影響,魯棒性較佳;其缺點主要體現在未建模動態及補償干擾的高控制增益,此外在高頻轉換時易產生一定的抖振。綜合模糊系統以后的模糊滑模控制就很好的克服了這些問題,它將二者不依賴性及魯棒性好的優點進行了一定的結合,因而可以有效實現控制對象的轉換。該控制方法具有很好的應用前途。
2.4 神經網絡控制
基于對人類大腦神經元的模擬,神經網絡控制可以通過神經元的權值分布和聯結來進行有關信息的表達。它可以實現有效的神經萬羅模擬,通過權值的調整和學習,經過神經網絡預測、直接或者間接的矯正等實現智能控制,這一過程具有非線性特點,從理論上來說,它可以實現各種非線性圖像。神經網絡控制不僅在并行能力和并行結構上實現有效的控制,而且還有較好的經濟性。
3 智能控制在火電廠熱工自動化的應用
3.1 對中儲式制粉系統的控制
磨負荷信號較難測量、數學建型復雜以及被控參數耦合,是中儲式制粉系統主要的問題所在,此時就可以利用模糊語言規則克服其延遲與非線性的問題,具體內容包括,將操作人員的經驗以數據的形式存入計算機并進行計算,然后通過預測和分級兩種模糊控制的進行控制。
3.2 對給水加藥的控制
給水加藥工作主要涉及的是氨與聯胺的加入,前者可以使給水與高凝結水處于較高的堿性,避免酸性水腐蝕高低壓給水設備;而后者是通過聯胺的化學作用控制水內氧和二氧化碳的含量,從而避免相關設備出現腐蝕、生垢等問題。在給水加藥系統中使用模糊控制系統以后,專家有關經驗的信息就會融入到控制系統中,這樣系統控制的質量就會實現大大的提升。在變頻器輸出頻率的控制中使用模糊控制,能夠有效的進行加藥泵機的轉速調整,這種融入模糊控制的給水加藥系統樂意避免人工加藥引起的各種不良后果,從而提高了給水加藥的工作質量。
3.3 對鍋爐燃燒過程的控制
鍋爐燃燒易受到煤種煤質、變量耦合、時滯等多種因素的干擾,且其燃燒率很難實行頸椎的測區。將專家控制應用到鍋爐燃燒過程的控制中以后,專家系統通過逐次的判斷、分析和推理以后,可實現前進式的系統,具體包括對緊急事故、工況判斷子集、送風調節子集、執行機構診斷子集、煤厚調節子集等多內容的判斷。
3.4 對單元機組負荷的控制
非線性、不確定、時變以及耦合等是單元機組負荷控制的難題所在,對此,可以設計出建立在機跟爐與爐跟機上的具有自適應性的兩種神經元模擬負荷控制系統。試驗發現該系統下各權系數學習收斂明顯提速,且效果自適應性及控制性均較理想。
3.5 對過熱汽溫的控制
改變減溫水是實施鍋爐過熱汽溫控制的常用方法,大慣性、時滯性,以及動態特性的隨便是該系統主要面對的問題。隨著智能控制技術的發展,人們逐漸將神經網絡控制技術引入到過熱汽溫系統中來,這使得系統的運行狀況、控制質量及適應性都有了明顯的提升。
4 結語
隨著對智能控制技術的創新和發展,智能控制技術已經取得了巨大的進步和完善,并且在各行各業已經得到了廣泛的應用。通過上述分析發現,在火電廠熱工程自動化使用智能控制技術,能夠解決在原系統中出現的各種問題,極大提高了火電廠自動化控制的質量,為電廠的發展做出了貢獻。
參考文獻:
[1] 曾友和.構建火電廠熱工自動化安全系統的分析和探討[J].投資與創業,2012(8).
[2] 王家金.火電廠熱工自動化現狀及新發展淺議[J].城市建設,2013(24).
篇10
【關鍵詞】 數據挖掘 信用風險 決策樹 支持向量機
一、引言
我國上市公司是整個國民經濟整體的一個有機組成部分,甚至可以說是整個國民經濟的核心所在。至2008年底,滬深兩市的股票總市值在縮水62.9%的情況下仍達到12.13萬億,占GDP的48.6%。從這些數據可以看出,上市公司在我國經濟中占有主體地位,因此,上市公司的優劣存亡將關系到整個國民經濟的發展。然而,我國上市公司所積累的信用風險已經非常巨大,在深交所的誠信檔案里僅主板市場就列出了20頁的違規通報批評和處分決定。就國有企業而言,信用危機依然存在,突出的表現就是惡意拖欠逃債現象。企業信用風險狀況直接關系到我國金融市場的健康發展和國民經濟的持續穩定。可見,對上市公司信用風險的管理是非常必要和迫在眉睫的,而上市公司信用風險評估模型的建立是防范信用風險的重要手段。因此,研究上市公司信用風險評估這一課題,已經成為我國目前經濟生活中亟待解決的一個重要問題。
目前許多定量技術和支持工具、軟件已付諸商業應用,繼傳統的比例分析之后,統計方法得到了廣泛的應用,如判別分析和Logistic回歸等。信用等級評估是通過對企業或個人的某些單一財務指標進行加權平均確定的,該方法最大的缺陷在于指標和加權值的確定帶有很大的主觀性,使得評估結果和實際狀況有很大的出入。因此,需要引入科學方法來確定有效評估指標,并建立準確的定量模型來解決信用等級評估的問題。近年來,信息技術得到了迅速發展,如數據挖掘技術等能從海量數據中智能發現有用的規則和知識,再加上我國上市公司信息披露制度的不斷完善,使得我們的研究能夠得到的數據資料也不斷的增多,這些有利條件的出現使得我們對基于數據挖掘的上市公司信用風險評估模型的研究有了數據基礎和技術基礎。
二、基于數據挖掘的信用風險評估模型比較綜述
1、決策樹
決策樹方法于20世紀60年代起源于對概念學習建模;20世紀70年代后期Quinlan發明用信息增益作為啟發策略的ID3算法,從樣本中學習構造專家系統;1993年Quinlan在ID3算法基礎上研究出了改進的決策樹歸納包(C4.5),這是目前被普遍采用的數據分類方法。其思想是一個類似于流程圖的樹結構,其中每個內部結點表示在一個屬性熵的測試,每個分支代表一個測試輸出,而每個樹葉節點代表類或類分布。決策樹通過把實例從根節點排列到某個葉子節點來分類實例,葉子節點即為實例所屬的分類,樹上每個節點說明了對實例的某個屬性的測試,節點的每個后繼分支對應于該屬性的一個可能值。決策樹分類模型之所以被廣泛應用于信用風險評估,主要是因為決策樹具有以下優點:(1)與神經網絡或貝葉斯分類等其他分類模型相比,決策樹的分類原理簡單易懂,很容易被使用人員理解和接受。在決策樹分類過程中,一般不需要人為設定參數,更適合于知識發現的要求;(2)決策樹的學習算法具有建立速度快、計算量相對不是很大、可以處理連續值和離散值屬性;(3)決策樹能使用信息原理對大量樣本的屬性進行信息量分析,計算各屬性的信息量,找出反映類別的重要屬性(可以清晰的顯示哪些屬性對分類比較重要);(4)決策樹分類方法與其他分類模型相比,易于生成可理解的規則。決策樹方法對記錄數越大的數據庫,它的效果越明顯,這就是它顯著的優點。
研究表明,一般情況下,樹越小則樹的預測能力越強。要構造盡可能小的決策樹,關鍵在于選擇恰當屬性。而屬性選擇依賴于各種對例子子集的不純度度量方法。其中,基于數據挖掘中決策樹C4.5算法的分析框架建立的上市公司信用風險評估模型,對數據分布無任何要求,應用于上市公司信用風險評估的效果比較好,因此具有良好的發展前景,值得我們深入研究。
2、神經網絡
BP網是面向映射變換的神經網絡中應用最廣泛的一種,其結構如圖1所示。典型的BP網有三個層次:輸入層、隱含層和輸出層,相鄰層次神經元間采用全互連形式,同層神經元間則不相連。其思路是:當給網絡提供一個輸入模式時,該模式由輸入層傳到隱含,經隱含層神經元作用函數處理后傳送到輸出層,再經由輸出層神經元作用函數處理后產生一個輸出模式。如果輸出模式與期望的輸出模式有誤差,就從輸出層反向將誤差逐層傳送到輸入層,把誤差“分攤”給各神經元并修改連接權,使網絡實現從輸入模式到輸出模式的正確映射。對于一組訓練模式,可以逐個用訓練模式作為輸入,反復進行誤差檢測和反向傳播過程,直到不出現誤差為止。這時,BP網完成了學習階段,具備所需的模式分類(識別)能力。
20世紀80年代末,西方發達國家將人工智能引入銀行業,協助銀行進行貸款決策,這其中,尤其以人工神經網絡最為突出,其在企業財務分析中顯示了巨大的優勢和潛力。而在我國,無論是用統計方法還是用神經網絡技術來研究信用風險,目前都尚處于起步階段。王春峰等(1999)用神經網絡技術進行商業銀行信用風險評估;郝麗萍等(2001)研究了商業銀行信貸風險分析的人工神經網絡模型;柳炳祥、盛昭翰(2003)利用粗神經網絡對企業財務危機進行了分析;龐素琳等(2003)利用BP算法對我國某商業銀行2001年120家貸款企業進行3類模式(“信用好”、“信用一般”、“信用差”)分類,分類準確率達到83.34%;張德棟、張強(2004)建立了基于BP神經網絡的企業信用3層神經網絡評估模型,實驗結果證明,該模型用于企業信用評估,減少了企業信用評估傳統的定性方法中權重確定的人為因素,評估正確率達到了92.12%;王凱、黃世祥(2007)建立起基于BP神經網絡的行業間信用評估模型,并代入2003年度全國農業和工業的部分行業數據進行實證。
神經網絡由于其自身優勢已經在各個領域得到了廣泛的應用,近幾年來,經濟學和管理學方面的學者將其運用到經濟領域,特別是在信用風險評估方面取得了很好的成效。尤其BP神經網絡在商業銀行信用風險評估上應用的可行性,其優點主要體現在:(1)BP神經網絡模型具有高速信息處理能力。信用風險評價是一個非常復雜的系統,簡單的信用風險打分模型不能很好地表述這種關系,同時結果與實際也有較大的差別。而神經網絡是由大量的神經元廣泛互連而成的系統,并行處理能力很強,得到的模型能對實際作出很好的預測。(2)BP神經網絡模型具有很強的不確定性信息處理能力。由于神經網絡中神經元個數眾多以及整個網絡存儲信息容量巨大,使得它具有很強的對不確定性信息的處理能力。而信用風險本身就有一種不確定性,信用風險評價指標體系涉及指標眾多,這些變量本身就具有一種動態性和不穩定性。運用BP神經網絡模型進行預測可以很好地解決這種不確定性。(3)BP神經網絡模型是一個具有高度非線性的系統。神經網絡同現行的計算機不同,它是一種非線性的處理單元,因此神經網絡是一種具有高度非線性的系統。在信用風險評估運用上,它突破了傳統信用風險評估方法以線性處理為基礎的局限性,能更有效、更精確地處理復雜信息。但是,神經網絡也存在明顯的不足。首先,當神經網絡的輸入維數高時,隱含規則呈幾何級數增加,致使網絡結構龐大,同時神經網絡學習速率固定,存在局部最小點問題,因此網絡收斂速度慢,需要很長的訓練時間,甚至可能發生網絡癱瘓;其次,網絡結構復雜,導致網絡的輸入節點單元數、隱含層數的確定缺乏理論依據。盡管存在一些遺憾,神經網絡方法作為一門嶄新的信息處理科學方法仍然吸引著眾多領域的研究者。
3、支持向量機
支持向量機(Support Vector Machine,SVM)是根據統計學習理論得出的一種新的機器學習算法,它用結構風險最小化原則替代經驗風險最小化原則,較好地解決了小樣本學習問題,是一種通用的前饋網絡類型。支持向量機的實現是通過某種事先選擇的非線性映射(核函數)將輸入向量映射到一個高維特征空間,在這個空間中構造最優分類超平面。使用SVM進行數據集分類工作的過程首先是通過預先選定的一些非線性映射將輸入空間映射到高維特征空間,它使得在高維屬性空間中有可能對訓練數據實現超平面的分割,避免了在原輸入空間中進行非線性曲面分割計算。SVM數據集形成的分類函數具有這樣的性質:它是一組以支持向量為參數的非線性函數的線性組合,因此分類函數的表達式僅和支持向量的數量有關,而獨立于空間的維度。
隨著機器學習理論的不斷發展,支持向量機作為一種專門針對小樣本學習的算法被引入到了信用風險評估中。在我國,張秋水、羅林開等(2006)通過SVM與傳統的多元線性回歸(Multi Linear Regression,MLR)和Logit分析(Logit Analysis,LA)的實證對比和模型分析,得出SVM在20組測試樣本集上的平均誤判率是最低的,顯著優于MLR,也優于LA。吳沖等(2009)建立了基于模糊積分的支持向量機集成方法,該方法綜合考慮了子支持向量機的輸出重要性并與單個支持向量機和最多投票原則的支持向量機集成進行比較,實證結果表明,該方法具有更高的分類精度。與BP神經網絡相比,SVM方法的優缺點是:(1)模型的準確率。SVM是通過解一個凸二次規劃來得出結果的,因此找到的解是全局最優解,且精度高,利用支持向量機進行上市公司信用風險評估,根據有限的訓練樣本,建立了非線性映射關系,解決了維數問題,這種算法具有簡單、準確率高的優點,很適合推廣。(2)泛化能力。SVM通過結構風險最小化原則實現了經驗風險和置信范圍的良好折衷,避免了過擬合現象,而人工神經網絡是基于經驗風險最小化原理。(3)模型的適用性。SVM方法通過對不同的核函數和參數的選擇,可以優化評估結果,不同的核函數可以滿足不同的需求,模型的適用范圍更廣。(4)對數據要求。SVM可以避免小樣本和“維數災難”問題,對有限數量和維數較高的樣本評估精度較高;而BP神經網絡模型由于數據較少,易產生過擬合現象,因而使用范圍受限制。(5)核函數也需要人為的確定,尚未有理論證明決定應選擇的核函數。
三、結束語
隨著信息技術的發展,數據挖掘方法被廣泛應用于金融、經濟領域,在信用風險方面也受到越來越多的重視。在我國,對上市企業的信用風險評估還是一個很具有挑戰性的領域,不僅體現在其信用風險變化的復雜性,還在于評估所面臨的巨大工作量。上市企業的信用狀況是構成整個社會體系不可缺少的重要部分,因此,解決其信用風險評估問題的首要任務是要建立簡單可操作的模型,并充分發揮計算機處理信息等的優勢作用。
(注:本文系華東交通大學校立科研基金資助課題《基于數據挖掘的上市公司信用風險評估模型研究》的部分研究成果,課題編號:09GD02。)
【參考文獻】
[1] Qualian JR,C4.5: Programs for Machine Learning [J],San Mateo, CA:Morgan Kaufmann Publishers,1993.
[2] Virongrong Tesprasit,Paisarn Charoenpornsawat ,Virach Sornlertlamvanich,A Context-Sensitive Homograph Disambiguation in Thai Text-to-Speech Synthesis,Proceedings ofHuman Language Technology Conference,2003.
[3] 周松林、吳銘:滬深兩市總市值全年縮水62.9%[J].金融界,2009(1).
[4] 王春峰、萬海暉、張維:基于神經網絡技術的商業銀行信用風險評估[J].系統工程理論與實踐,1999(9).
[5] 郝麗萍、胡欣悅、李麗:商業銀行信貸風險分析的人工神經網絡模型研究[J].系統工程理論與實踐,2001(5).
[6] 柳炳祥、盛昭翰:基于粗神經網絡的企業危機預警系統設計[J].信息與控制,2003(1).
[7] 龐素琳、王燕鳴、黎榮舟:基于BP算法的信用風險評價模型研究[J].數學的實踐與認識,2003(8).
[8] 張德棟、張強,基于神經網絡的企業信用評估模型[J].北京理工大學學報,2004(11).
[9] 王凱、黃世祥:基于BP神經網絡的行業間中小企業信用評估模型及應用[J].數學的實踐與認識,2007(24).