導語：如何才能寫好一篇神經網絡提取特征，這就需要搜集整理更多的資料和文獻，歡迎閱讀由公務員之家整理的十篇范文，供你借鑒。

篇1

關鍵詞：膠合板； 聲發射； 小波包變換； 神經網絡

中圖分類號：TN911.7-34; TB52+9文獻標識碼：A文章編號：1004-373X(2011)21-0096-04

Wavelet Feature Extraction and Neural Network Pattern

Recognition of Plywood Acoustic Emission Signals

XU Feng， ZHAO Ming-zhong, LIU Yun-fei

(College of Information Science and Technology, Nanjing Forestry University, Nanjing 210037, China)

Abstract：

To identify the different damage types of plywood, a feature extraction method of plywood acoustic emission signal based on time-frequency and proportion of energy is proposed by combining wavelet-packet time-frequency analysis with energy spectrum. The research indicates that dilatational wave and flexural wave are main modes of plywood matrix cracks signal with wide frequency spectrum, and the energy of signal is mainly concentrated in the first, second, third, fourth and seventh-band of the wavelet power spectrum. Delamination and fiber fracture signals of five-story plywood are mainly dominated by dilatational wave and flexural wave mode respectively, the former frequency is unitary and amplitude is higher, the latter energy mostly focus on the first, second band. Degumming signal waveform are composed of dilatational wave and flexural wave， and the flexural wave is dominant, whose signal energy focus on the first, second, third and fourth band of the wavelet power spectrum. An intelligent pattern classifier with BP neural network was used in recognition of those four kinds of AE signals, the recognition accuracy of flaws amounted to 92.6%.

Keywords： plywood； acoustic emission； wavelet package transform； neural network

0 引 言

聲發射(Acoustic Emission,AE)是材料受外力或內力作用產生變形或斷裂時，以彈性波的形式釋放出應變能的現象［1］。目前聲發射技術作為一種成熟的無損檢測方法，已被廣泛應用于石油化工工業、電力工業、材料試驗等多個領域，但對膠合板的損傷監測，AE技術鮮有報道。

膠合板(也稱夾板)是按相鄰層木紋方向互相垂直的單板，經組坯膠合而成的板材，在我國已廣泛應用于家具工業和建筑工業。膠合板的損傷模式主要包括基體開裂、纖維斷裂、脫膠、分層等，每一種損傷都對應特定的聲發射信號。然而，不同的損傷模式通常以組合形式出現，類別特征相互重疊［2］，同時由于傳播介質的各向異性和多源性噪聲的污染，加大了AE信號鑒別的難度。因此，提取各聲源信號特征與識別其損傷模式是聲發射應用的首要任務和核心技術。

由于小波分析同時具有時域和頻域表征信號局部特征的能力，所以特別適合分析瞬態特性的聲發射信號。文獻［3］用小波變換的方法分析了薄板中的彈性波，指出在波的傳播過程中，多模式和頻散的特性、模式的分離有助于準確提取信號中的信息。文獻［4］用Daubechies離散小波進行了多尺度分解，利用頻率能量分析玻璃纖維增強復合材料的不同損傷模式。通過區分能量的大小和不同能量所處的頻率范圍揭示了材料的破損模式。同時，近年來的研究發現，人工神經網絡可對數據量多、特征復雜的信號提供準確度較高的自動分類能力。因此，本文結合小波分析和人工神經網絡技術對膠合板不同損失聲發射信號進行特征提取和模式識別。

1 小波包能量特征提取算法

1.1 小波包定義［5］

給定正交尺度函數Е(t)和小波函數(t)，其中：

1.2 基于小波包分解的能量特征提取算法

小波包分解是在多分辨率基礎上構成的一種更精細的正交分解方法。它根據被分析信號本身的特點，自適應地選擇頻帶，確定信號在不同頻段的分辨率。分解得到的各個頻段分量既包含了信號的局部特征，也包含了不同的時間尺度信息，從而精確地給出信號能量隨頻率和時間的聯合分布情況，即各頻帶能量的變化表征了各種信源的特征。因此，本文提取各尺度下各頻段分量的能量占比作為各信號特征向量來識別聲源類型。基于小波包分解的能量特征提取步驟如下：

(1) 對原始信號進行k層小波包分解，分別選擇第k層從低頻到高頻包含主要信息的前n(n≤2k)個頻段分量的信號特征；

(2) 對小波包分解系數重構(重構信號設為Ski)，提取各頻段范圍的信號；

(3) 求各頻帶信號的總能量Eki：

И

И

2 人工神經網絡模式識別方法

2.1 神經網絡的選擇

人工神經網絡是一個高度非線性的自適應并行分布處理信息系統，其信息處理由神經元之間的相互作用來實現。信息的存貯表現為神經元之間的物理聯系。網絡的學習取決于神經元連接權系的動態演化過程。神經網絡的類型多種多樣，但與模式識別的結合最成功的是多層前饋網絡，也就是通常簡稱的BP(Back-propagation Network)網絡［6］，本文即選其進行模式識別。

2.2 BP網絡結構的設計

由BP定理可知, 一個帶S型激活函數的三層BP網絡，只要隱節點數足夠多，能以任意精度逼近有界區域上的任意連續函數，即一個三層的BP網絡就能完成任意的n維到m維的映射。BP神經網絡最重要的是隱含層的確定。雖然隱層神經元數目的選擇不存在一個理想的解析式，但隱單元數目與問題的要求、輸入/輸出單元的數目都有著直接關系。綜合現有文獻，隱含層元個數的計算公式為:

И

n1=n+m+a

(7)

И

式中:n1為隱單元數；m為輸出神經元數；n為輸入單元數；a是［0，10］之間的常數。

輸入層節點數一般由一組特征值樣本的數據量決定。在分類網絡中輸出層節點數可取類別數x或┆log x。П疚囊含層采用雙曲正切S型激活函數，輸出層采用對數S型激活函數。

2.3 訓練函數的選擇

采用不同的訓練函數對網絡的性能可能會有影響，比如收斂速度等。本文應用各種典型訓練函數對網絡進行訓練，觀察各種訓練算法的收斂速度和誤差，最后確定Levenberg-Marquardt算法為本識別的最優訓練函數。

3 實驗和分析

3.1 實驗方法［7］

試驗對普通膠合板的膠合強度進行測試研究。樣品選用德華裝飾有限公司的“兔寶寶”牌5層膠合板，其內部為雜木夾芯，外覆桃花芯面板，由環保脲醛膠粘合而成。試樣(如圖1所示)按GB9846.9定義的普通膠合板力學性能測試試件方法鋸制，尺寸為250 mm×25 mm×5 mm。試驗測試溫度為25 ℃，樣品為氣干狀態。加載系統為深圳新三思有限公司SANS-CMT6104臺式萬能試驗機；采集系統選用美國PAC公司PCI-2聲發射采集系統，用兩個寬帶傳感器S9208組成線定位陣列方式，同時采集各個波擊的波形。

試驗中為保證傳感器與材料表面良好耦合，選用真空脂作為耦合劑，傳感器采用透明膠帶固定在試樣的表面。試樣兩端夾緊于試驗機的一對活動夾具中，使其成一直線，試樣中心通過活動夾具的軸線，拉伸沿試樣長度方向進行，等速加荷，速度為3 mm/min，最大破壞荷重的讀數精確到5 N，拉伸過程在準靜態條件下進行，直到試樣斷裂為止。拉伸模型如圖2所示。

圖1 五層膠合板拉伸試樣圖(單位：mm)

3.2 膠合板加載聲發射信號特征分析

對于厚度方向尺寸遠小于其他兩個方向的板而言，相應于一定的激勵條件，在其中主要形成的是板波(Lamb波)。由文獻［8-9］可知，受激勵后，板中存在多種模式的板波，但當板厚遠小于波長時，主要以兩種模式的波為主，即最低階的對稱波S0和最低階的反對稱波A0。前者即是膨脹波，其傳播速度是一個定值，沒有頻散效應；后者亦稱彎曲波，它的傳播速度與角頻率的平方根成正比，有頻散效應。一般情況下，板中的波是這兩種波的組合，這兩種波位移的相對幅度同激勵方式有關。研究發現［8］，當激勵力源作用方向與板平面垂直時，在板中主要產生的是彎曲波。相反，當力源作用方向沿板方向時，產生的主要是膨脹波。一般而言，膨脹波的高頻成分要比彎曲波豐富。膠合板受載形變作為強聲發射源，其聲源有基體開裂、纖維斷裂、脫膠、分層等。理想上，纖維斷裂總在平面內完成，其類似于一個沿板平面方向的力源，因此，激發的聲發射信號應以膨脹波為主，無頻散效應；而分層損傷則明顯沿板厚方向發生，類似于一個沿板平面垂直方向的力源，因此，所激發的聲信號波形當以彎曲波為主，存在頻散效應；基體開裂、脫膠產生的聲發射信號，其特征介于兩者之間，┮話閿ν時表現為膨脹波和彎曲波兩種組合形式。

3.3 實驗結果分析

本文選用db3小波［10-12］對采集的聲發射信號做5層小波包分解，并進行第五層系數重構，計算各葉子能量占比，繪制時頻、小波包譜和頻譜圖，比較各典型信號的特征差異。由實驗結果得知，聲發射源主要集中在主損傷區或斷裂部位。考慮到聲源的位置、材料物理特性及波的傳播對類別特征的復雜影響［2］，將所有樣本取自主損傷區寬20 mm范圍內的事件。對比四種典型的聲發射源波形、頻譜和小波包譜圖，篩選出四類樣本數據集，并應用小波閾值法消噪，得到各類別信號的典型波形如圖3～圖6所示。觀察圖3～圖6中信號的傅立葉頻譜發現，膠合板破壞損傷多以低于300 kHz以下的頻率信號為主，且難以區分其特征差別。為獲取各損傷信號的特征，必須結合小波包時頻和小波包譜圖分析。

圖2 五層膠合板拉伸模型示意圖

基體開裂如圖3所示，波形以低幅度較寬脈沖為主，頻段較寬，膨脹波和彎曲波模式并舉。FFT主峰頻率位于40～180 kHz，小波時頻圖特征峰約集中在100 kHz以下和200 kHz處，發生的時間約在0.5～1.2 ms之間。小波包譜峰位于第一至第四和第七頻段內，其中第一、第二頻段的能量接近，總和約占總能量的60％，剩余40％幾乎集中于第三、四、七段。

圖3 膠合板基體開裂原始信號(去噪)

及其頻譜、時頻、小波包能量譜圖

圖4為五層膠合板纖維斷裂圖，由圖中得出的信號主要以高幅度較寬脈沖形式出現，頻率較低且單一，無頻散現象。纖維斷裂的FFT峰值主要集中在22～40 kHz，時頻圖特征峰位于40 kHz處，持續時間約為1 ms，小波譜峰值主要位于第二頻段，能量占到總能量的70％以上，第一、四頻段能量約占20％。結合樣品斷口紋理分析，斷裂主要沿垂直于纖維方向擴展，呈剪切斷裂方式，波形以膨脹波為主導，基本與第3.2節的信號分析一致。

五層膠合板脫膠信號如圖5所示，信號以中低幅窄脈沖為主，波形為彎曲波模式和膨脹波模式的混合型，且彎曲波模式占主導。受膨脹波成分的影響，在200 kHz頻率處也出現峰值，能量在大于100 kHz頻域上有所分布，但主要集中在小于50 kHz的頻域。從失效樣品查看，明顯存在分層和互相滑移現象，與上述分析基本一致。

圖4 膠合板纖維斷裂原始信號(去噪)

及其頻譜、時頻、小波包能量譜圖

圖5 膠合板脫膠原始信號(去噪)

及其頻譜、時頻、小波包能量譜圖

觀察圖6發現，五層膠合板分層信號中傅里葉頻譜的峰值主要位于11～55 kHz，小波時頻圖的特征峰主要集中在40 kHz處，持續時間約為1.2 ms，小波包譜能量主要集中在第一、二、三、四段，且第一、二段能量所占比重接近，總和占到了總能量的85％。信號多以中幅度寬脈沖形式為主，信號持續時間較長。分層是典型的垂直板平面方向的力源作用，信號明顯存在頻散現象，波形以彎曲波模式為主，能量主要集中在40 kHz以下。

圖3～圖6表明，信號的波形、頻譜和小波包譜等類別特征均有不同程度的重疊，但對5種類別的信號均顯示出一定的鑒別能力，尤其以小波包分析提取的特征更為明顯，以該特征作為樣本可為后續使用神經網絡進行識別提供依據。

3.4 模式識別

按照第1.2所述方法對聲發射信號進行5層小波包分解，將整個頻段分成32個頻帶，考慮反應聲源信號特征的能量主要集中在前10個頻段，因此提取前10個葉子的能量分布為聲發射信號特征，以此作為BP網絡的訓練樣本。樣本包含膠合板脫膠10組、纖維斷裂10組、分層12組和基體開裂8組共計40組。網絡在經過81次訓練后達到設定的最小期望誤差0.001(見┩7)。采用網絡對訓練數據進行識別，識別正確率達到 100%。證明該網絡具有較強的學習能力，能夠按照給定的輸入/輸出正確建模。

圖6 膠合板分層原始信號(去噪)

及其頻譜、時頻、小波包能量譜圖

為檢驗網絡的推廣應用性能，采用該網絡對118組測試樣本(脫膠30組、纖維斷裂30組、分層28組和基體開裂30組)進行檢驗，識別正確率達到 92.6%。這表明該人工神經網絡的范化能力較高，設計結構合理，達到自動識別聲發射信號類別的目標，具有良好的推廣價值。

4 結 論

(1) 針對聲發射這種瞬間的突變信號，小波分析確實能很好地同時表現出時域和頻域的局部特征;

(2) 綜合各類模式信號的波形、頻譜、小波包時頻圖和小波包能譜圖分布等特征，可確定不同損傷機制所對應的聲發射信號特征，為神經網絡模式識別提供質量較高的模式樣本;

(3) 設計的BP人工神經網絡能準確度較高地識別出4種不同損傷機制造成的聲發射信號。

由于木質膠合板的聲發射研究國內開展的不多，對該類材料的聲發射特征的分析及識別還待進一步研究，尤其對多層膠合板聲發射特征的定量研究還有待于大量實驗數據的積累和歸納。

參考文獻

［1］袁振明，馬羽寬，何澤云．聲發射技術及其應用［M］．北京：機械工業出版社，1985.

［2］殷冬萌，王軍，劉云飛．木塑復合材料缺陷及損傷的聲發射信號特征分析及神經網絡模式識別［J］．應用聲學，2007，26(6)：352-356．

［3］JIAO Jing-pin， HE Cun-fu， WU Bin，et al．Application of wavelet transform on modal acoustic emission source location in thin plates with one sensor \[J\]. International Journal of Pressure Vessels and Piping, 2004, 81: 427-431.

［4］QI Gang. Wavelet-based AE characterization of composite materials \[J\]. NDT& E International, 2000, 3(3): 133-144.

［5］胡昌華，張軍波，夏軍，等．基于Matlab的系統分析與設計:小波分析［M］．西安：西安電子科技大學出版社，1999.

［6］毛漢穎，成建國，黃振峰．基于BP神經網絡的金屬裂紋聲發射信號特征參數的提取［J］．機械設計，2010，27(2)：84-86．

［7］陸仁書．膠合板制造學［M］．2版.北京：中國林業出版社，1993.

［8］耿榮生，沈功田，劉時風．基于波形分析的聲發射信號處理技術［J］．無損檢測，2002，24(6):257-261．

［9］LOWE M J S， DILIGENT O． Low-frequency reflection characteristics of the s0 Lamb wave from a rectangular notch in a plate \[J\]. Acoustical Society of America, 2002, 111 (1): 64-74.

［10］徐長發，李國寬．實用小波方法［M］．2版.武漢：華中科技大學出版社，2004.

［11］楊曉楠，唐和生，陳榮，等．鋼結構損傷識別中db族小波函數選擇［J］．同濟大學學報，2006，34(12):1568-1572．

［12］周小勇，葉銀忠．故障信號檢測的小波基選擇方法［J］．控制工程，2003，10(4):308-311．

篇2

基于神經網路方法實現高考英語口語成績的采集,實現口語成績等級手寫體的識別,提高在英語口語成績處理的效率,實現口語成績的自動采集。目前該方案應用于蘇州市高考英語口語成績采集。

關鍵詞:

成績采集；模式識別；神經網絡；特征提取

對于未實行高考口語人機對話的省市,高考口語還是采用打分模式。然后人工采集,為解決這一問題,通過識別手寫評分和OCR識別結果比對確保成績采集的準確。而神經網絡很適合用于解決字符識別問題。

1BP神經網絡

人工神經網絡是在人類對其大腦神經網絡認識理解的基礎上人工構造的能實現某種功能的神經網絡,是一種典型的前饋神經網絡,包含輸入層、隱層及輸出層。BP網絡是典型的多層網絡,分輸入層、隱含層和輸出層,算法由數據流的前向計算和誤差信號的反向傳播兩個過程構成。通過這兩個過程的交替進行,在權向量空間執行誤差函數梯度下降策略,動態迭代搜索一組權向量,使網絡誤差函數達到最小值,從而完成信息提取和記憶過程[1]。

2基于神經網絡的英語口語成績采集的實現

為實現更好的采集,需要設計適應識別的評分表,其中定位點、考生條碼用于定位到考生并采集成績,等級手寫的分區需要通過神經網絡識別等級,OCR等級識別區用采集等級并通過神經網絡采集的等級進行比較。

2.1采集過程

首先預處理圖像獲取樣本進行訓練,輸入神經網絡訓練后輸出看誤差并調整各階層的權值讓輸出同OCR值一致,正式識別兩種模式結果不一致需要人工干預,有可能等級打錯也有可能等級涂錯,然后修正結果,確保等級信息準確無誤。

2.2圖像預處理

原始評分表的輸入有可能產生污點等噪音。所以在識別之前必須對圖像進行預處理。預處理一般包括圖像分割、灰度、二值化、平滑、去噪音、歸一化和細化等。不同識別方法對于處理要求不一樣預處理后離散和噪聲和歸一化和細化處理,將圖片形成一個40×40像素點陣(圖1得分區圖像預處理后圖像)。

2.3神經網絡的特征提取

在手寫等級識別中,特征的選擇是非常關鍵問題。將經過預處理后的等級數字圖像中提取最能體現這個字符特點的特征向量,然后提取出訓練樣本中的特征向量代入BP網絡之中就可以對網絡進行訓練,提取出待識別的等級樣本中的特征向量代入訓練好的BP網絡中,就可以對等級得分字符進行識別。

2.3.1英語口語成績采集中BP神經網絡結構

將A、B、C、D等級圖像的特征向量作為神經網路的輸入,確定輸入神經元。經過預處理的為40×40的矩陣,共1600各輸入神經元。輸出較為簡單,只要識別A、B、C、D4個等級,輸出節點數為4。為加快神經網絡學習速度,3層BP網絡最為恰當效率高。同時根據網絡收斂性能的好壞來確定隱含層神經元個數。根據經驗公式:s=51.035.077.054.212.043.02mnmnm其中,n為輸入層神經元個數,m為輸出層神經元個數[2]。計算可得隱含層神經元個數為79。

2.3.2BP神經網絡的訓練

手寫字符歸一化和細化后的圖像為40×40的布爾矩陣,1600個元素組成一個手寫字符的列矩陣,即字符的特征向量。由A、B、C、D這4個字符的特征列向量組成一個1600×4的輸入矢量,訓練次數達到最大值神經網絡訓練就結束。

2.3.3口語等級識別等分結果

字符識別的正確率和拒識率與字符識別的判斷值有關,判斷值越高,識別的正確率就高。為確保成績錄取100%正確,通過識別和OCR識別比較,不同再通過人工識別錄入確保準確(圖2成績自動識別等分)。神經網絡在口語成績登分中的應用過程中大大減輕勞動強度,提高準確率,通過多重比對確保成績錄入準確,經過實踐應用和比對成績登分準確率100%,完全可以滿足實際需要。

參考文獻

[1]蔣宗禮.人工神經網絡導論.高等教育出版社出版,2001(5):26-88.

篇3

關鍵詞： 指紋識別系統；圖像預處理；特征提取；BP神經網絡

中圖分類號：TP18 文獻標識碼：A 文章編號：1009-3044（2014）10-2359-04

Abstract： In this paper， special fingerprint acquisition device is used to obtain the basic fingerprints， fingerprint preprocessing base on MATLAB ， including fingerprint enhancement， binary the fingerprint， segment as well as normalization. Extracting fingerprint types， coordinates and direction parameters， then the BP nerve network is used to train and identify fingerprint. The result of recognition is obvious， it has high recognition rate.

Key words： Fingerprint identification system； Fingerprint preprocessing； Fingerprint feature extraction； BP nerve network

由于每個人指紋紋線的起點、終點、結合點和分叉點的不同，指紋具有唯一性、終身不變性、方便性，被當作生物密碼應用于生活中。隨著計算機相關技術的發展，傳統的證件驗證身份存在證件偽造等問題，它已經給高速發展的社會帶來不便，而且指紋掃描速度快，同時增加了可靠性。所以，指紋識別技術應用越來越廣泛，你可以在指紋門禁、考勤機、銀行柜員指紋身份認證系統、指紋汽車行駛記錄儀、指紋電子印章等領域看到指紋識別系統的身影。隨著社會的發展，指紋識別將會應用于各個領域。

1 指紋識別系統的構成

指紋識別系統是典型的模式識別系統，它包括指紋圖像采集，指紋圖像預處理，特征提取和比對。一般系統包括認證系統和識別系統兩部分。該文首先采用指紋專用設備采集指紋圖像，MATLAB進行圖像預處理，然后特征提取，接下來是BP神經網絡訓練，最后用訓練好的參數作為神經網絡的輸入，對指紋樣本進行識別和匹配，輸出識別結果。本系統主要包括以下五個部分組成，如下圖所示[[1]]：

圖像預處理是關鍵部分，目的是得到清晰的指紋圖像，方面后續的指紋識別。該文主要采用MATLAB軟件實現對指紋圖像預處理，只需將選好的圖像輸入到已經完成的程序中即可。

1.1 指紋圖像的獲取

指紋圖像的獲取是通過一定的指紋采集設備采集樣本。該文采集指紋主要利用光學式，根據光的反射原理（FTIR）。光線照到壓有指紋的玻璃表面、反射光線有CCD相機獲取，光線經玻璃射到谷的地方后在玻璃與空氣的界面發生全反射，光線被反射到CCD，射向脊的光線不發生全反射，而是被脊與玻璃的接觸面吸收或者漫反射到別的地方，這樣在CCD上形成了指紋的圖像。

1.2 指紋圖像的預處理

系統采集到的原始圖像由于未經過處理，存在噪聲干擾，惡化了圖像質量，給特征提取帶來不便，所以在圖像特征提取前要進行圖像預處理。該文主要利用MATLAB編程實現指紋的一系列預處理[[2]]。MATLAB作為指紋圖像的仿真平臺，既減小了仿真難度，又提高識別的準確性。一般圖像預處理包括圖像增強、圖像分割細化、二值化、歸一化等。

① 圖像增強

圖像增強提高圖像的清晰程度，改善圖像質量，增大處理前后圖像的對比度。該文采用的是中值濾波。將采集到的原圖像輸入到MATLAB中，如圖2所示。

對圖像的增強主要采用亮度變換函數imadjust，然后將0.5至0.75之間灰度級擴展到[0，1]范圍之內，這種處理

突出的指紋脊線和谷線對比度。以下是對指紋原圖像的MATLAB編程，如圖3所示。

②指紋圖像分割

分割處理指紋是將指紋前景區域與背景區域分割出來，分割后，系統會只對前景區域進行處理，這樣可以減少預處理的復雜度。該文采用方差分割法的演變方法（即模塊分割法）：

（a）首先選定一個門限閾值M（通常根據經驗選擇）。

（b）然后將高300，寬350的指紋圖像劃分為20×20塊，計算出每一塊的平均值N。

[N=1202x=x0x=x0-20y=y0y=y0-20fx0，y0] （1）

其中，[fx，y]為圖像中點的灰度值，[x0，y0]為小模塊的右上方的點。

（c）若均值N小于閾值M，則將該模塊選作前景區域，否則，為背景區域。然后用MATLAB實現上述算法。

③指紋圖像二值化

由于指紋識別是是對前景的處理，所以要對分割后的指紋圖像進行二值化，二值化后的結果直接影響后續指紋的識別。圖5為二值化后的圖。

④歸一化

實際用指紋采集設備采集到的指紋，大小是不同的，如果對大小不同的指紋進行識別，就必須修正圖像的尺寸，這就增加了識別的工作量。歸一化是必不可少的步驟，它分為兩種：外輪廓的歸一化和中心的歸一化。由于特征點基本集中在指紋中心，所以，該文主要采用中心歸一化。

1.3 特征值提取

從二值化和細化后的指紋圖像中提取細節特征點，細節點有以下四個特征：類型[[1]]有（1）端點（2）分叉點（3）孤立點（4）環點（5）短紋；方向；曲率；位置。該文主要提取的是指紋坐標和方向。基于MATLAB特征提取，方便且準確率高。端點和分叉點是指紋提取的主要特征。定義個八鄰域模型，以P點為交叉點，相鄰點組成3×3模塊[[3]]。

提取方法如下：[mp]為交叉點數，[np]為8鄰域紋線數

[mp=12i=18pi-pi-12]，其中[p1=p9]

[np=i=18pi] （2）

當[mp=1]，[np=3]時為端點；

當[mp=3]，[np=3]時為分叉點。得到一系列的特征點坐標[pi=xi，yi，ti，θi]，其中[xi，yi]為特征點的橫縱坐標，[ti]為特征點的類型，[θi]為特征點的角度。

1.4 指紋的分類

指紋的分類信息基本包含在中心部分和三角部分，根據指紋的三角點和中心點分類。根據指紋中心點下方的紋線走向分[[1]]：（1）左環型指紋；（2）右環型指紋；（3）漩渦型指紋；（4）拱形指紋。由于指紋的紋理性和方向性都很強，求出其方向圖，方向圖描繪了指紋圖像中像素點所在的脊線在該點的切線方向。在指紋分類時，必須考慮分類算法和分類器的設計，傳統的分類器，如通信信號指紋識別分類器，主要缺點是識別率低、穩健性差。該文采用神經網絡分類器，它作為一種先進的自適應、非線性分類器，并且具有強大的模式識別分類和泛函逼近能力。實驗時首先將指紋分成以上四類，存在指紋庫中，將指紋的四個類型作為輸入矢量，送人神經網絡，對BP神經網絡進行訓練。實驗證明，神經網絡分類器能夠用分類算法正確地對指紋進行分類，分類速度也較快，并達到一定的分類精度。但同樣此算法也存在一定的缺陷，就是對指紋圖像的質量要求較高。

1.5 指紋的識別

指紋識別就是確定采集的指紋樣本的身份，若將指紋分類存庫，會提高后序識別的效率，基于人工神經網絡的指紋識別的應用，減小了識別的復雜性。前面已經將指紋分類，只需在同類中識別。

2 BP神經網絡的指紋識別

2.1 BP神經網絡的介紹

人工神經網絡在當前的指紋識別領域應用最為廣泛，該文主要介紹反向傳播神經網絡（BP神經網絡），它通常由輸入層、若干隱含層和輸出層組成，BP神經網絡是一種多層前饋網絡，采用的誤差后向傳播學習算法，一般結構包括輸入層，輸出層，隱層，每層又由多個節點組成，表示神經元，同一層節點之間無耦合關系，輸入信息從輸入層傳遞至隱層，再由隱含層傳遞至輸出層，傳遞時是單向向前傳播的。通過輸入層、隱層、輸出層。這三層的劃分也把BP分成正向和反向，首先通過輸入層神經元輸入至神經網絡系統中，經過隱含層神經元處理，將結果傳輸至輸出層，當樣本的輸出結果與預期結果存在較大差異時，那么求出的實際輸出與預期輸出的誤差并反饋給隱層神經元，重新調整并訓練網絡的權值和參數，不斷地擬合，減小誤差，然后重新傳至輸出層，不斷反復，直到滿足輸出條件為止。網絡結構的設計是首要任務，包括輸入、輸出神經元個數，隱層個數。

2.2 BP神經網絡指紋識別技術

本文把指紋特征點選擇在指紋中心點周圍的區域，特征點記為[（x，y，α）]，其中[x]和[y]分別是特征點的橫縱坐標，[α]是特征點的方向，它是特征點紋線的切線方向。在指紋的匹配過程中，存在旋轉、形變和平移的問題。由于指紋圖像是呈放射狀的非線性形變，而且非線性是向外擴張的，因而本文采取極坐標系，它能很好的描述指紋的非線性形變。為了抵消平移和抗旋轉性，選取參照點（即中心點），轉化為極坐標下的坐標，如下關系式：

[riθiαi=xi-x02+yi-y02arctanyi-y0xi-x0αi-α0] （3）

其中，[x0]，[y0]為中心點的坐標，[α0]為中心點的方向，[xi]，[yi]為指紋特征點的坐標，[αi]為指紋特征點的方向。

現將以上指紋分類得到的四種類型和指紋特征點的極坐標作為神經網絡識別的特征值輸入，它們分別是：細節特征點與參考點的距離，參考點與特征點之間的夾角，特征點的方向與參考點方向的差值。此訓練得到的四個參數可以較準確的識別指紋。

3 實驗結果和結論

將分類后四個數據庫中100個指紋圖像分成兩部分，一部分作為測試，一部分作為訓練。提取指紋特征點，以特征點的橫坐標[x]，縱坐標[y]，方向場作為參數，對BP神經網絡進行訓練，步驟如下：

① 提取指紋特征點，求出特征點個數；

② 提取到的特征點經極坐標轉換后[Q=Q1γ1，θ1，α1....Qnγn，θn，αn]將指紋所屬個體作為神經網絡的輸出，選擇四個輸入節點（指紋類型，細節特征點與參考點的距離，參考點與特征點之間的夾角，特征點的方向與參考點方向的差值），按照隱含層神經元的選取公式，選擇隱含層神經元個數3；

③ 得到訓練完成的BP神經網絡，輸入分類器得到識別結果。

實驗時，對指紋提取10個特征點，每個特征點包括四個數據，下圖是對其中一個指紋提取特征值。

將特征值坐標，方向，指紋類型作為神經網絡的輸入，對四個庫中的指紋進行訓練識別，得到識別結果統計表如下表所示。

通過實驗結果可以看出，該文對指紋特征點進行神經網絡的訓練，基本能將不同類型的指紋進行識別，而且識別迅速，識別率較高，有效提高了指紋識別系統的效率。由于識別結果對采集的指紋的完整性，指紋圖像的預處理和特征提取要求較高，而且本樣本容量較小，在一定程度上會影響識別準確性，識別精度還有待進一步提高。

參考文獻：

[1] 楊靜.基于神經網絡的指紋識別[D].北京工業大學，2003.

[2] 岡薩雷斯.數字圖像處理[M].北京：電子工業出版社，2005.

[3] 郭晶瑩，吳晴，商慶瑞.基于MATLAB的指紋圖像細節特征提取[J].計算機仿真，2007，24（1）：182-184.

[4] 孫航.基于BP神經網絡的指紋識別[J].信息與電腦，2011（5）：32-33.

[5] 胡小璐.基于神經網絡的指紋識別系統[D].電子科技大學，2003.

[6] 劉興龍.自動指紋識別系統的研究與實現[D].貴州大學，2006.

[7] 薛亞許，李寧.基于MATLAB的指紋圖像的二值化及細化[J].平頂上學院學報，2012，27（2）：74-76

篇4

【關鍵詞】小波包變換 BP神經網絡 EPS轉矩傳感器 故障診斷

1 引言

EPS是當前世界最發達的轉向助力系統，它是電子控制單元（ECU）根據各傳感器輸出信號決定電動機的轉動方向和最佳助力轉矩的轉向機構。EPS轉矩傳感器測定方向盤與轉向器輸出軸之間傳遞的轉矩，并且將其轉矩大小轉化為電壓值信號。

目前已形成了多種轉矩傳感器故障檢測和診斷的方法，比如：故障樹法、神經網絡觀測器以及基于小波分析的方法等等。小波分析是近年來發展起來的一個新的數學分支,非常適合于分析非平穩信號，對于EPS轉矩傳感器信號，可方便地剔除系統的噪聲干擾和檢測出故障信號。基于這一點，將信號進行若干次小波包分解，可以得到信號在各個頻段上的分量，這樣就實現了信號特征的分離。由于這些特征與故障之間是一種非常復雜的非線性關系，而BP神經網絡又具有強大的綜合分析能力，用構造的傳感器的各種故障樣本特征向量對BP神經網絡進行分類訓練，這樣就能進行故障診斷。

2 故障診斷流程

信號獲取信號消躁采樣小波包變換提取各頻帶能量歸一化處理BP神經網絡診斷輸出。

3 基于小波包預處理的故障特征提取方法

設EPS轉矩傳感器電壓信號為f(x)，令 ψ(x)為小波母函數，則f(x)的二進小波變換為

（1）

其中，離散信號的小波包分解算法為

（2）

其中，ak，bk為小波包分解共軛濾波器系數。

小波包的重構算法為

（3）（4）

當能量較大時，可對特征向量進行歸一化處理，令

（5）

（6）

有了信號基于小波包的能量特征向量，就可以利用BP神經網絡的非線性和擬合特性進行故障的診斷識別了。

4 BP神經網絡

BP神經網絡的結構如圖1所示，圖中的節點是BP神經網絡的神經元，它的作用函數為，式中y―神經元的輸出，xi―神經元的輸入，wi―神經元的連接權值，θ―神經元的閾值，f―神經元的激活函數，由于采用IWPT預處理的小波包分析方法，構建的神經網絡為輸入層5個神經元，即為故障的能量特征向量維數，輸出層為5個神經元（四種故障和正常狀態），即為故障的類型數，隱含層為6個神經元，隱層節點函數選用sigmoid函數。

具體的BP網絡訓練算法可以查閱參考文獻。BP網絡在設計時，必須規定隱層的數目、每層的節點數、激活函數和輸入/輸出樣本對。這些參數將會影響BP網絡的收斂速度和BP網絡的有效性。

本文提出的基于IWPT預處理的神經網絡故障診斷方法，預處理的目的是為了減少神經網絡輸入層和隱層節點的個數，從而加快神經網絡訓練和收斂速度，提高故障診斷的效率。

5 結束語

通過小波包算法對傳感器故障信號的分析發現傳感器故障幾種典型信號在各個頻帶內的能量分布是不同的，因此可以提取故障信號的子頻帶能量信號作為特征向量，在提取特征向量的過程中，采用IWPT（不完全小波包變換）預處理方法，使網絡的輸入層和隱含層節點數目都減少了，能夠顯著的提高神經網絡的學習和收斂速度。將提取的特征向量作為神經網絡的輸入量，結合樣本數據（訓練樣本和測試樣本），利用BP算法對網絡進行學習訓練，實驗表明，訓練后的網絡能對EPS轉矩傳感器的典型故障進行有效的診斷。

參考文獻

[1] 沈斌,陳敏.電動助力轉向傳感器故障研究[J].機電一體化,2012(5):59-63.

[2]A.Grossmann and J.Morlet, "Decomposition of hardyfunction into square integrable wavelets of constantshape,"SIAM J.Math.,vol.15, pp.723-736.

[3]Haykin S.Neural Networks A Comprehensive Foundation.Prentice Hall,2001

[4]Y.He,Y.Tan and Y.Sun,Wavelet neural network approach for fault diagnosis of analogue circuits.IEEE Proc.-Circuits Devices Syst.Vol 151(4), pp.379-384

[5]S.Mallat,"Multifrequency channel decompositions of images and wavelet models,"IEEE Trans.ASSP,vol.37, no.12,pp.2091-2110,1989.

篇5

【關鍵詞】遺傳算法；BP神經網絡；柴油機；故障診斷

柴油機缸蓋振動信號中包含著豐富的工作狀態信息，在對其現代診斷技術中，基于振動信號分析的診斷方法顯示出了其優越性，利用缸蓋振動信號診斷柴油機故障是一種有效方法。故障特征的提取和故障類型的識別是利用振動信號分析法在對柴油機進行故障診斷過程中兩個最為重要的過程。根據提取的故障特征識別柴油機的故障類型是一個典型的模式識別問題，對柴油機故障類型識別采用恰當的模式識別方法就尤為重要。神經網絡作為一種自適應的模式識別技術，其通過自身的學習機制自動形成所要求的決策區域，而不需要預先給出有關模式的經驗知識和判斷函數；它可以充分利用狀態信息，對來自于不同狀態的信息逐一進行訓練而獲得某種映射關系。鑒于其自身特性，在故障模式識別領域中有著越來越廣泛的應用。而據統計，有80%～90%的神經網絡模型都是采用了BP網絡或者是它的變形。BP網絡是前向網絡的核心部分，是神經網絡中最精華、最完美的部分。但是它也存在一些缺陷，例如學習收斂速度、不能保證收斂到全局最小點、網絡結構不易確定。遺傳算法是一種基于生物自然選擇與遺傳機理的隨機搜索算法。其基本操作是選擇、交叉和變異，核心內容是參數編碼、初始群體的設定、適應度函數的設計、遺傳操作設計和控制參數的設定。遺傳算法通過種群隨機搜索，對數據進行并行處理，將結果收斂到全局最優解。因此，將遺傳算法與BP神經網絡結合應用于柴油機故障診斷中，可以提高網絡的性能，避免網絡陷入局部極小解，進而實現對設備故障的識別。

1 BP神經網絡

1.1 BP神經元模型在柴油機故障診斷中的應用

BP神經網絡是一種多層前饋型神經網絡，其神經元的傳遞是S型函數，輸出量為0至1之間的連續量，它可以實現從輸入到輸出的任意非線性映射。由于權值的調整采用反向傳播學習算法，因此也稱為其為BP網絡。

圖1 BP神經元模型

上圖給出一個基本的BP神經元模型，它具有R個輸入，每個輸入都通過一個適當的權值和ω下一層相連，網絡輸入可表示為：

a=f（wp+b）

f就是表示輸入/輸出關系的傳遞函數。

BP神經網絡的結構與所有影響齒輪故障的特征因素有關。柴油機運動部件多而復雜，激勵源眾多且其頻率范圍寬廣，加之噪聲的融入，使得柴油機表面振動信號極為復雜。基于這種特點，可以確定用于柴油機故障診斷的BP神經網絡的輸入層、輸出層隱含層以及節點數等。由小波包提取各柴油機故障的特征值作為輸入節點，輸出節點數目與柴油機故障類別的數目有關。

1.2 BP神經網絡與遺傳算法

BP神經網絡又稱為反向傳播算法，其算法數學意義明確、步驟分明，是神經網絡中最為常用、最有效、最活躍的一種網絡模型。常用方法梯度下降法和動量法，但是梯度下降法訓練速度較慢，效率比較低，訓練易陷入癱瘓，而且其實質是單點搜索算法，不具有全局搜索能力；動量法因為學習率的提高通常比單純的梯度下降法要快一些，但在實際應用中速度還是不夠；BP神經網絡學習訓練開始時網絡的結構參數是隨機給定的，因此結果存在一定的隨機性。

遺傳算法（Genetic Algorithm，GA）是模擬達爾文的遺傳選擇和自然淘汰的生物進化過程的計算模型，它是由美國密歇根大學的J.Holland 教授于1975年首先提出來的，遺傳算法具有很強的宏觀搜索能力和良好的全局優化性能，因此將遺傳算法與BP神經網絡結合，訓練時先用遺傳算法對神經網絡的權值進行尋找，將搜索范圍縮小后，再利用BP網絡來進行精確求解，可以達到全局尋找和快速高效的目的，并且可以避免局部極小點問題。該算法不僅具有全局搜索能力，而且提高了局部搜索能力，從而增強了在搜索過程中自動獲取和積累搜索空間知識及自應用地控制搜索的能力，從而使結果的性質得以極大的改善。

2 基于遺傳算法的BP神經網絡

遺傳算法優化BP神經網絡主要分為：BP神經網絡結構確定、遺傳算法優化權值和閥值、BP神經網絡訓練及預測。其中，BP神經網絡的拓撲結構是根據樣本的輸入/輸出個數確定的，這樣就可以確定遺傳算法優化參數的個數，從而確定種群個體的編碼長度。因為遺傳算法優化參數是BP神經網絡的初始權值和閥值，只要網絡結構已知，權值和閥值的個數就已知了。神經網絡的權值和閥值一般是通過隨機初始化為[-0.5，0.5]區間的隨機數，這個初始化參數對網絡訓練的影響很大，但是又無法準確獲得，對于相同的初始權重值和閥值，網絡的訓練結果是一樣的，引入遺傳算法就是為了優化出最佳的初始權值和閥值。

2.1 基于遺傳算法的BP神經網絡在柴油機故障診斷中的應用

通過基于遺傳算法的BP神經網絡建立小波包特征量與故障之間的對應關系。表1為柴油機常見故障在不同頻段的能量分布，構成了人工神經網絡的訓練樣本。表2為網絡輸出樣本，“0”代表沒有故障，“1”代表發生故障。利用表1中的訓練樣本對基于遺傳算法的BP神經網絡進行訓練，經1000次訓練達到了理想訓練效果。

表1 訓練樣本

表2 網絡理想輸出

表3 待診斷的故障樣本

表4 診斷結果

將表3中的待診斷的故障樣本輸入到已經訓練好的BP神經網絡，得到診斷結果如表4所示。第1組待診斷的信號第1個輸出節點接近1，可以根據訓練樣本結果判斷該組數據故障為供油提前角晚；第2組待診斷的信號第4個輸出節點接近1，根據訓練樣本結果可以判斷該組數據故障類型為供油提前角早；第3組待診斷的信號第7個數據節點接近1 ，可以判斷故障類型為針閥卡死，其診斷結果和現場勘查結果一致。

3 結語

遺傳算法優化BP神經網絡的目的是通過遺傳算法得到更好的網絡初始值和閥值。通過以上研究可以看出，遺傳算法和BP算法有機的融合，可以有效地彌補BP神經網絡結構、權值和閥值選擇上的隨機性缺陷，充分利用了遺傳算法的全局搜索能力和BP神經網絡的局部搜索能力，克服了傳統的BP神經網絡柴油機故障診斷的缺點，提高了柴油機故障診斷的精度。

【參考文獻】

篇6

關鍵詞：人臉朝向識別 學習向量量化 神經網絡 特征向量提取

中圖分類號：TP391 文獻標識碼：A 文章編號：1007-9416（2016）05-0000-00

Abstract： Aiming at the low accuracy disadvantage of traditional facial orientation recognition algorithm， the paper employs the recognition method based on the Learning Vector Quantization neural network. By means of extracting the feature vector of eyes positions in the face images and studying the different facial image samples， the paper optimizes the weighting parameters of the LVQ neural network， which achieves good recognition result. The simulation results indicates that the facial orientation recognition based on the learning vector quantization neural network is feasible and effective， and the correct recognition rate can reach more than 95%. Besides， the paper ultimately proofs the accuracy and the validity of the learning vector quantization neural network is better than the Back-Propagation neural network.

Key Words： Facial orientation recognition， Learning vector quantization， Neural network，Feature vector extraction

人臉識別作為一個復雜的模式識別問題，是生物特征識別領域最困難的研究課題之一，其目的是從圖像中剔除背景、提取人臉區域。人臉識別系統主要包括圖像數據庫采集、人臉圖像預處理、人臉特征建模及識別匹配。計算機技術的告訴發展使人臉圖像在人機交互中發揮著越來越重要的作用，由于實際應用中，人臉外形的不穩定性以及光照條件的多樣性使人臉視覺圖像在位置、朝向以及旋轉角度等方面產生巨大的差異，因此對人臉進行準確識別變得異常困難。

學習向量量化（LVQ）神經網絡是一種用于訓練競爭層的有監督學習方法的輸入前向神經網絡，其算法是從Kohonen競爭算法演化而來的[1]。與其他模式識別和映射方法相比，它的優勢在于網絡結構簡單，并且不需要對輸入向量進行歸一化、正交化處理，只通過計算輸入向量與競爭層之間的距離，從而完成復雜的分類處理[2]。當人臉朝向與旋轉角度不同時，眼睛局部特征與人臉圖像的幾何關系有較強的可區分性，因此提取人眼位置信息的特征向量并獲得有助于人臉朝向分類的特征數據，將該特征信息作為LVQ神經網絡的輸入，可實現對任意給出的人臉圖像進行朝向的識別，通過仿真可證明該方法的有效性。

1學習向量量化（LVQ）神經網絡

學習向量量化神經網絡是在競爭網絡結構的基礎上提出的，是自組織（SOFM）神經網絡的一種有監督形式的擴展。在網絡學習過程中加入教師信號作為分類信息對權值進行微調，并對輸出神經元預先指定類別，LVQ神經網絡實現了二者有效的結合，能夠更好發揮競爭學習與有監督學習的優點。

1.1 LVQ神經網絡結構與工作原理

廣義學習向量量化神經網絡由三層神經元組成，即輸入層、隱藏的競爭層和線性輸出層[3]，其網絡結構如圖1所示。輸入層與競爭層之間采用全連接方式，競爭層與輸出層之間采用部分連接方式[4]。競爭層神經元個數通常取輸出層神經元個數的整數倍，每個競爭層神經元有且只有一個輸出層神經元與之相連接且連接權值固定為1，而每個線性輸出層神經元可以與多個競爭層神經元相連接[5]。在學習向量量化神經網絡訓練過程中，當某個輸入模式被送入網絡時，競爭層的神經元通過競爭學習規則產生獲勝神經元，獲勝神經元調整權值的結果是使權值進一步向當前的輸入向量靠近。當下次出現相似的輸入模式時，獲勝神經元更容易得到修改權值的機會。在反復的競爭學習中，競爭層的各神經元對應的權值逐步被調整為輸入樣本空間的聚類中心[6]。該神經元被激活后輸出狀態為“1”，而其他競爭層神經元的狀態均為“0”。因此，與被激活神經元相連的線性輸出層神經元狀態為“1”。其余輸出層神經元狀態為“0”，從而實現模式分類與識別。

LVQ各層的數學描述如下：設神經網絡輸入向量，其中為輸入層神經元個數；競爭層輸出，表達式為；輸出層實際輸出為，表達式為，網絡期望輸出為。輸入層與競爭層之間的權系數矩陣，其中列向量為競爭層第個神經元對應的權值向量；同理可得，競爭層與輸出層之間的權系數矩陣為，其中列向量為競輸出層第個神經元對應的權值向量。

1.2 LVQ神經網絡學習算法

向量量化是利用輸入向量的固有機構進行數據壓縮的技術，學習向量量化是在向量量化基礎上將輸入向量分類的監督學習方法[7]。LVQ網絡在訓練前指定好線性輸出層的神經元類別，在學習訓練過程中不再改變競爭層與輸出層之間的權系數矩陣，而是通過改變進行學習。該算法實質是根據訓練樣本的特征進行“獎勵與懲罰”的一種迭代學習算法，即對分類正確的樣本，“獎勵”與其距離最近的權值點。經過若干次訓練后，得到的權值不再變化，說明網絡達到收斂狀態[8]。而競爭層神經元的數目輸入待分類的模式樣本測試，根據最近鄰法則得到輸入樣本模式的類別屬性。

LVQ1具體算法步驟為：

（1） 初始化輸入層與競爭層間的權值，確定初始學習速率與訓練次數；

（2）將輸入向量輸入網絡，計算競爭層神經元與輸入向量的距離并尋找獲勝神經元：

（3）根據分類是否正確調整獲勝神經元的權值：當網絡分類結果與教師信號一致時，向輸入樣本方向調整權值；反之，其他非獲勝神經元的權值保持不變。

算法直接利用最小歐式距離選擇與輸入向量最接近的矢量，因此不需要對權值向量和輸入向量進行歸一化處理。

在上述LVQ學習算法中，有且只有一個神經元獲勝并得到更新調整權值的機會。為了改善分類效果，Kohonen對該算法進行了改進，并命名為LVQ2算法[9]。改進算法基于光滑的移動決策邊界逼近貝葉斯極限，其特點是引入“次獲勝”神經元，使得“獲勝”神經元與“次獲勝”神經元的權值向量都被更新[10]。

LVQ2具體計算步驟如下：

（1）初始化參數、計算競爭層神經元與輸入向量距離同LVQ1算法；

（2）選擇與輸入向量距離最小的兩個競爭層神經元；

（3）若神經元對應于不同類別且與當前輸入向量的距離滿足，其中為輸入向量可能落進的接近于兩個向量中段平面的窗口寬度，經驗值為左右，那么若神經元對應的類別=輸入向量類別，則，若神經元對應的類別=輸入向量類別，則。

（4）若神經元不滿足上述條件，則按照LVQ1步驟（3）中進行更新即可。

2基于學習向量量化神經網絡的人臉朝向識別方法

2.1輸入向量與目標向量的設計

觀察大量人臉圖像容易察覺，當人臉圖像旋轉角不一樣時，眼睛局部特征在圖像中的位置差異明顯，因此僅需提取描述眼睛局部位置信息的特征向量并作為LVQ神經網絡的輸入，分別用數字1，2，3，4，5表示五個朝向左方、左前方、前方、右前方、右方，并作為神經網絡的輸出。搜集10人共50幅不同朝向的人臉圖像，隨機選取其中30幅圖像作為訓練集，剩余20幅作為測試集，因此目標向量為305的向量，其中每列只有一個“1”，其余均為“0”。

2.2人臉特征向量的提取

如上文所述，文中將420420的圖像劃分為6行8列，人物雙眼的局部特征信息通過第二行的8個子矩陣描述，在利用Sobel算子對圖像進行邊緣檢測后第二行8個子矩陣中值為“1”的像素點個數可較為準確的表示人臉朝向。

2.3 LVQ神經網絡的創建與訓練

LVQ網絡設計的關鍵因素包括訓練樣本是否具有普遍性與代表性，訓練樣本容量能否滿足需要，競爭層神經元數量、初始權值等網絡參數取值是否得到優化。根據特征向量與訓練圖像數量可知輸入和輸出節點分別為30和5，競爭層神經元的個數通常取決于輸入輸出關系的復雜性。為防止因競爭層神經元數過多產生“死”神經元，競爭層節點數經驗值為線性輸出層節點數的24倍，本文選取15作為競爭層節點數；其次是選擇合適的學習率，為保證算法的收斂性與穩定性，學習率取恒定值或隨時間單調減小，通常取。本文期望誤差取值0.001，學習函數用LVQ1，最大訓練步數設為100，初始化參數后對LVQ神經網絡進行訓練，訓練算法達到預先指定的誤差容限后停止。訓練過程曲線如圖2所示，由圖可知網絡收斂性較好，滿足誤差要求。

3實驗結果與分析

3.1網絡測試識別率與訓練次數、學習算法關系

將測試的20幅不同朝向的人臉圖像輸入網絡，網絡識別率如表1所示。由表1結果可知，LVQ神經網絡識別人臉朝向可行且有效，總體上取得了較好的識別結果。從訓練次數分析，在一定范圍內訓練次數的增加會提高分類識別正確率，所需訓練時間也會增加，識別錯誤主要因為樣本數據較為復雜。當訓練集較少時識別率會相對較低，因此在防止出現過擬合的同時應盡量增加訓練集的樣本數目，可有效改善網絡識別結果。

從算法角度分析，結果顯示LVQ2算法雖然是對LVQ1算法的改進但同時引入了新的誤差，因此識別結果較差；同時LVQ1算法運用簡單，識別率較高，具體應用時應開發更好的優化學習算法，綜合考慮性能指標作折衷處理。

3.2 LVQ神經網絡與BP神經網絡識別效果對比

由于BP神經網絡的輸出為非二值數據，因此采用四舍五入方法：若網絡輸出小于0.5則認為是0，反之為1；并提前利用三位二進制數編碼對五個朝向進行表述，如表2所示。

設置訓練次數為100次，BP神經網絡仿真結果識別率僅為85%，并出現錯誤預測值 [0；0；0]，該狀態不屬于表2中任何一種，從結果判斷不出圖像中人臉朝向，而LVQ神經網絡不僅可以很好的規避這一缺點，同時算法識別準確率明顯較高。

4結語

本文提出了一種基于學習向量量化神經網絡的人臉朝向識別方法，該方法第一步提取人臉圖像中雙眼的局部位置特征向量，并將提取的向量送入網絡進行訓練測試實現人臉朝向的準確識別，然后通過仿真實驗證明利用LVQ神經網絡進行人臉朝向識別方法的有效性，該方法能夠發揮競爭學習和有監督學者的優點，且網絡結構簡單，有效提高了識別率。

參考文獻

[1] 秦愷，曹龍漢 等.基于LVQ神經網絡集成的柴油機氣門故障診斷[J].UPS應用，2014：47-50.

[2] 董妍慧.基于LVQ神經網絡模型的企業財務危機預警[J].大連海事大學學報，2008，7（1）：92-94.

[3] 胡波，王文娟.基于向量量化網絡的煤礦瓦斯監控系統改造[J].電力學報，2010，25（2）：162-164

[4] 朱玉斌，李華聰.基于LVQ網絡的航空發動機氣路故障特征提取方法研究[J].測控技術，2014，33（6）：24-27.

[5] 律方成，張波.LVQ神經網絡在GIS局部放電類型識別中的應用[J].電測與儀表，2014，51（18）：112-115.

[6] 戴金輝.基于混合神經網絡的入侵檢測技術的研究[D].東北大學碩士論文，2010：37-39.

[7] 程劍鋒，徐俊艷.學習矢量量化的推廣及其典型形式的比較[J].計算機工程與應用，2006（17）：64-66.

[8] 李琳，張永祥.學習向量量化（LVQ）神經網絡在周期信號識別方面的擴展應用[J].機械設計與制造，2006，6：120-122.

篇7

關鍵詞：壁紙識別；BP神經網絡；不變矩

中圖分類號：TP391.41

貼標的識別以往是通過人工識別，人為因素影響大，識別速度慢，精度低，不能滿足大批量生產的需要。因此，在經濟社會高速發展的今天，此方法越來越不能滿足壁紙行業發展的需要。隨著計算機的發展，通過計算機智能識別壁紙的紋理就成為可能，主要思路是將壁紙拍攝獲知的圖像進行紋理特征的提取，只要建立足夠的特征庫，就可以把需要判別的壁紙圖片輸入計算機，通過檢索來判別該壁紙是哪種材種。因此，本文引入圖像處理技術和BP神經網絡技術，提出一種壁紙貼標自動識別算法，以解決貼標大批量生產的需要。

1 壁紙紋理特征的提取

不變矩是指物體圖像經過平移，旋轉以及比例變換仍保持不變的矩特征量，設物體的二維離散圖像函數用f（x，y）表示，其（p+q）階矩定義為：

（1）

相應的（p+q）階中心矩定義為：

（2）

其中，x0=m10/m00，y0=m01/m00，x0表示二維圖像的灰度在水平方向上的重心，y0表示二維圖像的灰度在垂直方向上的重心。

HuM.K.等人利用二階、三階中心矩得到了7個不變矩特征參數，具體如下：

Φk=|log|Φk，k=1，2，3，4，5，6，7 （3）

在本設計的實驗中要求樣本的尺寸是256×256，從每一類原始樣本中采集100個能表現該樣本紋理的圖片，形成識別樣本庫，之后提取了所有樣本的不變矩紋理特征。

圖1 壁紙樣本圖片

2 BP-神經網絡分類器的設計

2.1 BP神經網絡概述

BP神經網絡（Back Propagation）是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種基于誤差逆傳播算法的多層前饋神經網絡，目前廣泛應用于分類、識別、函數逼近等領域。BP神經網絡結構如圖2所示，包括輸入層、輸出層和隱含層。

圖2 BP神經網絡結構圖

BP學習算法的工作過程由正向傳播和反向傳播組成。正向傳播過程是指輸入信號從輸入層經隱含層，在輸出層產生輸出信號。如果輸出層不能得到期望的輸出信號，輸出信號將反向傳播，將誤差信號沿原有路徑返回，并按照一定規則修改網絡參數，逐漸地向輸入層傳播去進行計算，正向傳播和反向傳播兩個過程的反復運用，直到誤差信號滿足要求。

2.2 BP神經網絡分類器設計

2.2.1 網絡輸入節點數的設計

輸入層節點數主要根據數據特征向量的維數來確定，本文輸入節點數為不變矩特征向量的維數，即輸入節點數為7。

2.2.2 網絡隱含層數的設計

通常情況下，增加網絡的隱含層數可以使網絡誤差降低，提高網絡的精度，但同時也使網絡變得復雜化，使得網絡的訓練時間增加，而且容易出現網絡過擬合的情況。有研究表明，具有Sigmoid非線性函數的3層BP神經網絡能夠逼近任何連續函數。因此，本研究中神經網絡分類器的隱含層數選為3層。

2.2.3 網絡隱含層節點數的設計

在確定BP神經網絡隱含層數后，下一步就需要確定隱含層節點數。隱含層神經元個數一般由 是公式確定，其中n是隱含層神經元個數，n0是輸入層神經元個數，n1是輸出神經元個數，a∈（1～10）。

2.2.4 網絡輸出層的設計

輸出層的節點數是根據BP神經網絡分類器的輸出類別數量決定，也就是說，輸出層的節點數應為類別總數。例如，本研究需要將待識別的壁紙樣本分成8大類，那么輸出層節點數應設置為8，并將每類對應的目標向量依次設置為[1 0 0 0 0 0 0 0]T、[0 1 0 0 0 0 0 0]T、[0 0 1 0 0 0 0 0]T、[0 0 0 1 0 0 0 0]T、[0 0 0 0 1 0 0 0]T、[0 0 0 0 0 1 0 0]T、[0 0 0 0 0 0 1 0]T、[0 0 0 0 0 0 0 1]T，對應目標向量的數目為對應輸入壁紙樣本的數目，即目標向量與輸入壁紙樣本是相互對應的。

本文BP神經網絡分類器采用MATLAB神經網絡工具箱進行設計，訓練函數選擇Trainlm，訓練次數為200，誤差為0.001，將壁紙樣本其分成訓練樣本與測試樣本2部分，并利用訓練好的BP神經網絡對樣本進行自動識別，識別率達到90.0%。

3 結束語

實驗結果表明不變矩紋理特征參數可以用于表征壁紙樣本，使用本文設計的BP神經網絡分類器可以有效識別不同種類的壁紙樣本。

參考文獻：

[1]高雋.人工神經網絡原理及仿真實例[M].北京：機械工業出版社，2003：55-63.

[2]楊斐，王坤明，馬欣.應用BP神經網絡分類器識別交通標志[J].計算機工程，2000（10）：120-121.

[3]Yaping JIANG，Zuxin XU，Hailong YIN.Study on improved BP artificial neural networks in eutrophication assessment of China eastern lakes [J].Journal of Hydrodynamics，2006（03）：528-532.

[4]嚴曉梅，耿國華，周明全.基于改進BP神經網絡的指紋自動分類器[J].微計算機信息，2007（01）：281-282+288.

[5]李梅，孟凡玲，李群.基于改進BP神經網絡的地下水環境脆弱性評價[J].河海大學學報（自然科學版），2007（03）：245-249.

[6]閔惜琳，劉國華.用MATLAB神經網絡工具箱開發BP網絡應用[J].計算機應用，2001（08）：163-164.

篇8

關鍵詞：卷積神經網絡 現場可編程門陣列 并行結構

中圖分類號：TP183 文獻標識碼：A 文章編號：1007-9416（2015）12-0000-00

1 引言

卷積神經網絡（Convolutional Neural Network， CNN）具有良好的處理能力、自學能力及容錯能力，可以用來處理復雜的環境信息，例如，背景情況不明，推理規則不明，樣品存有一定程度的缺陷或畸變的情況。所以，卷積神經網絡被廣泛應用于目標檢測、物體識別和語音分析等方面[1]。現場可編程門陣列（Field Programmable Gate Array， FPGA），作為可編程使用的信號處理器件，其具有高集成度、運行高速、可靠性高及采用并行結構的特點，易于配合CNN處理數據。

2 國內外研究現狀

2.1 神經網絡的模型結構

根據研究角度、數據傳遞方式、數據處理模式、學習方法等的不同，多種神經網絡模型被構建出來。目前主要有四種模型被廣泛應用中[2][3]：

（1）前饋型神經網絡。此類神經元網絡是由觸突將神經原進行連接的，所以網絡群體由全部神經元構成，可實現記憶、思維和學習。此種類型的網絡是有監督學習的神經網絡。（2）遞歸型神經網絡。此種神經網絡又稱為反饋網絡，以多個神經元互相連接，組織成一個互連的神經網絡，使得電流和信號能夠通過正向和反向進行流通。（3）隨機型神經網絡。此種神經網絡的運行規律是隨機的，通過有監督學習方法進行網絡訓練。（4）自組織競爭型神經網絡。此種神經網絡通過無監督的學習方法進行網絡訓練，一般具有兩層網絡結構，輸入層和競爭層。兩層間的各神經元實現雙向全連接。

2.2 神經網絡的學習方法

神經網絡的學習方法用來解決調整網絡權重的問題，是指完成輸入特征向量映射到輸出變量之間的算法，可以歸納為三類[4-7]：

（1）有監督的學習。在學習開始前，向神經網絡提供若干已知輸入向量和相應目標變量構成的樣本訓練集，通過給定輸入值與輸出期望值和實際網絡輸出值之間的差來調整神經元之間的連接權重。（2）無監督的學習。此種學習方法只需要向神經網絡提供輸入，不需要期望輸出值，神經網絡能自適應連接權重，無需外界的指導信息。（3）強化學習。此種算法不需要給出明確的期望輸出，而是采用評價機制來評價給定輸入所對應的神經網絡輸出的質量因數。外界環境對輸出結果僅給出評價結果，通過強化授獎動作來改善系統性能。此種學習方法是有監督學習的特例。

2.3 卷積神經網絡的結構

卷積神經網絡為識別二維或三維信號而設計的一個多層次的感知器，其基本結構包括兩種特殊的神經元層，一為卷積層，每個神經元的輸入與前一層的局部相連，并提取該局部的特征[8]；二是池化層，用來求局部敏感性與二次特征提取的計算層[8]。作為部分連接的網絡，最底層是卷積層（特征提取層），上層是池化層，可以繼續疊加卷積、池化或者是全連接層。

3 FPGA實現神經網絡的并行體系結構

（1）卷積神經網絡的計算架構。卷積神經網絡可以使用“主機”與“FPGA”相結合的體系模型，主機用來控制計算的開始和結束，并在神經網絡前向傳播計算過程中，提供輸入圖像等數據。主機與FPGA之間的通信可以通過標準接口，在主機進行任務分配的過程中可以對FPGA上的卷積神經網絡進行硬件加速。當卷積神經網絡開始啟動計算，通過標準接口接收到主機傳輸的圖像時，FPGA開始進行計算，并且使用FPGA中的存儲器來存儲卷積核權值。FPGA將會先完成卷積神經網絡前向傳播過程的計算，然后將其最后一層計算得到的結果輸出給主機。（2）卷積神經網絡并行體系架構。一、單輸出并行結構：每次計算一個輸出圖像，其中會將多個輸入圖像和多個卷積核基本計算單元同時進行卷積運算，然后將全部卷積運算的結果與偏置值進行累加，再將結果輸入非線性函數和自抽樣子層進行計算。二、多輸出并行結構：若卷積神經網絡的計算單元中含有多個單輸出的并行結構，那么輸入數據可同時傳送到多個單輸出計算單元的輸入端，從而組成多個單輸出計算單元組成的并行結構。在卷積神經網絡的并行計算結構中，每個卷積核計算單元在進行卷積操作時都要進行乘加運算，所以，有必要將單個的卷積運算拆分實現并行化，并且可以嘗試將同一層內的多個卷積運算進行并行化。

4 結語

本文對卷積神經網絡進行了介紹，總結了國內外的研究現狀，結合卷積神經網絡運算的特點與FPGA的快速計算單元數量及功能方面的優勢，嘗試闡述了在FPGA映射過程的卷積神經網絡的并行體系結構。

參考文獻

[1] Fan J，Xu W，Wu Y，et al. Human tracking using convolutional neural networks[J].IEEE Transactions on Neural Networks，2010（10）：1610-1623.

[2] 楊治明，王曉蓉，彭軍.BP神經網絡在圖像分割中的應用.計算機科學[J].2007（03）：234-236.

[3] Simon Haykin . Neural networks ，a comprehensive foundation[M].second edition，Prentice Hall，1998.

[4] Herta J ， et al.Introduction to Theory of Neural Compution[M].Sant Fee Complexity Science Series，1991.156.

[5] 戴奎.神經網絡實現技術[M].長沙：國防科技大學出版社，1998.

[6] 焦李成.神經網絡系統理論[M].西安：西安電子科技大學出版社，1996.

篇9

（中國蚌埠汽車士官學校裝備技術系，安徽 蚌埠 233000）

【摘　要】神經網絡具有并行處理能力、自學習能力，自適應能力和可以逼近任意的非線性函數等特點，是解決非線性、多變量、不確定的復雜診斷問題的一條有效的途徑，神經網絡的這些特點使得它在故障諺斷領域應用越來越廣泛。本文利用LM改進學習算法訓練所建立的BP神經網絡，然后利用訓練好的神經網絡進行柴油機故障診斷，得出診斷結果，使故障診斷具有人工智能化。

關鍵詞 BP神經網絡；優化；故障診斷；仿真

1　BP神經網絡

BP神經網絡是多層前饋神經網絡，它的名字源于網絡權值的調整規則，采用的是后向傳播學習算法，既BP算法。BP網絡是目前應用最廣的神經網絡之一，BP網絡是由一個輸人層，一個或多個隱層以及一個輸出層組成，如圖1所示，上下層之間實現全連接，而每層神經元之間無連接。網絡的學習過程包括正向傳播和反向傳播。在正向傳播進程中，輸入信息從輸入層經隱層加權處理傳向輸出層，經功能函數運算后得到的輸出值與期望值進行比較，若有誤差，則誤差反向傳播，沿原先的連接通道返回，通過逐層修改各層的權重系數，減小誤差。隨著這種誤差逆向傳播修正的不斷進行，網絡對輸入模式響應的正確率也不斷上升。

研究表明，帶有兩個隱層的BP網絡能形成任何形狀的決策區域。當BP網用作非線性映射時，允許網絡實現輸入到輸出之間的任意映射關系，即可建立故障征兆空間與故障空間的某種映射關系，每當給出一個實測的故障征兆矢量，網絡即能通過狀態演化（前傳和聯想）收斂到與其最相近的模式，從而診斷其故障原因。典型的基于神經網絡模式識別的故障診斷系統結構如圖2所示。

2　BP神經網絡的不足

BP神經網絡模型雖然在各方面都具有重要意義，而且應用也很廣泛，但它也存在一些不足。從數學上看，它是一個非線性優化問題，不可避免的存在局部極小點，學習算法的收斂速度慢，網絡隱層單元數選取帶有很大的盲目性和經驗性，新加入的樣本要影響已學完的樣本等。

具體來說，BP算法對樣本進行逐個學習時，常會發生“學了新的，忘了舊的”的遺忘現象。故此值得對樣本不斷循環重復，這樣一來其學習時間必然延長。為了克服這個缺點，將逐個學習改為批量學習，即對所有樣本都進行學習后將其誤差相加，然后用這個誤差之和來對網絡的權系數進行調整。但是這樣一來，在誤差求和時，這些誤差有可能互相抵消，這就降低了算法的調整能力，也就是延長了學習的時間。所以，按批量學習其收斂速度也會很慢。同時，批量學習方法還有可能產生新的局部極小點。比如各誤差不為零，但其總和為零，這種情況發生后算法就穩定在這個狀態上，造成新的局部極小點。

3　BP神經網絡學習算法的優化

為了提高神經網絡算法的學習效率及穩定性，在反向傳播（BP）算法中可以引入基于非線性最小二乘法的Levenberg-Marquart（LM）最優算法，替代原BP算法中的梯度下降法尋找最佳網絡連接權值。

LM算法是一種優良的非線性最小二乘優化方法，這種方法的一般模型為：

LM算法是二階收斂的Newton算法的變形，又稱變尺度法。牛頓法的權值調整算法如下：

在Gauss－Newton法中，我們要求A是滿秩的。遺憾的是在實際情況中，A為奇異的情況經常發生，使得算法常常收斂到非駐點。這樣造成的結果是線性搜索得不到進一步下降，從而無法找到最優點。LM算法通過引入一個可變因子μ，將一個對角陣μI加到ATA上去，改變了原矩陣的特征值結構使其變成滿秩正定矩陣，從而確保線性搜索的方向為下降的方向。其權值調整規則為：

我們可以利用μ來控制迭代，μ可以在一較大的范圍內進行調整。μ較小時即為Gauss－Newton法；μ較大時即為最速下降法。μ參數的引入，以及在迭代過程中μ參數的可調節性，極大地改善了算法收斂的穩定性。

采用LM最優化算法訓練神經網絡，替代原BP算法中的梯度下降法尋找最佳網絡連接權值。仿真試驗證明，這種學習算法提高了BP網絡算法的學習效率及穩定性，并提高了網絡的收斂速度，更好的實現了對柴油機燃油壓力信號的故障診斷。

4　基于優化的BP神經網絡柴油機燃料系故障診斷

4.1　確定故障特征信息

柴油機燃油系統的狀態信息主要體現在高壓油管的壓力波形中，當某處發生故障時，必然使原有供油狀態發生變化，燃油流動的壓力和流速等參數會有相應的改變，反映在壓力波形上將導致波形形態和波形參數值的變化。因此利用壓力傳感器測取高壓油管的燃油壓力波形，并對波形進行分析、提取出故障特征，再利用人工神經網絡模型對特征值進行模式識別就可達到故障診斷的目的。圖3、圖4分別為100%和25%供油量噴油壓力波形圖。

4.2　提取特征參數

特征參數的提取是模式識別過程中的重要環節，它關系到模式識別效果的準確性。由于燃油壓力波形是一種規則波形，任一壓力波形都標志著柴油機燃油系統的一種工作狀態。壓力波形的狀態信息主要體現在波形的結構形態上，可以直接從其時域波形上提取波形的結構特征，并表示為便于計算的特征空間。根據分析和試驗，對于燃油壓力波形來說，最大壓力、起噴壓力、落座壓力、次最大壓力、波形幅度、上升沿寬度、波形寬度、最大余波寬度等特征最能表現出柴油機運行時的狀況。為了獲得最佳診斷效果，我們選用這八種參數構成特征向量空間，如圖5所示。

4.3　BP神經網絡的建立及故障診斷過程

4.3.1　數據樣本采集

柴油機燃料系故障主要是供油量不足，主要表現為針閥卡死、針閥泄漏、出油閥失效等。在發動機800r/min時，用傳感器分別采集正常油量、針閥卡死、針閥泄漏、出油閥失效四種狀態的燃油壓力數據，繪制出不同狀態下的燃油壓力波形，對每個波形手動提取出最大壓力、啟噴壓力、落座壓力、次最大壓力、波形幅度、上升沿寬度、波形寬度、最大余波寬度這8個特征值。一般情況下，每個狀態至少采集提取5個實際樣本，每個樣本都包括以上8個特征值，用來建立網絡，訓練網絡，并進行故障診斷。

4.3.2　BP神經網絡的建立和訓練

新建BP神經網絡NewNet，如圖6所示，網絡設計采用三層BP網絡，網絡的輸入層個數為8個，輸出層的個數為4個，隱含層的個數并不是固定的，經過實際訓練的檢驗和不斷的調整，確定隱含層的個數近似遵循下列關系n2=2n1+1。其中n1為輸入層個數，n2為隱含層個數，因此隱含層個數為17個。

四種故障模式可以用如下形式表示輸出：

正常油量（1，0，0，0）；針閥卡死（0，1，0，0）；針閥泄漏（0，0，1，0）；出油閥失效（0，0，0，1）。

輸入層至隱層的連接權Wij、隱層至輸出層的連接權Vjt、隱層各單元的輸出閾值θj、輸出層各單元的輸出閾值γj ，都選取為（－1～1）之間的隨機數，然后按照BP網絡的學習步驟進行學習。網絡輸入層的傳遞函數采用雙曲正切S型傳遞函數Tansig，第二層傳遞函數采用S型對數函數Logsig，利用基于非線性最小二乘法的LM最優算法，替代原BP算法中的梯度下降法訓練神經網絡，求出最佳網絡連接權值和閾值。

利用所采集數據樣本，作為網絡訓練的原始樣本，確定初始連接值和閾值后利用Matlab編程，訓練的速度為0.1，訓練誤差精度為0.01，對網絡訓練9000次，得出最終的各個連接權值和閾值，訓練結束。

4.3.3　故障診斷過程及結果

網絡訓練結束后，將表1中的測試數據輸入訓練好地BP網絡。

經過運算后，網絡輸出層得出如下的診斷結果：

從測試結果可以看出，診斷結果與實測值具有良好的一致性，診斷誤差分別為0.0043、0.0005、0.0035和0.0380可見診斷誤差非常小，因此可以判定，該BP神經網絡完全可以滿足柴油機燃油系常見故障的診斷要求。

5　結束語

仿真試驗表明，基于優化的BP神經網絡的故障診斷結果與實測值具有良好的一致性，只要選擇足夠典型的原始故障樣本訓練BP神經網絡，網絡的容錯性和穩定性就較好。針對設備運行的復雜性，僅選用單一的診斷參數往往會做出錯誤的判斷，而基于神經網絡的故障模式識別方法能充分利用信息特征，實現輸人與輸出之間的映射關系，得出準確的診斷結果。（下轉第188頁）

參考文獻

［1］黃麗．BP神經網絡算法改進及應用研究[D]．重慶師范大學，2008：6－15．

［2］孫即祥．現代模式識別[M]．國防科技大學出版社，2001，5．

［3］李國勇．智能控制及其MATLAB實現[M]．電子工業出版社，2005，5．

［4］李煥良，等．基于BP神經網絡的電氣系統故障診斷[J]．起重運輸機械，2005，6:55－56．

［5］王俊生．柴油發動機燃油系統的故障分析研究[J]．山西建筑，2003，4:250．

［6］董學剛．燃油壓力波檢測在機車柴油機故障判斷上的應用[J]．內燃機車，2002，7:25－27．

篇10

Yi Wan，Luo Jing，Li Yong，Guo Shaoying （College of computer science and Information Engineering， Tianjin University of Science & Technology， Tianjin 300222， China） Abstract： According to user search history， the user information of interest by Title Classification， the auto-encoder neural network feature extraction value. Set the learning sample heading up to 25 Chinese characters， coding mode is adopted Chinese characters machine code （GBK code）. Use the MATLAB tool for deep learning， will feature in the original space representation is transformed into a new feature space. Key words： Text feature; The auto-encoder neural network; Deep learning; Matlab

基于自編碼神經網絡建立搜索信息模型的目的是根據用戶搜索信息的歷史，推斷出網頁中的內容是用戶關注的信息并即時顯示。首先將用戶關注的歷史信息按標題分類，通過自編碼神經網絡建立標題特征值數據庫。當自編碼神經網絡搜索信息模型工作時，按照用戶提供的關鍵詞順序，打開用戶經常瀏覽的網頁，讀入標題文本，若具有數據庫中的標題特征，則將該標題的文本內容即時顯示。

直接解析網頁中的標題文本，面臨的基本問題是文本的表示。如果把標題文本所有的詞都作為特征項，那么太多的特征向量維數導致計算量太大。例如50個標題，每個標題25個漢字，特征項將有50×25=1250個。如果將標題中的某個關鍵詞作為特征詞，將會有幾千個包含關鍵詞的標題，從而導致讀入分析量過于巨大。本文采用自編碼神經網絡，用映射變換的方法把原始文本特征變換為較少的新特征，提高信息搜索效率。

1 自編碼神經網絡

1.1 自編碼神經網絡理論

Auto-Encoder（自編碼）[1]，自編碼算法是一種基于神經網絡算法的無監督學習算法，與神經網絡算法的不同之處是將輸入值作為輸出節點的輸出。自編碼算法的另一個特征是隱藏層節點的個數一般少于輸入輸出節點的個數。這樣的意義是將輸入的特征通過神經網絡的非線性變換到節點數更少的隱藏層。因此，可以通過自編碼神經網絡對給定的樣本進行訓練學習，從而得到輸入數據降維后的特征，即為隱藏層的節點數，省去了人工特征提取的麻煩。

自編碼神經網絡結構示意圖如圖1所示[2]。這是一種深度學習的神經網絡，包含了多個隱含層，整個網絡是一種對稱的結構，中心層的神經元的個數最少。網絡通過對樣本的訓練可以得到一組權值系數，而輸入數據通過這組權值系數表達成低維形式，從而達到了用降維后的特征表示出輸入的數據。

圖1 自編碼神經網絡的結構

Fig.1 The structure of auto-encoder neural network

1.1.1 預訓練

（1） 輸入參數的確定：標題是作者給出的提示文章內容的短語，標題一般都簡練、醒目，有不少縮略語，與報道的主要內容有著重要的聯系。如登陸我的鋼鐵網站，搜索鋼管熱點資訊，顯示的標題有“我國自主研制*****油管成功替代進口”，學習樣本選擇50組標題，每個標題不超過25個漢字，如表1所示。

表1 學習樣本

Tab. 1 Learning samples

1

我國自主研制高端耐熱鋼無縫鋼管成功替代進口

2

我國自主研制K55石油套管成功替代進口

3

我國自主研制J55稠油熱采套管成功替代進口

4

我國自主研制專用耐高溫防火船舶用套管成功替代進口

5

我國自主研制20G高壓鍋爐管成功替代進口

6

我國自主研制特殊用途低溫用管成功替代進口

7

我國自主研制起重機臂架無縫鋼管成功替代進口

8

我國自主研制精密合金4J36船用管材成功替代進口

9

我國自主研制高強韌性高抗擠毀套管成功替代進口

10

我國自主研制三種極限規格管線管成功替代進口

…

……

50

我國自主研制醫藥化工用管成功替代進口

（2） 語句預處理[3]：學習樣本句子進行預處理是把句子中的每一個漢字變換成自編碼神經網絡模型能接受的數字化形式。為了使神經網絡能接受外部數據，首先要對句子中的漢字進行編碼，編碼方式是采用漢字的計算機內碼（GBK碼）。每個漢字機內碼有16位二進制，如：“我國自主研制”的二進制碼為

1100111011010010 我（GBK碼）

1011100111111010 國（GBK碼）

1101011111010100 自（GBK碼）

1101011011110111 主（GBK碼）

1101000111010000 研（GBK碼）

1101011011000110 制（GBK碼）

將16位二進制數轉換為十進制數并進行線性變換，映射到實數[0 1]之間，作為輸入神經元初值。變換公式如下：

式中：maxi和mini;tmax和tmin分別為x（p）i，t（p）量程范圍的最大值和最小值。

（3）預訓練：幾個獨立的RBM構成“堆棧”構成了預訓練部分，而RBM是BM （boltzmannmachine）的一種特殊連接方式。圖2即為RBM的網絡構成。它是一種隱含層神經元無連接，并且只有可見層和隱含層兩層神經元。

圖2 RBM網絡構成

Fig. 2 Construction of restricted boltzmannmachine

BM的權值調整公式為[4]

（1）

式中：在第t步時神經元i、j間的連接權值為wij（t）;η為學習速率;T為網絡溫度;<uihj>+、<uihj>-分別為正向平均關聯和反向平均關聯。

在RBM中，可見層神經元的輸出和隱含層神經元輸出的乘積即為平均關聯。系數ε由η和T統一合并而成，迭代步長即由權值調整公式ε表示。

圖3 RBM網絡結構圖

Fig. 3 RBM network structure diagram

（4）MATLAB實現：

本文建立的BP神經網絡模型結構為

[25，15，25]，[15，12，15]，[12，10，12]，[10，8，10]，[8，5，8]

設定網絡隱含層的激活函數為雙曲正切S型函數tansig，輸出層的激活函數為線性激活函數purelin，網絡的訓練函數為Levenberg-Marquardt算法訓練函數trainlm。因此對應的MATLAB神經網絡工具箱的程序語句為

net=newff（minmax（P），[25，25]，{‘tansig’，’purelin’}， ’trainlm’）;

net=newff（minmax（P），[15，15]，{‘tansig’，’purelin’}，’trainlm’）;

net=newff（minmax（P），[12，12]，{‘tansig’，’purelin’}，’trainlm’）;

net=newff（minmax（P），[10，10]，{‘tansig’，’purelin’}，’trainlm’）;

net=newff（minmax（P），[8，8]，{‘tansig’，’purelin’}，’trainlm’）;

設定學習速率為0.01，最大訓練步數為300，目標誤差為0.00001。

（5）預訓練結果：

預訓練結果如表2所示。

表2 預訓練結果

Tab. 2 The results of pre training

誤差

學習速率

步長

[25，15，25]

0.003248

0.01

150

[15，12，15]

0.0022809

0.01

125

[12，10，12]

0.0025866

0.01

100

[10，8，10]

0.0039575

0.01

75

[8，5，8]

0.013529

0.01

50

1.1.2 展開

如圖4所示，將各個RBM連接，得到自編碼神經網絡。預訓練所得到的權值，將作為整個自編碼神經網絡的初始權值，參與整個網絡的微調訓練。

圖4 RBM展開圖

Fig. 4 Development of RBM network structure

1.1.3 微調

微調訓練是在預訓練得到初始權值的基礎上，對權值進一步調整。采用以交叉熵為目標函數[5]的BP算法完成網絡的微調訓練。交叉熵是用來度量兩個概率分布間差異性的，它是一個非負數，兩個分布越相似，其越小。原始的交叉熵定義為

（4）

式中：x為隨機變量;q（x）為已知概率分布;p（x）為估計概率分布。

對于隨機變量x，當用q（x）估計p（x）時，通過調整受x影響的p（x）來最小化交叉熵D（pq），用于自編碼神經網絡權值調整的BP算法交叉熵函數形式為

（5）

式中：ti目標概率分布;yi實際概率分布。

整個網絡訓練的目的是調整權值以使交叉熵函數達到最小，權值調整公式為

根據上面的權值調整公式，可以完成網絡的微調訓練。訓練結果如表3所示。

表3 微調訓練結果

1.1.4 特征提取

50組標題（每個標題不超過25個漢字）的學習訓練，通過自編碼網絡的逐層特征變換，將樣本數據約1250（50×25）個漢字編碼，在原空間的特征表示變換到一個新特征空間。其中網絡最深隱含層的輸出值（5個）和權值矩陣W6（5×8=40個），共計45個，為提取標題文本1250個漢字編碼的特征值。

2 實 例

本文選取10組標題文本見表4，分別輸入自編碼神經網絡。預測結果表示基本符合要求。

表4 預測結果

Tab. 4 The prediction results

序號

樣本輸入

結果顯示

1

我國自主研制的蛟龍號深水探測器成功替代進口

無

2

我國自主研制首臺3.6萬噸垂直擠壓機擠合格鋼管成功替代進口

我國自主研制首臺3.6萬噸垂直擠壓機擠合格鋼管成功替代進口

3

我國自主研制的超級計算機系統成功替代進口

無

4

我國自主研發的1000MPa高壓共軌管成功替代進口

我國自主研發的1000MPa高壓共軌管成功替代進口

5

我國自主研制超臨界電站無縫鋼管T92、P92成功替代進口

我國自主研制超臨界電站無縫鋼管T92、P92成功替代進口

6

我國自主研制重載火車頭下線成功替代進口

無

7

我國自主研制成功特高壓交、直流套管成功替代進口

我國自主研制成功特高壓交、直流套管成功替代進口

8

我國自主研制的Q355GNH系列耐候鋼成功替代進口

我國自主研制的Q355GNH系列耐候鋼成功替代進口

9

我國自主研制的渦槳支線飛機成功替代進口

無

10

我國自主研制釩微合金L290管線鋼成功替代進口

我國自主研制釩微合金L290管線鋼成功替代進口

3 結 語

本文按照標題文本分類檢索信息，解決了直接按照關鍵詞搜索信息，網頁中經常顯示幾千條包含關鍵詞內容的標題本文，從而導致讀入分析信息量過于巨大的問題。通過自編碼神經網絡提取文本特征，在不損傷文本核心信息的情況下盡量減少要處理的單詞數，以此來降低向量空間維數，簡化計算，提高了文本處理的速度和效率。