導語：如何才能寫好一篇卷積神經(jīng)網(wǎng)絡(luò)情感分析，這就需要搜集整理更多的資料和文獻，歡迎閱讀由公務員之家整理的十篇范文，供你借鑒。

篇1

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；語言模型；分析

1 卷積神經(jīng)網(wǎng)絡(luò)語言模型

CNN語言模型基本結(jié)構(gòu)包括輸入層、卷積層、池化層及后續(xù)的分類層。輸入層是表示語言的矩陣，該矩陣可以是通過Google word2vec或GloVe預訓練得到的詞嵌入表示，也可以是從原始數(shù)據(jù)重新訓練的語言的向量表示。輸入層之后是通過線性濾波器對輸入矩陣進行卷積操作的卷積層。在NLP問題中，輸入矩陣總是帶有固定順序的結(jié)構(gòu)，因為矩陣的每一行都表示離散的符號，例如單詞或者詞組等。因此，使用等寬的濾波器是非常合理的設(shè)置。在這種設(shè)置下，僅需要考慮濾波器的高度既可以實現(xiàn)不同尺寸的濾波器做卷積操作。由此可知，在處理NLP問題時，卷積神經(jīng)網(wǎng)絡(luò)的濾波器尺寸一般都是指濾波器的高度。

然后，將卷積層輸出的特征映射輸入池化層，通過池化函數(shù)為特征映射進行降維并且減少了待估計參數(shù)規(guī)模。一般的，CNN池化操作采用1-max池化函數(shù)。該函數(shù)能夠?qū)⑤斎氲奶卣饔成浣y(tǒng)一生成維度相同的新映射。通過池化操作，可以將卷積層生成的特征連接成更抽象的高級特征，所得到的高級特征尺寸與輸入的句子不再存在直接關(guān)系。

最后，將得到的高級特征輸入softmax分類層進行分類操作。在softmax層，可以選擇應用dropout策略作為正則化手段，該方法是隨機地將向量中的一些值設(shè)置為0。另外還可以選擇增加l2范數(shù)約束，l2范數(shù)約束是指當它超過該值時，將向量的l2范數(shù)縮放到指定閾值。在訓練期間，要最小化的目標是分類的交叉熵損失，要估計的參數(shù)包括濾波器的權(quán)重向量，激活函數(shù)中的偏置項以及softmax函數(shù)的權(quán)重向量。

2 卷積神經(jīng)網(wǎng)絡(luò)語言模型應用分析

CNN語言模型已經(jīng)廣泛應用于諸如文本分類，關(guān)系挖掘以及個性化推薦等NLP任務，下面將對這些應用進行具體的介紹與分析。

2.1 CNN在文本分類中的應用分析

kim提出了利用CNN進行句子分類的方法。該方法涉及了較小規(guī)模的參數(shù)，并采用靜態(tài)通道的CNN實現(xiàn)了效果很優(yōu)異的句子分類方法。通過對輸入向量的調(diào)整，進一步提高了性能實現(xiàn)了包括情感極性分析以及話題分類的任務。在其基礎(chǔ)上為輸入的詞嵌入設(shè)計了兩種通道，一種是靜態(tài)通道，另一種是動態(tài)通道。在卷積層每一個濾波器都通過靜態(tài)與動態(tài)兩種通道進行計算，然后將計算結(jié)果進行拼接。在池化層采用dropout正則化策略，并對權(quán)值向量進行l(wèi)2約束。最后將該算法應用于MR、SST-1與SST-2、Subj、TREC、CR以及MPQA等數(shù)據(jù)集。MR數(shù)據(jù)集為電影評論數(shù)據(jù)集，內(nèi)容為一句話的電影評論，其分類包括積極情感極性與消極情感極性兩類。SST-1與SST-2數(shù)據(jù)集為斯坦福情感樹庫是MR數(shù)據(jù)集的擴展，但該數(shù)據(jù)集已經(jīng)劃分好了訓練集、驗證集及測試集并給出了細粒度的標記，標記包括非常積極、積極、中性、消極、非常消極等情感極性。Subj數(shù)據(jù)集為主觀性數(shù)據(jù)集，其分類任務是將句子分為主觀句與客觀句兩類。TREC數(shù)據(jù)集為問題數(shù)據(jù)集，其分類任務是將所有問題分為六類，例如關(guān)于數(shù)字、人物或位置等信息的問題。CR數(shù)據(jù)集為評論數(shù)據(jù)集，包括客戶對MP3、照相機等數(shù)碼產(chǎn)品的評論，其分類任務是將其分為積極評價與消極評價兩類。MPQA數(shù)據(jù)集是意見極性檢測任務數(shù)據(jù)集。通過實驗證明，該方法在這幾個典型數(shù)據(jù)集上都能取得非常優(yōu)異的效果。

2.2 CNN在關(guān)系挖掘中的應用分析

Shen等人提出了一種新的潛在語義模型，以詞序列作為輸入，利用卷積-池化結(jié)構(gòu)為搜索查詢和Web文檔學習低維語義向量表示。為了在網(wǎng)絡(luò)查詢或網(wǎng)絡(luò)文本中捕捉上下文結(jié)構(gòu)，通過輸入單詞序列上下文時間窗口中的每個單詞來獲取詞匯級的n-gram語法特征，將這些特征聚合成句子級特征向量。最后，應用非線性變換來提取高級語義信息以生成用于全文字符串的連續(xù)向量表示。該模型的不同之處在于，輸入層與卷積層之間加入了word-n-gram層與letter-trigram層，它們能夠?qū)⑤斎氲脑~序列轉(zhuǎn)變?yōu)閘etter-trigram表示向量。在卷積層通過上下文特征窗口發(fā)現(xiàn)相鄰單詞的位置特征，并變現(xiàn)為n-gram形式。然后通過max池化將word-n-gram特征合并為句子級的高級特征。在池化層之后增加了語義層來提取更高級的語義表示向量。

2.3 CNN在個性化推薦中的應用分析

Weston等人提出了一種能夠利用標簽（hashtag）有監(jiān)督的學習網(wǎng)絡(luò)帖子短文本特征表示的卷e嵌入模型（Convolutional Embedding Model）。該方法利用提出的CNN模型在55億詞的大數(shù)據(jù)文本上通過預標注的100，000標簽進行訓練。該方法除了標簽預測任務本身能取得好的效果外，學習到的特征對于其它的文本表示任務也能起到非常有效的作用。該模型與其它的詞嵌入模型類似，輸入層為表示文本的矩陣，但是，在用查找表表示輸入文本的同時將標簽也使用查找表來表示。對于給定的文檔利用10萬條最頻繁出現(xiàn)的標簽通過評分函數(shù)對任何給定的主題標簽進行排序。

其中，econv（w）表示CNN的輸入文檔，elt（t）是候選標簽t的詞嵌入表示。因此，通過對分數(shù)f（w，t）進行排序可以獲取所有候選主題標簽中排序第一的話題進行推薦。實驗數(shù)據(jù)集采用了兩個大規(guī)模語料集，均來自流行的社交網(wǎng)絡(luò)文本并帶有標簽。第一個數(shù)據(jù)集稱作people數(shù)據(jù)集，包括搜集自社交網(wǎng)絡(luò)的2億1000萬條文本，共含有55億單詞。第二個數(shù)據(jù)集被稱作pages，包括3530萬條社交網(wǎng)絡(luò)文本，共含有16億單詞，內(nèi)容包括企業(yè)、名人、品牌或產(chǎn)品。

3 結(jié)束語

卷積神經(jīng)網(wǎng)絡(luò)應用于語言模型已經(jīng)取得了非常大的發(fā)展，對于自然語言處理中的各項任務均取得了優(yōu)異的結(jié)果。本文通過對幾項典型工作的分析，探討了不同卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)在不同任務中的表現(xiàn)。通過綜合分析可以得出以下結(jié)論。首先，CNN的輸入采用原始數(shù)據(jù)訓練的向量表示一般效果會優(yōu)于預訓練的詞嵌入表示；其次，在卷積層濾波器的尺寸一般采用寬度與輸入矩陣寬度相等的設(shè)置；最后，為了優(yōu)化結(jié)果可以采用dropout正則化處理。

篇2

關(guān)鍵詞：人工智能；云計算；大數(shù)據(jù)

最近火熱的美劇《西部世界》里傳遞出很多關(guān)于人工智能的信息，在圍繞如何突破機器極限，形成自主意識方面，提出了富有科幻現(xiàn)實色彩的方法-冥想程序， 將意識形成描繪成了“走迷宮”的過程，同時在道德層面又一次將“人工智能是否能成為有別于人類的另一個物種”的問題呈現(xiàn)在廣大觀眾面前。

“人工智能”（AI）這一概念最早由馬文?明斯基和約翰?麥卡錫于1956年的“達特茅斯會議”上共同提出。1960年，麥卡錫在美國斯坦福大學建立了世界上第一個人工智能實驗室。經(jīng)過近幾年互聯(lián)網(wǎng)的飛速發(fā)展，AI對企業(yè)甚至是行業(yè)產(chǎn)生了巨大而又深遠的影響。機器學習，尤其是深度學習技術(shù)成為人工智能發(fā)展的核心。越來越多的硬件供應商專為深度學習和人工智能定制設(shè)計芯片。如IBM的人腦模擬芯片SyNAPSE（Systems of Neuromorphic Adaptive Plastic Scalable Electronics，自適應塑料可伸縮電子神經(jīng)形態(tài)系統(tǒng)）芯片，含有100萬個可編程神經(jīng)元，2.56億個可編程突觸，每消耗一焦耳的能量，可進行460億突觸運算。

云計算和大數(shù)據(jù)作為人工智能的基礎(chǔ)， 在工業(yè)制造等眾多場景中得到了廣泛應用，比如很多工廠都在傳送帶上加裝了傳感器，將壓力、溫度、噪音和其他一些參數(shù)實時傳到云端，將工廠真正連上網(wǎng)絡(luò)，然后利用人工智能的算法對這些數(shù)據(jù)進行比對，由此提前為工廠提供預警和遠程檢測服務。這種將生產(chǎn)流程及產(chǎn)品通過物聯(lián)網(wǎng)連接到云端，然后利用算法進行大數(shù)據(jù)分析的模式，將在更多的行業(yè)被廣泛應用。

目前人工智能主要有10個應用子領(lǐng)域，分別是機器學習、計算機視覺、智能機器人、虛擬個人助理、自然語音處理、實時語言翻譯、情感感知計算、手勢控制、推薦引擎及協(xié)同過濾、視頻內(nèi)容自動識別。各方向處于不同的發(fā)展階段，發(fā)展程度有高有低。但驅(qū)動發(fā)展的先決條件主要體現(xiàn)在感知能力、理解能力、學習能力、交互能力四個方面。

1 感知能力

目前人工智能的感知主要通過物聯(lián)網(wǎng)來實現(xiàn)，它提供了計算機感知和控制物理世界的接口與手段，能夠采集數(shù)據(jù)、記憶，分析、傳送數(shù)據(jù)，進行交互、控制等。比如攝像頭和相機記錄了關(guān)于世界的大量圖像和視頻，麥克風記錄了語音和聲音，各種傳感器將它們感受到的世界數(shù)字化。這些傳感器就如同人類的五官，是智能系統(tǒng)的數(shù)據(jù)輸入，是感知世界的方式。

2 理解能力

智能系統(tǒng)不同于人腦，沒有數(shù)以千億的神經(jīng)元，對事物問題的理解在現(xiàn)階段還很大程度上依賴于處理器的計算分析能力。近年來，基于GPU（圖形處理器）的大規(guī)模并行計算異軍突起，擁有遠超CPU的并行計算能力。從處理器的計算方式來看，CPU計算使用基于x86指令集的串行架構(gòu)，適合盡可能快的完成一個計算任務。而GPU誕生之初是為了處理3D圖像中的上百萬個像素圖像，擁有更多的內(nèi)核去處理更多的計算任務。因此GPU具備了執(zhí)行大規(guī)模并行計算的能力。云計算的出現(xiàn)、GPU的大規(guī)模應用使得集中化數(shù)據(jù)計算處理能力變得空前強大。

3 學習能力

學習能力的培養(yǎng)類似人類需要教材和訓練。據(jù)統(tǒng)計，2015年全球產(chǎn)生的數(shù)據(jù)總量達到了十年前的20多倍，大數(shù)據(jù)的發(fā)展為人工智能的學習和發(fā)展提供了非常好的基礎(chǔ)。機器學習是人工智能的基礎(chǔ)，而大數(shù)據(jù)和以往的經(jīng)驗就是人工智能學習的書本，以此優(yōu)化計算機的處理性能。不可忽視的是近年來科技巨頭為了提前布局AI生態(tài)，紛紛開源平臺工具，極大地豐富了機器訓練的素材和手段。如谷歌了新的機器學習平臺TensorFlow，所有用戶都能夠利用這一強大的機器學習平臺進行研究，被稱為人工智能界的Android。IBM宣布通過Apache軟件基金會免費為外部程序員提供System ML人工智能工具的源代碼。微軟則開源了分布式機器學習工具包DMTK，能夠在較小的集群上以較高的效率完成大規(guī)模數(shù)據(jù)模型的訓練，并于2016年7月推出了開源Project Malmo項目，用于人工智能訓練。

4 交互能力