云計算電力大數(shù)據(jù)分析技術(shù)

時間:2022-11-06 05:24:54

導(dǎo)語:云計算電力大數(shù)據(jù)分析技術(shù)一文來源于網(wǎng)友上傳,不代表本站觀點,若需要原創(chuàng)文章可咨詢客服老師,歡迎參考。

云計算電力大數(shù)據(jù)分析技術(shù)

摘要:本文以電力大數(shù)據(jù)分析技術(shù)為核心,分析了現(xiàn)代電力大數(shù)據(jù)的主要特征,提出基于云計算電力大數(shù)據(jù)分析技術(shù)的應(yīng)用途徑,旨在推動電力行業(yè)的持續(xù)發(fā)展,并為相關(guān)研究人員提供一定的借鑒和幫助。

關(guān)鍵詞:云計算;電力大數(shù)據(jù);分析技術(shù);應(yīng)用

0引言

我國電力輸送網(wǎng)絡(luò)主要以智能電網(wǎng)為核心,把現(xiàn)代化控制技術(shù)應(yīng)用到電網(wǎng)管理中,借助計算機(jī)網(wǎng)絡(luò)系統(tǒng),實現(xiàn)發(fā)電、輸電、用電、調(diào)度等環(huán)節(jié)的數(shù)據(jù)采集、分析和處理,為電力企業(yè)各項管理決策提供信息依據(jù),優(yōu)化各個系統(tǒng)運行環(huán)節(jié),提高供電效率,保證智能電網(wǎng)運行的安全性和穩(wěn)定性,進(jìn)而滿足用戶的多元化用電需求。由此可見電力數(shù)據(jù)無論是智能電網(wǎng)運行還是在電力企業(yè)經(jīng)營管理中都占據(jù)重要的地位,在此背景下,探究基于云計算的電力數(shù)據(jù)分析技術(shù)具有重要的現(xiàn)實意義。

1現(xiàn)代電力大數(shù)據(jù)的主要特征

(一)數(shù)量化

隨著智能電網(wǎng)的普及范圍逐漸擴(kuò)大,搭建面積也在增加,各個網(wǎng)絡(luò)節(jié)點設(shè)備數(shù)量也在增多,形成了龐大的數(shù)據(jù)資源體系。這些龐大而繁雜的數(shù)據(jù),給數(shù)據(jù)搜集工作和數(shù)據(jù)分析工作帶來了一定的難度。對此,相關(guān)管理部門要進(jìn)行大量的數(shù)據(jù)分析。目前,我國電力大數(shù)據(jù)級別由TB上升到PB級別,假設(shè)某地區(qū)電力客戶為2200萬戶,全部設(shè)置現(xiàn)代智能電表,每15分鐘搜集一條數(shù)據(jù),該地區(qū)每天就會產(chǎn)生21億條電力數(shù)據(jù),可見電力數(shù)據(jù)的龐大性,這也就賦予現(xiàn)代電力大數(shù)據(jù)的數(shù)量化特征。

(二)多元化

現(xiàn)代電力大數(shù)據(jù)的多元化主要體現(xiàn)在數(shù)據(jù)種類的多元化,由于先進(jìn)技術(shù)和相關(guān)設(shè)備的投入使用,使得計算機(jī)數(shù)據(jù)由傳統(tǒng)單一化結(jié)構(gòu)性數(shù)據(jù)發(fā)展為現(xiàn)代各類數(shù)據(jù)并存的數(shù)據(jù)體系,包含非結(jié)構(gòu)性數(shù)據(jù)和結(jié)構(gòu)性數(shù)據(jù),其中非結(jié)構(gòu)性數(shù)據(jù)的數(shù)量比例在日益提升,賦予現(xiàn)代電力大數(shù)據(jù)多元化特征。現(xiàn)代電力大數(shù)據(jù)多元化特征,也表示傳統(tǒng)的數(shù)據(jù)分析方式無法適應(yīng)數(shù)據(jù)變化,需要對數(shù)據(jù)分析技術(shù)進(jìn)行創(chuàng)新和改革,進(jìn)而達(dá)到最佳的應(yīng)用效果。

(三)高速化

現(xiàn)代電力大數(shù)據(jù)無論是從數(shù)據(jù)采集方面還是從數(shù)據(jù)分析方面上看,都具備高速化特征,以高速狀態(tài)迅速完成,這主要是由用戶終端數(shù)量的不斷增加所決定的,要求國內(nèi)電網(wǎng)內(nèi)大數(shù)據(jù)分析設(shè)備能夠滿足每秒數(shù)十萬次的計算和分析。

2基于云計算的電力大數(shù)據(jù)分析技術(shù)

電力數(shù)據(jù)除了傳統(tǒng)數(shù)據(jù)中心的數(shù)據(jù)之外,還包括一些無法處理的文件,例如誒之文件、監(jiān)控視頻以及故障照片等,數(shù)據(jù)結(jié)構(gòu)種類不單一,對大數(shù)據(jù)分析技術(shù)有很高的要求,而基于云計算的電力大數(shù)據(jù)分析技術(shù)很好地解決了這一問題,具體分析技術(shù)如下所示:

(一)多維索引技術(shù)

傳統(tǒng)Hive系統(tǒng)索引功能過于單一,無法實現(xiàn)電力大數(shù)據(jù)搜索的具體化與細(xì)致化,造成CPU資源的浪費,降低了電力大數(shù)據(jù)分析效率。電力大數(shù)據(jù)具備多維區(qū)間查詢特征,各個維度查詢較為固定。例如浙江省電力系統(tǒng),是一種以單位代碼與時間代碼為標(biāo)準(zhǔn)的索引方式,結(jié)合實際情況,采用各個維度輔助的形式開展電力大數(shù)據(jù)多維索引,自動過濾干擾數(shù)據(jù)和無用數(shù)據(jù),有效提高了大數(shù)據(jù)索引效率與利用效率。當(dāng)前,多維索引技術(shù)應(yīng)用范圍較廣,形成以多維索引技術(shù)為核心的分布式多維索引系統(tǒng),依托于Hive命令,通過HQL解析器,實現(xiàn)代碼解析,使得可索引的維度區(qū)間更加豐富,還可以根據(jù)實際需求,把索引數(shù)據(jù)放置到Hadoop分析系統(tǒng)中綜合處理。

(二)翻譯工具

傳統(tǒng)Hive系統(tǒng)運行中,利用HQL索引語言進(jìn)行數(shù)據(jù)分析,HQL索引語言屬于SQL的分支,但二者間的語法差異較大。現(xiàn)代化電力大數(shù)據(jù)中含有很多SQL語言儲存信息,這就是傳統(tǒng)Hive系統(tǒng)無法滿足數(shù)據(jù)分析要求,在數(shù)據(jù)存儲和數(shù)據(jù)分析上效率較低。在基于云計算的環(huán)境下,電力數(shù)據(jù)的SQL語言會直接翻譯為HQL語言,但是這一手動翻譯方式由于處理內(nèi)容較大,會消耗大量的時間,人工翻譯的錯誤率也很高。對此,為了提高翻譯效率,要應(yīng)用自動化翻譯工具,自動分析SQL語句中的語言數(shù)據(jù),一旦滿足設(shè)定的翻譯條件,就會形成多個HQL語段,對這一語段進(jìn)行分析和處理,不僅避免了人工翻譯的錯漏,還降低時間消耗量,提高翻譯效率和系統(tǒng)分析效率。

(三)混合存儲技術(shù)

在傳統(tǒng)Hive系統(tǒng)運行中,無法為數(shù)據(jù)更新與刪除提供支持,只能依靠重寫來實現(xiàn)間接性數(shù)據(jù)更新。由于現(xiàn)代電力大數(shù)據(jù)分析中,智能電網(wǎng)每天需要處理的數(shù)據(jù)容量較大,無論是數(shù)據(jù)更新還是數(shù)據(jù)刪除,都需要快速處理,效率要求較高,而且每個操作數(shù)據(jù)比例小,若繼續(xù)使用重新方式進(jìn)行數(shù)據(jù)更新,會造成大量數(shù)據(jù)資源的占用,降低系統(tǒng)的整體運行效率。對此,應(yīng)用混合儲存技術(shù),借助主表與附表的輔助與支持,記錄實時更新數(shù)據(jù)與不需要實時更新的數(shù)據(jù),根據(jù)運行要求進(jìn)行數(shù)據(jù)處理,進(jìn)而提高數(shù)據(jù)分析處理的有效性,保證資源利用效率的最大化。

(四)分層次處理技術(shù)

在云計算技術(shù)的支持下,引入分層次數(shù)據(jù)技術(shù)進(jìn)行綜合數(shù)據(jù)分析處理,在智能電網(wǎng)中,形成電力信息搜集、儲存、應(yīng)用等功能為一體的結(jié)構(gòu)化管理系統(tǒng),結(jié)合電力供應(yīng)情況,建設(shè)大數(shù)據(jù)管理系統(tǒng)分支化管理體系,加強(qiáng)電力供應(yīng)系統(tǒng)間的關(guān)聯(lián)性和獨立性,保證電力系統(tǒng)資源在各個電力供應(yīng)系統(tǒng)中的流轉(zhuǎn)和共享,提高資源利用效率。同時,借助云計算SQL系統(tǒng),保證電力大數(shù)據(jù)分析計算的同步性,有效提高電力大數(shù)據(jù)分析處理效果和效率,實現(xiàn)智能電網(wǎng)的電力大數(shù)據(jù)層次化分析管理。

3基于云計算的電力大數(shù)據(jù)分析技術(shù)應(yīng)用效益分析

早在2013年,浙江省首次提出基于云計算電力大數(shù)據(jù)分析技術(shù),并嘗試性應(yīng)用在電網(wǎng)供電運行中,使得浙江省成為我國電力大數(shù)據(jù)分析技術(shù)應(yīng)用的核心地區(qū),借助前置群分析與緩沖,分析和處理電力大數(shù)據(jù),幫助用戶索引各類數(shù)據(jù)。特別是在云計算平臺的支持下,各類數(shù)據(jù)在數(shù)據(jù)庫中儲存,借助以太網(wǎng)來實現(xiàn)實時連接與同步更新,提高電力大數(shù)據(jù)的準(zhǔn)確性,運行速度快,大大提高了電力大數(shù)據(jù)分析的綜合水平。

(一)提高處理速率

在應(yīng)用基于云計算的電力大數(shù)據(jù)分析技術(shù)后,以計算機(jī)內(nèi)部數(shù)據(jù)處理系統(tǒng)為主,輔助虛擬數(shù)據(jù)挖掘技術(shù),促進(jìn)計算系統(tǒng)的完善和優(yōu)化,提高虛擬空間的利用效率,形成以云計算為基礎(chǔ)的電力大數(shù)據(jù)分析處理平臺,提高電力大數(shù)據(jù)處理速率,將整體數(shù)據(jù)劃分成各個層次的數(shù)據(jù),同步處理,解決由于數(shù)據(jù)龐大而造成分析處理效率低的問題,進(jìn)而提高了電力大數(shù)據(jù)分析處理的綜合速率。

(二)強(qiáng)化系統(tǒng)兼容性

在應(yīng)用基于云計算的電力大數(shù)據(jù)分析技術(shù)后,有效提高了電力大數(shù)據(jù)分析系統(tǒng)的兼容性,利用分布式處理系統(tǒng),實現(xiàn)各類電力大數(shù)據(jù)信息的控制,多種電力大數(shù)據(jù)分析系統(tǒng)協(xié)同處理,對信息管理資源進(jìn)行綜合探索,應(yīng)用效益較為明顯。

(三)擴(kuò)展數(shù)據(jù)儲存空間

電力資源是社會發(fā)展的動力,而大容量大力資源提高了電力系統(tǒng)建設(shè)難度。在應(yīng)用基于云計算的電力大數(shù)據(jù)分析技術(shù)后,通過多維索引技術(shù)、翻譯技術(shù)、混合存儲技術(shù)、分層次處理技術(shù),增加了虛擬空間的利用率,并在云計算技術(shù)的支持下,實現(xiàn)虛擬空間的進(jìn)一步擴(kuò)展,提高電力大數(shù)據(jù)分析處理的高效性和完整性,達(dá)到最佳的應(yīng)用效益。

4結(jié)束語

本文通過對基于云計算的電力大數(shù)據(jù)分析技術(shù)的分析,明確了現(xiàn)代電力大數(shù)據(jù)的主要特征,以此為依據(jù),應(yīng)用多維索引技術(shù)、翻譯工具、混合存儲技術(shù)、分層次處理技術(shù),特別是在云計算平臺的支持下,各類數(shù)據(jù)在數(shù)據(jù)庫中儲存,借助以太網(wǎng)來實現(xiàn)實時連接與同步更新,提高電力大數(shù)據(jù)分析的準(zhǔn)確性、高效性和完整性,達(dá)到最佳的應(yīng)用效益。

參考文獻(xiàn)

[1]吳凱峰,劉萬濤,李彥虎,等基于云計算的電力大數(shù)據(jù)分析技術(shù)與應(yīng)用[J].中國電力,2015,48(2):111116

[2]張棟基于云計算的電力大數(shù)據(jù)分析技術(shù)與應(yīng)用[J].企業(yè)技術(shù)開發(fā)月刊,2015,48(7):7878

[3]王玎,余秀麗,劉曉峻基于云計算的電力大數(shù)據(jù)分析技術(shù)與應(yīng)用[J].移動信息,2015(12):0007900079

[4]黃蕾,陶銳基于云計算的電力大數(shù)據(jù)分析技術(shù)與應(yīng)用[J].?dāng)?shù)字技術(shù)與應(yīng)用,2017(2):117117

作者:王小龍 單位:國網(wǎng)遼寧省電力有限公司營口供電公司