電力營銷系統數據分析論文
時間:2022-03-27 03:50:58
導語:電力營銷系統數據分析論文一文來源于網友上傳,不代表本站觀點,若需要原創文章可咨詢客服老師,歡迎參考。
1HANA數據分析平臺采用的核心技術
HANA數據分析平臺在軟件方面,通過內存技術,應用程序能直接處理電力企業數據庫中的各種數據,并直接在主內存中處理。主要技術包括行+列的存儲、壓縮、數據分區、增量數據更新等。平臺采用的軟件包括數據抽取工具、內存數據庫(含數據庫服務器、建模工具Studio、客戶端工具)、報表展現層BusinessObjectsBI組件。在硬件方面,通過預配置的軟硬件結合體,提供高性能的數據讀寫操作,并在內存數據庫里采用列式存儲從而將更多的數據存入(列式存儲方式更適合數據壓縮)。
2HANA數據分析平臺實施過程
數據分析平臺建設應遵循最大限度的考慮應用實用性、縮短實現周期、降低技術風險等因素。
2.1需求分析
需求分析是要對用戶的訴求或需求進行深入了解,并在需求的基礎上對整個平臺進行一致約定。因此以重要性、分析的復雜性、數據量大小、以及快速見效為原則,需求分析需要明確下面的內容。
1)選擇需要分析的主題,結合當前電力營銷業務在計量、業擴、抄表、電費核算、電費繳納、賬務等工作職能的劃分,也要考慮分析的主題具有針對性的業務場景,這些場景往往跨越多個職能。
2)分析并描述各個主題的業務背景,包括使用的用戶角色,使用的業務場景。以電費出賬異常為例:電費出賬異常主要是由于用戶檔案錯誤、抄表錯誤所引發的,涉及到業擴、抄表、電費核算等多個職能部門。以電費出賬異常作為分析的主題,其業務場景主要用于電費發行后,對引發電費異常的用戶檔案數據、計量信息、抄表信息進行檢查并按職能需求進行分別展示。
3)分析各個主題間的關系,在這個平臺上用戶的所有活動信息,如用戶請求的數量,用戶對這些數據的訪問頻率、時間、數據細節層次、請求多大的數據量等之間的關聯。
4)分析主題所涉及的表的目錄、表的內容、表的容量、每個表的平均行大小、表的記錄數、表的增長情況等。
2.2平臺規劃
HANA數據分析平臺應用架構一般采用四層:數據源層、數據抽取及復制層、HANA數據集市層以及報表展示層。
1)數據源層:作為平臺的分析對象,提供報表分析所需的數據,數據源層可同時支持各種類型的數據庫,數據源層為營銷系統(管理庫),生產庫到管理庫之間采用SharePlex復制工具實現數據同步,以避免數據抽取對生產系統的影響。
2)數據抽取和復制層:數據抽取和復制層負責將數據源層中源系統的數據抽取和復制到HANA分析數據庫中,主要構成是數據抽取和復制工具,可以分別采用實時同步服務(SLT)以及非實時同步的數據服務(DataService)兩種不同的復制工具來滿足不同特征的源數據要求。在確定采用哪種工具前,需要對每個數據源的大小、變更時間、變更頻繁度、增量大小等信息做詳細了解,對不同數據源表選擇合適的復制工具。
3)數據集市層:數據集市層是整體系統架構的核心,負責分析數據的儲存、報表模型的建立以及數據計算。該層包含分析數據庫以及虛擬模型架構兩個主要組成,所有需分析展示的數據在數據集市層通過集市層進行儲存、壓縮、建立邏輯模型并計算,通過該平臺特有的內存計算技術可以使這個過程的效率大幅提升。
4)報表展示層:報表展示層負責將HANA數據庫中的數據運算結果按照報表需求進行展示,采用SAPBusinessObjectBI4.0以及EXCEL作為展示工具。
2.3平臺實現
2.3.1模型設計
依據報表的需求分析、功能需求、性能需求、模型擴展性、模型的靈活性、實現成本進行平衡,在達到性能要求的前提下,設計出可以重用的模型,HANA平臺不同于傳統的數據倉庫需要物理化模型設計,HANA采用了邏輯視圖模型設計的概念,邏輯視圖從表面看體現的是傳統的星型、雪花型模型設計,但這些模型中的數據并不是物理存放的。HANA提供了屬性視圖、分析視圖、計算視圖三種模型設計,屬性視圖實現對維度的設計,分析視圖則實現傳統的星型模型設計,計算視圖實現更復雜的雪花型模型設計。模型設計時是先將需求階段所確定的分析主題作為分析對象,梳理每個主題展示所需的事實表數據內容和數據粒度、分析維度、分析的數據指標。例如:一個以分析電費構成為主題的業務場景,該主題分析當期電費的構成情況,并同期比較各個電費構成的變動情況,那它的指標可以為目錄電度電費、峰谷品跌、豐枯品跌、基本電費、力調費、代征費、電度電費、結算電費等指標。分析的維度可包含:時間維度、用戶維度、組織維度、用電服務維度、抄表維度、計收維度等。并在此時完成對事實表和維度表的邏輯數據模型設計。
2.3.2表樣及功能設計
報表的樣式和功能應當考慮用戶對數據進行分析的使用習慣,借鑒數據倉庫中的多維數據可視化方法,通過對報表的上鉆、下鉆、切片等展示功能技術的利用,實現對匯總性數據、明細類數據、核心數據的快速查看和分析。以上述的分析電費構成主題為例,其展示需求決定表樣的設計采用圖型混合表格的方式,功能上采用按照組織維度進行上鉆、下鉆功能可查看不同供電區域的電費構成情況和各個指標的排名情況,前端展示采用了BOWebintelligence嵌入DashBoard圖表設計實現。
2.3.3數據抽取及復制設計
為確保數據質量,應當進行數據抽取和復制的規劃設計。首先,根據模型設計中指標、維度信息分別列舉出其相應的數據來源,即營銷系統的物理表和字段,指標來源于營銷系統的交易數據,而維度來源于營銷系統的主數據。其次,根據邏輯數據模型和數據來源確定營銷數據庫到HANA數據庫的ETL規劃,根據數據的質量規則(包括:數據清除、空值處理、數據替換、規范化數據格式等),確認營銷系統源數據到HANA目標數據庫數據的轉換規則,同時依據數據大小、數據變更時間、數據變更頻繁度、數據增量大小要求確定采用的實時工具SLT還是定時抽數工具BODataService,例如:收費賬務相關的交易數據存在記錄基數大、變更頻率很高等特征,采用實時復制增量數據更合適,而賬務的月結數據僅在每月初產生且數據量非常巨大,因此采用定時批量復制更合適。
2.3.4模型及報表開發
模型及報表開發共分為數據裝載、HANA建模、定義語義層(IDT)、報表開發、數據校驗五個步驟,這五個步驟相互交疊與重復,直至到達最優化設計。其中數據裝載的方式利用了SLT的實時同步技術,SLT同步技術其核心是基于數據庫的觸發器模式實現對源數據的增量復制,最大限度的避免了對源系統表結構的改變,同時采用的多任務復制機制使得實時復制的效率可保持在5~10秒內的數據延遲,裝載后的HANA數據的大小比較源數據庫數據大小可壓縮30%~70%的容量。
3發展前景
不斷的完善HANA數據分析平臺的分析主題,不僅是基于電力營銷系統,還可以基于用電采集系統等構建起電力企業的大數據分析平臺。利用HANA內置的PAL(預測分析庫)對海量電量數據、客戶服務數據實現數據高級分析,建立其有效的事前預測、事中控制、事后改善的企業快速輔助決策模式。營銷業務可以在客戶服務中對受理業務的情況信息、執行過程、執行結果進行深入分析、對客戶需求進行快速響應,改進服務質量、提升電網服務建設。更可以利用海量電能量數據對偷竊電稽核、客戶用電行為、能效管理等進行過分析和應用,助力營銷輔助決策與分析能力的快速提升。
4結論
基于電力營銷系統中業務數據所建立的HANA數據分析平臺,從分析效率來看均有實質性的提高。經實踐證明,與營銷系統報表在同等條件下對比,其分析效率可提高百倍以上。在大宗數據的分析上,HANA平臺更是體現了其快速見效、性能優異、分析功能操作簡潔和靈活、快速適應業務變化的能力。
作者:劉宏剛吳丹單位:重慶市電力公司信息通信分公司重慶智網科技有限公司
- 上一篇:中醫學科評估數據分析論文
- 下一篇:變電站電流回路數據分析論文