論數據質量管理的研究及作用
時間:2022-04-11 10:48:40
導語:論數據質量管理的研究及作用一文來源于網友上傳,不代表本站觀點,若需要原創文章可咨詢客服老師,歡迎參考。
從目前企業數據質量管理現狀看來,數據生命周期被系統使用單位和系統割裂,按傳統建設思路,隨著業務管理水平提升自發形成的結果,并且數據問題很難被追溯;按系統邊界進行數據質量管理,系統間數據冗余、不一致的現象較為嚴重;在目前信息化時代,仍然依賴大量手工報表進行數據分析,存在數據失真的可能。這主要歸根于兩方面原因,其分析如下:技術原因方面分析:基礎數據分散在不同系統中由不同人員重復維護,產生多個版本;沒有集中產生數據編碼,不嚴格執行數據標準,導致對象無法被唯一識別;缺乏基礎數據的實時共享和同步機制,缺乏基礎數據的權威數據源定義,最終導致數據不一致。數據管理責任方面分析:“誰創建,誰負責;誰使用,誰監督。”此責任原則確定不完全恰當,有時候數據創建部門僅僅接受其他部門的數據錄入要求,此時他們僅能為是否錄入正確負責,作為數據負責部門未必恰當;未明確多個創建部門和使用部門情況下的數據責任,如有多個創建部門,如何一起負責,管理流程是怎么樣的;存在權利和義務不對等,只強調了數據創建部門的義務,沒有強調該權利;只強調了數據使用部門的權利,沒有強調義務;數據使用過程中某些部門的職責未明確,數據使用過程中還涉及一些其他部門,未定義其職責,且未明確各部門在數據管控各項活動中的職責。迫切的現實需求,數據價值充分體現了建立一體化的數據質量管理體系勢在必行。數據資源管理組織及認責體系不完善;數據資源管理的流程不完整;數據資源管理的技術支撐不足;數據標準及數據規劃落地執行不足。電力企業需建立并落實數據質量管理評估、數據質量認責和數據質量稽查等工作,使其常態化。可以按照如下5個方面進行常態化工作開展。崗位落實方面:按照數據質量及實用化工作方案及相關細則,設置數據質量及實用化管理崗位,明確定義人員職責,完成相關培訓。工作執行方面:根據企業制定的數據質量管理工作方案,執行日常數據質量管理工作,及時補充完善數據質量管理校驗規則,按時按質開展日常數據質量檢查,對數據質量報告、評價報告等及時反饋,解決相關數據質量問題。水平提升方面:根據企業制定的數據質量管理專項工程的工作目標和工作要求,開展常態數據稽查和數據巡視工作,持續提升數據質量管理水平,滿足數據質量管理問題的解決完成率、及時率等指標要求。數據質量及實用化評價方面:衡量信息系統數據質量管理水平的量化指標,具體包括系統覆蓋率、數據完整率、數據及時率、數據準確率、數據一致率、數據合規率等。數據稽查和數據巡視評價方面:衡量數據稽查和數據巡視工作開展情況的量化指標,具體包括數據稽查和數據巡視工作及時率、任務完成率等。將上述5個方面的常態化工作分階段,可分為4個階段開展工作。計劃準備及啟動階段:確定數據質量管理的工作方案,制定詳細工作計劃,召開項目啟動會并進行業務藍圖宣貫;明確工作目標及各部門人員工作職責及要求。診斷分析階段:針對具體業務功能點及數據質量管理要求,制定詳細的訪談提綱;對各業務部門進行訪談。了解業務難點,收集問題,對問題進行分析,編制診斷分析報告。問題整改階段:在診斷分析階段工作成果的基礎上,制定詳細的整改工作方案,編制實用化推進規劃報告;協助業務部門進行問題整改,及時追蹤問題整改進度,并更新整改狀態。推進階段及跟蹤:跟進高數據質量管理推進工作,匯總、反饋進展情況,進行階段性評價檢查,最終實現數據質量管理水平的提升。
數據質量管理平臺設想
數據質量管理平臺是電力企業核心主數據的唯一數據源,業務系統只保留本地副本。核心主數據的創建和修改審批流程由業務系統完成,滿足主數據約束條件后,在平臺上完成數據的變更,再修改本地副本。各業務系統在設計、開發過程中應充分考慮并遵循這一原則。平臺應支持數據質量和實用化評價、數據監控、數據稽查、數據認責、數據清理、數據巡視、數據質量知識庫等內容,滿足各級用戶的數據質量和實用化管理需求。平臺以集中管理核心主數據、統一標準管理、統一編碼管理、統一數據質量管理4個方面來定位。集中管理核心主數據:唯一可信數據源,為企業提供完整的、實時的、準確的、一致的核心主數據視圖,實現企業核心主數據的唯一識別、統一標識、集成和共享。統一標準管理:標準的維護、查詢、版本管理、等功能。統一編碼管理:基于企業信息分類和編碼定義的各類業務編碼規則,統一為各相關業務系統分配標準編碼。統一數據質量管理:發現、分析、跟蹤各相關系統數據質量問題,加強和提升企業數據質量事后管理能力。平臺設計原則遵循規范性和統一性的原則,此原則堅持統一管理、統一規劃、統一標準、統一建設的基本原則;遵循統一數據資源管理平臺的功能規劃,技術路線和產品選型的原則;遵循可重用、松藕合、就近部署原則;遵循創新原則,此原則充分借鑒業界先進實踐經驗的同時,盡量減少平臺建設的成本和風險;遵循穩定性和高可靠性的原則,平臺部署應采用集群、冗余、負載均衡等策略;遵循可擴展性的原則,軟、硬件平臺應具有良好的可拓展能力,能夠方便地進行擴展,以適用各種業務和應用的不斷發展。綜合以上各個方面,提出了數據質量及實用化管理平臺設想,如圖2所示。該平臺部分模塊解析如下:質量問題發現:根據提供的檢驗規則定義功能對相關系統數據進行數據質量檢查,包括校驗目標、檢驗范圍、檢驗邏輯、檢驗輸出形式等;根據預定校驗規則對指定數據定期或手動進行質量校驗,保存數據質量校驗結果以及樣本問題數據,以便進行追蹤分析。質量問題分析:提供報告格式定義功能,對數據質量問題進行統計,并根據定義的報告格式生成圖表分析報告。質量問題跟蹤:提供數據質量問題的查看、分配、反饋等流程處理功能,并對已處理完成的數據質量進行復核。
數據質量管理平臺的應用效果
數據質量管理是通過制定企業的數據管理制度,利用組織人員、流程和技術的相互協作,使數據真正成為企業的核心資產的過程和方法。實現了數據質量管理工作閉環管理,理清了工作思路,規范了工作流程,平臺的建立為該工作提供了重要保證。(1)數據搭建了從業務到應用的橋梁,平臺是電力企業核心主數據的唯一數據源,使數據性得到保證,從而減少大量人工報表工作量,真正達到為基層人員減負的目標。(2)持續提升了信息系統數據質量,推進了信息系統實用化水平,為建成“一體化、智能化、精細化、互動化”安全高效的信息化體系更進一步。
對數據的要求隨客戶服務、管理精細化和監管要求不斷提高,搭建數據質量管理平臺能有效解決當前電力企業存在的數據質量問題,最終實現電力企業達到國內領先、國際一流的目標。在數據管理方面,建立體系化的數據治理框架,從根源解決數據質量管理的問題。
本文作者:鄭芒英工作單位:廣東電網公司
- 上一篇:試論消防審計質量與成果的運用
- 下一篇:淺析建筑監理的質量控制