導語：如何才能寫好一篇數據管理，這就需要搜集整理更多的資料和文獻，歡迎閱讀由公務員之家整理的十篇范文，供你借鑒。

篇1

 

信息技術作為時代不斷發展的象征，不管是在我國行業的發展中，還是在人們的日常生活，都起到了重要作用。同時，在信息技術不斷發展的過程中，大數據時代的應用范圍也在不斷的擴大，其來源渠道也非常多，數量也在不斷增加。在這種情況下，大數據時代的大數據信息管理就顯的尤為重要。由于大數據的數量不斷增加，現有的管理形式已經無法滿足大數據時代的發展，并且在利用計算機對大數據進行全面分析和處理的過程中，也受到了嚴重的影響，因此，要想有效的對大數據進行充分利用，就要對大數據管理形式給予高度重視，采取有效的措施，不斷加強大數據的管理形式，最終實現有效、便捷、安全等管理性能，這也為對我國信息技術提供了重要的發展方向。

 

1 大數據時代的大數據管理發展歷程

 

近幾年，在大數據管理不斷發展的過程中，也取得了一定的成績。但是，大數據管理也經歷了一個漫長的過程，主要經歷的人工、文件、數據庫等管理階段。同時，隨著大數據時代的大數據不斷增加，所管理的范圍和環境也在不斷的變化。并且，在大數據管理不斷發展的過程中，一些管理問題逐漸的暴露出來，為大數據管理的發展帶來了新的挑戰和機遇，下面就大數據管理的發展歷程，管理中存在的不足進行簡要的分析和闡述。

 

1.1 大數據時代的大數據人工管理形式

 

在20世紀50年代，計算機技術的形成主要是針對科學計算等形式。同時，根據當時的發展技術來說，并沒有磁盤、U盤等一些先進設備，將其計算的結果進行去全面的保存和整理，僅僅只是依靠紙帶、卡片等形式，對大數據的進行有效的記錄。大數據時代的大數據管理的人員管理形式，不僅僅對大數據的記錄存在著一定程度上的誤差，并且在保存的過程中，也會經常發生丟失的現象，對大數據時代的大數據管理形式的發展，是沒有任何的幫助。但是，依照當時的技術水平來看，也只能的依靠人工管理的形式了。

 

1.2 大數據時代的大數據的文件管理形式

 

在大數據時代的大數據管理的人員管理形式，不斷發展和改革的過程中，計算機的軟件和硬件都得到了有效的提高，磁盤、磁鼓等儲存軟件，得到了全面的普及和發展。同時，在在不斷發展的過程中，計算機將大數據的組成形式，叫做大數據文件，并且在大數據文件上就可以直接的取名字，直接的進行查看，這對大數據的管理，無疑不是一個新的發展的起點。在大數據時代的大數據文件管理的過程中，由于大數據長期的保存在外面的，這樣在對的大數據處理、分析、查找、刪除、修改等操作的過程中，提供了極大程度上的便利，其對其操作的程序，也具有特點的要求。但是，在文件管理的過程中，由于共享性能較大，數據與數據之間缺乏一定的獨立性，對其管理和維護的費用和時間較大，這樣往往工作效率提高，不能被廣泛的使用。

 

1.3 大數據時代的大數據庫管理形式

 

數據庫管理形式是大數據管理不斷發展的重要成果，也是到目前為止最后的一個階段。在計算機技術不斷發展的過程中，計算機內部的容量得到了很大程度的提高，并且大數據的管理和維護成本也相應的有所下降。同時，在大數據管理形式不斷發展的過程中，對其系統管理內存不足等現象，進行了全面的提高，有效的實現了資源共享，也在最大程度上保證了大數據的安全、穩定等性能。另外，在大數據時代的大數據庫管理的過程中，不在近幾年只是固定在某一個計算技術應用體系，而是面向整個管理體系，以此在最大程度上提高了大數據共享的性能，使大數據與大數據形成一個獨立的個體，對其大數據進行了全面、有效的、統一的管理，為我國信息技術的發展提供了重要方向。

 

2 大數據時代的大數據管理策略

 

2.1 對大數據時代的大數據管理框架進行創新

 

在大數據時代的大數據管理形式不斷發展過程中，給企業發展帶來沖擊非常巨大。因此，企業要根據我國信息技術不斷發展的形式，對大數據管理框架進行全面的設計和創新，如圖1所示。在大數據的處理的過程中，主要是圍繞著數據資產進行管理的，同時對大數據時代的大數據管理制度，進行全面的規劃行、設計、創新，這樣對其它信息技術管理領域，提供了便利的條件。其實，大數據時代的大數據管理最主要的目的，就是將大數據的價值進行充分的展現。另外，在大數據時代的大數據管理框架不斷創新的過程中，有效的實現了大數據共享等性能，不斷擴大了大數據時代的大數據管理的內容，對我國現代化信息技術的發展，起到了重要的作用和意義。

 

2.2 開發與內容的管理形式

 

在不斷提高大數據時代的大數據管理形式的過程中，可以從兩個方面進行，一是大數據開發管理，二是內容管理。其中大數據開發管理注重于大數據管理的定義，和管理解決策略，對其大數據的存在價值，進行有效的開發。換句話說，其實也就是在大數據時代的大數據管理的過程中，對其管理形式的開發，對大數據的功能和價值，進行充分的理解。

 

大數據時代的大數據管理中的內容管理是指：企業對大數據進行不斷的獲取、使用、存儲、維護等工作活動。因此，傳統的大數據時代的大數據管理形式，已經無法滿足對這個時展需求。因此，在時代快速發發展的推動下，要對開發管理和內容管理，進行全面的創新和設計，對需要專門設定的管理形式，要給予高度的重視，可以利用的集合型的保存形式，進行全面的保存。

 

其實，大數據時代的大數據管理主要是為企業提供重要的發展方向，為企業提供重要的價值信息。大數據時代的大數據管理在數據應用和開發的過程中，起到了重要的銜接作用，也為我國信息技術的發展，打下了堅實的基礎。

 

2.3 對大數據架構進行全面的管理

 

在大數據時代的大數據管理的過程中，數據框架管理起到了重要的作用，并且與大數據開發的過程中，有很多相似的地方。在傳統的大數據時代的大數據管理的過程中，對其數據的開發、處理、保存等形式，都受到了一定程度上的限制。因此，在對大數據時代的大數據架構管理的過程中，對其操作形式，進行了全面的管理創新，避免受到范圍的限制。另外，隨著大數據不斷的增加，大數據構架管理可以根據大數據的用途，質量良好的應用形態。例如：社交網絡等形式。

 

與此同時，在最近幾年的發展中，大數據時代的大數據管理形式，也面臨著新的挑戰基機遇。以此，只有對大數據時代的大數據管理形式，對個人信息、隱私等進行全面的管理，避免個人信息、隱私等發生泄露、不對稱等現象的發生，這樣不僅僅企業在發展的過程中，提供了最大程度上的安全保障，也為大數據時代的發展，帶來了新的發展篇章。

 

3 結語

 

綜上所述，大數據時代是信息技術時代不斷發展的產物，不管對我國經濟的發展，還是人們在日常工作、生活的過程中，都起到了重要的作用和意義。因此，本文對大數據時代的大數據管理發展的歷程進行了簡要的分析，并對大數據時代的大數據管理形式，提出了一些可參考性的建議，只有對大數據時代的大數據管理形式，進行不斷的創新，對大數據時代的大數據管理框架，進行不斷的構建，也只有這樣的才能在最大程度上促進了我國信息技術的發展，也為我國各行各業的發展，提供了重要的發展方向，對我國經濟的發展，也起到了推動性的作用。

篇2

IDC的數據顯示，2017年，80%以上的企業IT部門將采用混合云架構。混合云模式不僅能夠提供超強的敏捷性，而且能夠保持對本地敏感數據的控制，因此成了企業的理想選擇。未來，混合基礎設施將成為企業主流的架構模式。

如今，越來越多的企業嘗試從傳統架構遷移到云平臺，這對數據管理和安全提出了新的挑戰。Commvault 提醒用戶，要想更好地管理數據，就必須確保數據能夠在云和企業本地系統之間實現無縫、有序、安全的遷移。

雖然混合云模式具有非常明顯的優勢，但是如何部署還是一個難題。企業正在積極嘗試各種方法，引入一個深度整合的、具有云端自動化和編排功能的混合模式，從而確保云端解決方案和本地基礎設施的兼容性。

成功部署一個混合云模式，應注意兩方面的問題：第一，了解哪些工作負載和應用最適合哪種托管方式；第二，利用一個綜合的控制臺，實時查看企業中各個系統中的數據。

為了更好地管理混合云中的數據，IT主管應制定一套完整的數據和信息管理策略，以便在數據創建時能夠捕獲工作負載，同時增強數據管理服務能力。為了支持混合云模式，企業應該監測在本地、私有云、混合云和公有云之間遷移的工作負載。借助Commvault的數據管理平臺，企業可以將工作載遷移到任何地方，從本地到云平臺，從云平臺到云平臺，或者從云平臺回到本地。有了Commvault的幫助，企業可以自由選擇最合適其工作負載、容量要求和預算的環境，并根據業務需求的轉變自由改變云策略。

Commvault提出了數據管理策略的七大要素：第一，基于標準的數據訪問，打破數據孤島和供應商鎖定；第二，內置數據安全，確保數據在傳輸、存放和訪問時的安全性，除了加密和密鑰管理之外，還應當通過內置審核控制和合規性報告對所有數據位置進行監控；第三，原生格式直接訪問，按應用程序所需的原生格式提供近實時的交互訪問，降低風險；第四，可擴展的搜索和查詢，通過索引、分析、可視化和優化數據，跨不同數據集、應用程序和存儲位置提供無縫的、強大的搜索查詢功能，激活數據；第五，通用訪問和協作，即使操作環境受到限制，人員和設備之間也可以安全地同步和共享數據，無論數據是何時何地創建的，用戶都能以無縫和通用的方式訪問所有數據備份，并安全地分享數據，提高效率和協作能力；第六，數據生命周期管理讓企業能夠以可視和安全的方式有效地管理數據，從而降低數據泄露、損失、被盜和不合規的風險；第七，增量變更捕獲，通過更加頻繁的恢復點設置提高存儲和網絡的效率。

篇3

進入21 世紀，人類在信息存儲和處理能力方面不斷涌現技術性的突破，大數據（Big Data）一詞越來越多地被提及，人們用它來描述和定義信息爆炸時代產生的海量數據。大數據是繼云計算、物聯網之后IT產業又一次顛覆性的技術變革。大數據時代的到來，各行各業都面臨著對龐大而復雜的數據進行有效管理的巨大挑戰，人們越來越認識到對自身產生和擁有的大數據進行有效管理的重要性和迫切性，災害檔案數據管理也不例外。隨著計算機技術和網絡通訊技術的飛速發展，災害管理信息化程度不斷提高，災害檔案數字化、網絡化管理已成為網絡信息時代檔案管理工作的必然選擇。面對洶涌而來的大數據，災害檔案數據管理工作如何應對，是擺在我們面前一個亟需研究的課題。

一、大數據的概念

關于大數據的定義，最早提出“大數據”時代到來的全球知名咨詢公司麥肯錫稱：大數據是指無法在一定時間內用傳統數據庫軟件工具對其內容進行采集、存儲、管理和分析的數據集合。維基百科的定義：大數據指的是所涉及的資料量規模巨大到無法通過目前主流軟件工具，在合理時間內達到擷取、管理、處理并整理成為幫助企業經營決策目的的資訊。還有學者認為大數據指的是需要新處理模式才能具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的信息資產[1]。可以看出，大數據由海量交易數據、海量交互數據和海量數據處理三大主要的技術趨勢匯聚而成[2]。

從本質上看，大數據主要解決的是海量數據存儲、計算、挖掘和利用的問題。其特點可概括為“ 4V”，一是規模性（Volume），數據容量巨大，大型數據集合一般在幾十TB至PB級的數據量；二是多樣性（Variety），數據類別繁多，數據來自多種數據源，數據種類和格式日漸豐富；三是高速性（Velocity），數據處理速度快，在數據量龐大的情況下，實現數據的實時處理；四是價值性（Value），數據真實性高，愈發需要有效的信息資源確保其真實性與安全性[3]。可以說，大數據時代是一個數據資源更加豐富的時代，是一個信息技術更加先進的時代。

災害檔案數據資源主要來自災害管理和科研活動產生的電子文件，按照來源和形成方式不同，可以分為數據庫文件、電子數據表、字處理文檔、電子郵件、掃描圖像、地理空間數字記錄、數字照片、網站及其相關文檔。災害檔案數據具有分布性、多源性、異構性等特點。從災害檔案管理部門來看，災害檔案資源主要集中在民政、水利、氣象、地震、國土、環保、測繪、軍隊、海洋等部門，檔案數據源分散在不同部門、不同地點，并由不同行業、不同單位和組織機構所擁有。從災害檔案內容來看，包括災情、氣象、遙感影像、基礎地理、專題地圖、涉災行業、經濟統計、現場多媒體等多種數據。近年來，災害檔案數據管理有了較大提高，但由于缺乏強有力的技術支持，檔案信息服務水平還比較落后，普遍存在管理意識薄弱、數字化建設不足、服務方式被動、開發利用欠缺等一系列的不足，利用信息技術進行檔案數據分析、開發、利用、交換、共享的水平還很低，沒有充分發揮檔案信息的憑證、參考和情報作用，無法滿足管理部門對災害檔案信息的需求。

二、大數據技術在災害檔案數據管理中的應用優勢

目前大數據研究成果最多的是大數據技術和大數據應用。大數據技術的特色在于它依托云計算的分布式處理、分布式數據庫和云存儲、虛擬化技術對海量數據進行分布式數據挖掘，在金融、醫療、教育、軍事、電子商務甚至政府決策等幾乎所有的領域都有非常廣闊的應用空間。隨著大數據時代的到來，應用大數據技術讓災害檔案數據獲取、儲存、搜索、共享、分析，乃至可視化地呈現，成為了可能，為災害檔案數據管理提供新思路和新方法。

1.大數據技術對實現災害檔案智能管理提供強大保障。大數據技術具有的可靠安全的數據存儲、方便快捷的云服務、超強的計算能力、諸多技術的集合體、良好的經濟效益以及以用戶為中心的個性化服務等優勢，對實現災害檔案“存儲數字化、管理自動化、利用網絡化”智能管理提供保障。應用大數據技術對分散于不同部門、不同地理位置的檔案數據資源進行管理、傳輸、檢索和提供利用，滿足用戶對檔案信息的遠程訪問操作，包括信息查詢、檢索、統計、提取等，實現檔案數據資源的互聯互通和共享利用，將檔案“藏”和“用”的功能都提高到一個新的水平，對于充分發揮檔案數據資源的價值具有前所未有的推動作用。

2.大數據技術對實現災害檔案數據挖掘提供有力支持。數據越來越多。傳統的檔案管理以文檔管理為主，檔案基本處于被動利用，沉淀的檔案沒有人去分析利用，也沒有技術工具去支撐挖掘和分析。大數據最核心的價值就在于對海量數據進行存儲和分析，只有通過分析，才能獲取更多智能的、深入的、有價值的信息。在大數據時代，檔案系統中除了大量的文檔之外，還有海量結構化數據，并且數據利用的效果要大于文檔利用效果。檔案部門在收集大數據之后，通過主動調查利用者的需求，建立各種數據模型，對海量數據進行聚類、分類、相關性分析，找到數據之間的關系，提高檔案價值，將原來的“死檔案”變成“活信息”，為災害管理決策提供參考。

3.大數據技術對實現災害檔案知識服務提供解決途徑，解決災害檔案如何實現知識服務，如何從浩如煙海的檔案數據中快速識別、選擇和有效利用檔案信息，為災害管理部門提供知識服務和智力支持，發揮檔案的參考憑證、決策咨詢、評估依據作用。應用大數據智能識別、傳感與適配等技術，構建基于基礎框架體系、大數據處理體系、過程管理體系、大數據分析與決策體系、交互體系的大數據知識服務平臺[4]將成為有效的解決辦法和途徑。災害檔案大數據知識服務平臺搭建的是一個大數據獲取、存儲、組織、分析和決策服務資源和服務能力共享、交易和協作的智慧平臺，依據災害管理不同行業、不同領域、不同需求的大數據處理需求，在平臺上實現數據、知識、資源、能力、服務、過程和任務等資源和能力的共享和協作。

三、大數據時代下災害檔案數據管理的應對策略

當前，我國經濟發展已進入新常態，認識新常態、適應新常態、引領新常態，是當前和今后一個時期中國經濟發展的大邏輯，也是發展檔案事業的基本遵循。災害檔案工作主動適應新常態，需要分析發展新變化，順應發展新趨勢，這既是經濟社會發展對災害檔案管理提出的更高要求，也是檔案事業深化改革和持續發展的內在需要。在大數據時代背景下，災害檔案的產生主體、利用群體、生態環境都發生著新變化，災害檔案數據管理應用大數據技術分析、挖掘出龐大的檔案數據獨有的價值，從“被動服務”向“主動服務”轉變，還面臨著諸多挑戰，需要從以下方面加以完善和提高。

1.建立高效有序的運行機制。大數據建設是一項有序的、動態的、可持續發展的系統工程，必須建立良好的運行機制，以促進建設過程中各個環節的正規有序，實現統籌協調，搞好頂層設計。應當增強災害檔案數據管理意識，做好災害檔案數據發展規劃，并將其納入國家綜合防災減災規劃中，建立災害檔案數據標準與規范，構建檔案數據管理系統，實現災害檔案數據有效組織、集中存儲、共享與服務。

2.制定科學規范的建設標準。災害管理涉及部門多、領域多、專業復雜，各部門都是按照各自定義的內部數據標準進行信息系統建設，因此存在災害檔案數據資源結構不統一、標準不配套等問題。沒有標準就沒有系統，應建立面向不同主題、覆蓋各個領域、不斷動態更新的大數據建設標準，為實現各級各類信息系統的網絡互連、信息互通、資源共享奠定基礎。

3.搭建共享利用的服務平臺。我國的災害管理涉及多個部門，通過幾十年的努力，已經積累了海量與防災減災相關的專題數據，并建立了一些信息網絡系統，部分開展了信息共享，但絕大多數災害管理相關數據還沒有實現有效共享和利用。數據只有不斷流動和充分共享，才有生命力，所以應在各專用數據庫建設的基礎上，通過數據集成，實現各級各類信息系統的數據交換和數據共享。

4.培養高素質的專業隊伍。災害檔案大數據建設的每個環節都需要依靠專業人員完成。一方面，需要培養和造就一支懂指揮、懂技術、懂管理的大數據建設專業隊伍；另一方面，需要加強檔案管理人員對信息技術的掌握，加強檔案管理人員大數據相關知識的培訓和輔導，做好大數據背景下檔案管理的人才儲備。

篇4

關鍵詞: 交通管理數據挖掘平臺

中圖分類號： N37文獻標識碼：A

一、引言

目前公安交通機關為方便交通管理業務的開展，創建了四個基本數據庫：道路交通事故信息數據庫、駕駛員(即駕駛證)管理信息數據庫、交通違法行為信息數據庫、車輛登記管理信息數據庫，當前交通管理部門的應用系統、平臺均以此四個基本數據庫為基礎獲取各類信息。數據庫自創建以來經過幾十年數據的存儲，已積累了海量的交通相關數據，隨著車輛和駕駛人增多以及相關業務的復雜化，數據更是成爆發式增長。這些數據已成為交通部門的重要的數據財富。

然而面對大量數據，顯然已不能再滿足于只是簡單地查詢和修改數據，而是進一步希望能夠發現數據之間的潛在關系，并隨著現實中交通管理中“人、車、路、環境”和諧發展的迫切期望以及緩解交通堵塞、預防交通事故的職責所在，交通管理部門急切地希望通過快速處理這些數據獲得進一步有利于科學管理的決策依據。特別是以往的交通管理規律常常不是基于數據庫中信息豐富的數據，而是基于決策者的直覺，因為決策者缺乏從海量數據中提取有價值知識的工具，即使當前的專家系統技術，通常這種系統依賴于用戶或交通管理領域專家人工地將知識輸入知識庫，因此這一過程可能會產生偏差和錯誤，并且耗時、費用也高。如何才能對大量數據進行分析，發現數據之間的潛在聯系，為交通管理提供自動決策支持呢，運用數據挖掘技術從交通管理數據庫中尋找知識發現給交通管理部門帶來了希望。

在這些海量交通數據中存在著大量的有著潛在關聯和規則的數據，因此將數據挖掘技術中的關聯規則算法應用在交通領域，通過關聯規則挖掘發現交通數據之間的潛在關系，為交通管理提供自動決策支持有著重要的意義。本文設計了一個交通管理數據挖掘平臺方案，并對平臺架構和挖掘流程進行了詳細分析和討論。

二、交通管理數據挖掘平臺架構

在交通數據庫中，所涉及的違章信息、駕駛員信息、機動車信息比較繁瑣。交通數據的特點是：交通數據庫的核心業務表較多、表的定義復雜、表中的數據量大、表數據的實時更新速度快。數據間的潛在關系和規則未被發現和利用，目前的處理還是停留在見到的統計報表，沒有智能性的分析處理。這些交通的原始數據對于交通管理決策支持有限，需要設計一個基于數據挖掘的交通管理數據挖掘平臺對交通數據進行有效的挖掘和分析，對交通決策提供有力的支持。圖1給出了我們所設計的交通管理數據挖掘平臺框架，該平臺主要由三部分組成：數據倉庫模塊、數據分析處理模塊和接口與會話管理模塊。

1、數據倉庫。在輔助決策方面，數據倉庫能為其提供高質量、純凈、集成的數據，從而極大地提高決策支持系統的性能與信息分析能力，因此，數據倉庫業已成為進行數據分析與挖掘的基礎平臺。構建交通信息數據倉庫是本系統結構的核心，其實現形式包括：數據采集與ECTL（數據抽取、轉換和裝載）、數據倉庫管理系統、元數據管理系統三部分。本系統采取星型模型建模，其中，主題是其基本組成單位，每個主題由多個事實表和維表組成，而一個事實表可以關聯多個維表，構成一個以事實表為中心的星型結構，多個星型結構共同組成一個主題。在建模過程中，考慮到智能交通領域涵蓋范圍廣泛，要求數據倉庫具有很強的可伸縮性：既可以集成智能交通領域交通流采集系統、信號控制系統、電視監控系統、違章取證系統、公路車輛監測系統、122接處警系統、GPS車輛定位系統、可變情報板顯示系統等各個應用系統提供的交通信息，又可以針對特定應用系統。

圖1 交通管理數據挖掘平臺框架

2、數據分析處理模塊。在數據倉庫基礎上直接采用的智能化分析技術主要有：聯機分析處理、數據挖掘和知識發現技術。聯機分析技術的主要功能是進行多維數據分析和生成報表，專門用于支持復雜的分析操作，側重對高層管理人員和決策人員的決策支持，可以應分析人員要求快速、靈活地進行大數據量的復雜查詢處理，并且以一種直觀易懂的形式將查詢結果提供給決策人員。本模型將數據倉庫中建立的多維邏輯視圖直接映射到數據立方體結構上，以方便對預計算產生的數據進行快速索引，當數據集稀疏時，采用稀疏矩陣壓縮技術提高存儲效率。通過對數據立方體(DataCube)進行下鉆(Drill-down)、上卷(Roll-up)、切分(SliceandDice)以及旋轉(Pivot)等操作，實現不同角度、不同層次的數據分析，例如：對交通負荷時空分布信息運用聯機分析技術處理，通過切片、切塊、旋轉細剖低級別的詳細數據和統攬較高級別的概括性數據，快速地響應查詢。數據挖掘與知識發現技術是從海量數據中抽取隱含的、潛在的有用知識的過程。許多專家學者傾向于把數據挖掘視為知識發現過程中的一個步驟，在本系統模型中，為強調這兩種技術各自特點和側重點的差異，將它們分別列出。知識發現的基本步驟為：第一步，數據的準備；第二步，數據挖掘；第三步模式評估；如果評價人員不滿意，重復執行上述步驟，否則，轉下一步；第四步，知識表示。

3、接口與會話管理模塊。該模塊通過可視化技術，提供易于被用戶理解和使用的，具有智能糾錯、自我學習的界面系統，并提供自然語言和人類思維方式與計算機之間進行轉換的功能。當系統在產生相應的決策后，該模塊可以按照有關智能交通應用子系統的指令格式生成相應的指令供決策者直接調用。

三、交通管理數據的挖掘流程

交通數據挖掘的過程大致上可分為五層：底層為交通管理數據庫，包括違章信息庫、駕駛員信息庫、機動車信息庫等等，在這些庫里存在許多交通信息，直接對這些數據進行挖掘是不現實和不可取的，因此，構建了上一層主要是數據預處理層，這一層是對交通數據庫進行適當的有選擇的篩選和處理，將少量主題相關和用戶感興趣的數據提取出來組成二維表，然后在此基礎上得到第三層概化后的數據，在這一層上我們可以利用這些概化的數據構建我們的數據倉庫。對交通數據的具體挖掘就是在這一層上進行的，最上面兩層是知識發現的過程，通過具體挖掘之后的得出的模式和分析后找到對于交通決策有效的模式。圖2給出了交通管理數據的挖掘過程。

圖2 交通數據挖掘流程圖

參考文獻

[1] 朱建秋,數據挖掘平臺及其關鍵技術研究[D],上海:復旦大學博士學位論文,2002.5.

篇5

關鍵詞：云計算；數據管理；查詢技術；系統框架

中圖分類號：TP311 文獻標識碼：A 文章編號：1009-3044（2013）12-2761-03

隨著計算機信息技術的不斷發展與應用，越來越多的互聯網應用技術被研發應用，極大的改善了人們的生活觀念與工作習慣，促進社會快速進入一種全新的信息化時代。云計算技術就是這樣一種具有跨時代性質的新興互聯網應用技術，實現了高效海量、存取方便的數據云端管理，極大的提高了信息查詢速度和數據存儲能力，為互聯網的進一步發展提供了更大的空間。

云計算是一種具有可擴展性、海量性、高可用性、種類多樣性、按需服務性等諸多優點的高性價比的計算技術，可以實現異地備份，隨時隨地存取數據，因而節省了大量的存儲設備投資，具有很大的經濟性。但需要注意的是云計算是為了能夠實現快速高效的為用戶提供信息資源而服務的，因而其所需的云數據管理系統以及查詢技術是與傳統的計算機管理與查詢技術有著很大區別的。云數據管理系統需要一個能夠靈活運用數據模型來進行高效多樣化管理的數據管理與查詢技術，以實現按需索取、快速高效可靠的數據存取與查詢服務。

1 云數據管理系統的基本框架構成

為了能夠更好的體現出云計算技術的優越性能，就需要對云數據管理系統的管理技術與查詢技術進行全面優化升級，改進傳統數據庫中存在的諸多問題，使云數據管理系統的整體架構更加合理健全。在此，我們來簡要概述云數據管理系統的基本框架構成主要包含哪些內容。一般認為，云數據管理系統的基本構架應當含有應用接口層、查詢處理層、數據控制層以及數據存儲層等四部分。具體分析如下所示：

1.1 應用接口層

這個環節主要是為了接收用戶上傳的信息數據請求，并將這些信息數據轉交給查詢處理層進行一定處理，從而提供云數據管理中所需的查詢語言接口、用戶自定義接口、數據分析以及在線聚集等諸多應用，這樣就可以使用戶不但能夠通過查詢接口和用戶自定義接口操作數據，也能夠以可視化工具來對數據進行分析，或者在線聚集。

1.2 查詢處理層

這個環節主要是為了將應用接口層中所提交的用戶數據信息做出解析處理和邏輯優化之后再將其轉變為操作符樹，以促使其生成MapReduce執行計劃。但若應用接口在提交信息數據時是以用戶自定義操作的模式來實現的，那么就可以無須處理直接生成MapReduce執行計劃。除此之外，查詢處理層還具有依照查詢類型與數據的分布特點將信息數據做成查詢計劃并對計劃作出邏輯性優化的重要任務。

1.3 數據控制層

這個環節主要起到三個作用，即通過全局索引以及原數據信息將數據進行定位處理，備份數據以及數據遷移。并在在線聚集的環節中將數據信息做出統一采樣收集，并對進程進行估計。由于數據層是至直接影響到查詢執行與在線聚集的重要環節，因此做好數據控制層的管理技術改進是非常重要的。

1.4 數據存儲層

顧名思義，數據存儲層就是對數據信息進行存儲的主要環節，并負責將每個節點范圍中的所有數據進行索引設計，對緩沖區及日志進行管理。其中存儲層的節點是能夠通過以多種形式組合形成的。但不管是利用哪種形式結構，其所含的數據都是要被分區到各個節點進行存儲的，因此，保證數據分布的均勻合理，提高節點的數據存取效率是當前數據存儲層發展中的重點問題。

2 云數據查詢處理技術的目標特點

目前，在云數據的管理系統中，若要促使云數據管理的服務更方便快捷，就需要不斷提高其查詢處理技術，在此，我們來詳細分析云數據查詢處理技術需要達到的目標特點，即可擴展性、可用性、異構環境的運行能力以及豐富靈活的用戶接口、高效的數據存取性能。

2.1 可擴展性

由于不同的云系統其所具有的云平臺是有很大不同的，無論是從規模大小方面，還是服務應用方面都是有著一定的差異。一般小規模的個人或者私有云平臺只具有十幾個節點，而一些規模較大的公有的云平臺則可以有幾千個之多的節點。另外，由于云計算技術是一種以用戶需求為依據來實現服務的技術，因此其必須要根據用戶的需要來進行不同的云平臺規模變換，這些都給云數據管理系統提出了良好擴展性的要求。這種擴展性不但要體現在查詢處理的性能方面，還體現在優化算法方面。要使信息資源不但能擴展到云平臺上，還要能夠最大程度的實現資源的可動態增長，提高其所帶來的良好性能。

2.2 可用性

由于云平臺主要是通過普通的計算機為基本硬件來構成的，因此其與其他性能較高的服務器相比，硬件設備性能較差，因而云平臺的硬件較易出現錯誤。而云數據管理系統則要將這一錯誤看做常態，在發生硬件錯誤時，也要保證所有的數據都完整無缺，以確保數據的正常操作。

2.3 在異構環境中運行能力較強

就目前的計算機互聯網技術的發展來看，會有越來越的數據需要被儲存與管理，這就給云平臺提出了更高的要求，如增多節點來提升云數據系統的存儲能力。所以，要確保同一云平臺所有的計算機硬件都達到同樣的配置顯然是不可能的，這樣就要求云數據的查詢技術必須要具備一定的異構環境運行能力，只有這樣才能有效的減少性能差的節點對整個云數據管理系統運行效率的影響。

2.4 豐富靈活的用戶接口

為了滿足用戶的不同需求和不同階段與層次的用戶要求，云數據管理系統需要不斷增多用戶接口的種類，要做到能夠滿足所有的用戶對數據庫的上傳與下載需求。因此除了要對SQL接口要進行改進外，還要對UDF接口進行增多種類，以滿足用戶自行操作需求。

2.5 高效的數據存取性能

由于云數據管理系統的優良特性，其在成本維護方面要遠遠低于傳統的數據管理成本，而其海量的數據處理效率也成為用戶最關心的問題，因而實現高效的數據存取性能與處理查詢能力是非常重要的。

3 云數據管理系統的查詢技術

在對云數據管理系統的基本框架與查詢處理技術的目標特點進行分析后，可以看出在云計算的技術應用中，基于云計算海量、高效、異構等特點，其查詢技術必須要具備強大的功能方能滿足云計算查詢需求。在此，筆者介紹兩種常用的云數據管理系統的查詢管理技術，具體介紹如下所示：

3.1 BigTable技術

Google提出的BigTable技術是建立在GFS和MapReduce之上的一個大型的分布式數據庫，BigTable實際上的確是一個很龐大的表，它的規模可以超過1PB（1024TB），它將所有數據都作為對象來處理，形成一個巨大的表格。

BigTable就是一個稀疏的、多維的和排序的Map，每個Cell（單元格）由行關鍵詞、列關鍵詞和時間戳來進行三維定位。BigTable使用一個3層的、類似B+樹的結構存儲Tablet的位置信息。

第1層是一個存儲在Chubby中的文件，它包含了Root Tablet的位置信息，Root Tablet包含了一個特殊的METADATA表里所有的Tablet的位置信息。METADATA表的每個Tablet包含了一個用戶Tablet的集合。Root Tablet實際上是METADATA表的第1個Tablet，只不過對它的處理比較特殊（Root Tablet永遠不會被分割）這就保證了Tablet的位置信息存儲結構不會超過3層。其中在Chubby中存儲著多個Root Tablet的位置信息。Metadata Tables中存儲著許多User Table的位置信息。因此當用戶讀取數據時，需先從Chubby中讀取Root Tablet的位置信息然后逐層往下讀取直至找到所需數據為止。

BigTable的負載均衡采用的是傳統的方式，BigTable在執行任務時，在任意時刻每個Tablet只被分配到一個Tablet服務器。依靠一個master服務器監視子表server的負載情況，根據所有子表服務器的負載情況進行數據遷移的，比如將訪問很熱的列表遷移到壓力輕的子表服務器上，以調節Tablet服務器的負載平衡。

3.2 Dynamo技術

Dynamo是一個高可用，專有的鍵值結構化存儲系統，或分布式存儲系統.它同時具有數據庫和分布式Hash表（DHT）的特征，并不直接暴露在外網，而是為Amazon Web Services（AWS）提供底層支持。目前Dynamo已經有很多實現，典型的有：Apache Cassandra，Project Voldemort，Riak。

Dynamo是采用DHT作為基本存儲架構和理念，這個架構最大特點是能讓數據在環中“存儲”均勻，各存儲點相互能感知（因數據需要在環內轉發，以及相互之間進行故障探測，因此需要節點之間的通信），自我管理性強，因為它不需要Master主控點控制，無單點故障危險。

此外，Dynamo的主要優點是，它提供了使用3個參數（N，R，W），根據自己的需要來調整它們的實例。Dynamo支持對對象的不同版本進行記錄和處理，并且可以將不同版本提供給應用，供應用自己更靈活地進行合并。對象的副本數遵循（N，R，W）的規則，N個副本，如果R個讀取的一致則確定讀取成功，如果W個寫入成功則認為寫入成功，不要求全部N個都成功完成，只要R+W>N，數據的最終一致性就可以得到保障。這里，讀取比一次寫多次讀的系統（如HDFS）麻煩，但寫入變簡單了，這反映了應用的需求。

4 結束語

隨著科技的進步與計算機信息技術的不斷推廣發展，信息產業對數據的存儲、處理、查詢功能提出了更高的要求，這樣就使得計算機的傳統數據庫已經遠遠不能滿足需求。而云數據管理系統的應用很好的解決了數據的存儲難題。但由于云數據管理系統還處于初期應用階段，其在索引管理、查詢處理、查詢優化和在線聚集等諸多方面都還存在著很大的進步空間。尤其是云數據管理系統中的查詢技術，更是需要加大研究力度，進一步提高查詢技術水平，以促使云計算以及云數據管理系統能夠更好的為用戶提供服務。

參考文獻：

[1] 吉義，傅建慶，張明西，等.云數據管理研究綜述[J].電信科學， 2010.

篇6

 

數字正射影像圖是對航空或航天像片進行數字微分糾正和鑲嵌，按一定圖幅范圍裁剪成的數字影像集，它是同時具有地圖幾何精度和影像特征的圖像。正射影像的制作過程:利用像片范圍內的數字高程模型對像片進行傾斜改正和投影改正 ,像片重采樣后生成正射影像 ,并將多個單幅影像拼接到一起 ,按規定的圖幅進行裁切 ,進行色彩調整。利用JX4數字攝影測量工作站制作DOM的基本流程如圖1所示。

 

圖1基于JX-4 DOM的制作流程

 

1數字空三加密

 

影像掃描必須確定掃描分辨率，掃描分辨率是由成圖比例尺、航測比例尺來計算。收集外業控制數據，相機數據，使用Geolord-AT平差軟件加密。該空三軟件由數字影像處理、框標量測內定向、加密點自動匹配、加密點人工修側、相對定向模型連接、旁向連接點自動轉點、旁向連接點人工修側、多項式整體平差、光束法整體平差、區域網接邊、加密成果最終檢定等十幾個模塊組成。

 

2 DEM的生產

 

在JX4測圖模式下調出需要匹配的像對，設置好參數對影像進行自動匹配。匹配完成后對匹配的點進行編輯，保證DEM點切準地面，能真實的反映地貌形態。利用匹配點構建不規則三角網(TIN),再利用TIN內插規則正方形格網DEM，DEM的間隔根據作業要求設置。生成的DEM必須套合到立體模型下進行檢查，觀察DEM的點位是否全部切準地面，如果DEM與地面模型的高程差超過作業要求中誤差，則需要進行修側和編輯，保證DEM符合精度要求。DEM鑲嵌時要調入圖幅內所有像對的DEM文件，將DEM拼接起來并在屏幕上顯示，目視判斷如果發現漏洞區域則應該進行修側。

 

3DOM的生產

 

在DEM成果達到所需精度要求后創建像對正射影像，像元大小根據成圖比例尺確定。為了保證影像的完整和質量，一般情況下左右像片的正射影像都要生成，并將合并后的正射影像作為像對成果進行DOM鑲嵌。在DEM的質量達到要求后，DOM在數學精度方面是有保證的，主要問題是對影像質量的控制。

 

DOM是根據DEM，利用數字微分糾正技術，改正原始影像的幾何變形。要得到一幅標準圖幅DOM，一般需要多個像對的正射影像進行拼接鑲嵌，為保證影像的協調性，DOM的鑲嵌之前應該調整每個像對的正射影像，使它們達到接近一致色調。鑲嵌之后還應該在Photoshop等圖像處理軟件下進行灰度、反差、色調的調整，對于局部區域也可使用平滑功能進行平滑和濾波，但是必須注意參數的設置，以免影響影像的精度和視覺效果。理想的影像數據應該反差適中、色調飽滿，灰度在0到255之間，其直方圖呈正態分布。

 

在JX4系統中有正射影像的拼接和裁切環境，要注意的是鑲嵌線的選取，在選取鑲嵌線時應注意盡量避開大型建筑物和影像差異較大的地方，一般可選擇河邊、路邊、溝、渠等地方。DOM成果的裁切按照標準圖幅裁切，依內圖廓裁切影像數據，不作外擴，圖內不作任何整飾，這樣是為了便于用戶的拼接。

 

4DOM的質量控制

 

DOM的接邊精度主要體現在像對間的接邊，圖幅之間通常是由一個像對裁切而成，因此沒有誤差。可在屏幕上目視檢查相鄰像對DOM接邊線兩側接邊處是否有影像錯位，發現異常時用量測工具進行定性分析，其次是觀察影像是否模糊，色彩是否均衡等。

 

DOM圖幅影像質量主要檢查影像是否清晰易讀、反差是否適中、色調是否均勻一致，對于彩色DOM還要檢查色彩的真實性，影像的清晰度，色彩的鮮明度以及連續色調的變化。必要時利用圖像分析工具進行量測，使用曲線、彩色平衡、亮度、對比度、色相、飽和度等工具進行調整。

 

DOM的外業檢查,平面精度最直接的檢測是采用明顯地物點外業實測坐標與數字正射影像上同名像點坐標相比較，每幅圖的檢測點數量視具體情況而定，一般不少于30個點。

 

5DOM影像數據管理

 

DOM數據庫管理系統，完成DOM數據輸入、DOM數據管理、系統維護、DOM查詢分析、DOM數據輸出等功能。具體功能如下：

 

(1)數據庫用戶管理：負責數據庫用戶的增加、刪除和用戶權限的修改。

 

(2)DOM數據輸入：交互方式單幅影像入庫，系統提供對話框，在對話框中輸入要入庫的圖像的文件名及所在路徑，并準確輸入入庫后對應的各種屬性及元數據，確定后系統則將該幅影像入庫;交互方式批量影像入庫，將批量影像及其屬性和元數據置于同一目錄下，系統提供對話框，在對話框中輸入該目錄，確定后系統則將該目錄下所有影像入庫。

 

(3)DOM數據顯示和瀏覽：任意放大、縮小、平移

 

按比例尺顯示DOM：在對話框中輸入比例尺，確定后系統則按照該比例尺顯示DOM。

 

按坐標范圍顯示：在對話框中輸入構成一定范圍的一組X,Y坐標，確定后系統則顯示該范圍的DOM。

 

按區域顯示：在對話框中輸入行政區域名稱，確定后系統則顯示該區域的DOM。或者先在圖書選定一定行政區域，系統則顯示選定區域的DOM。

 

導航窗口：導航窗口顯示影像范圍的略圖，導航窗口和人地圖主窗口實現互動，與矢量要素疊加顯示功能。

 

(4)DOM的查詢分為地理范圍查詢、行政區域查詢、圖幅號查詢三種方式，可以根據進行不同的查詢。按地理范圍查詢時給定地理范圍，系統將查詢出地理范圍對應的影像并將影像顯示在地圖窗口上;按行政區域查詢給定區域名稱，系統將查詢出該行政區域對應的影像并將影像顯示在地圖窗口上;按圖號查詢給定標準圖幅號，系統將查詢出該圖號對應的影像并將影像顯示在地圖窗口上;歷史數據查詢給定地理范圍和時間，系統將查詢出此地理范圍在該時間的影像并將影像顯示在地圖窗口上。

 

(5)DOM數據輸出分為按地理范圍輸出、按行政區域輸出、按圖幅號輸出三種方式，用戶可以根據需要進行輸出

 

(6)元數據查詢

 

查詢屏幕上圖像任意一點的元數據信息：點擊地圖上任意一點，系統彈出該點影像的元數據信息列表;

 

按照圖幅號查詢元數據信息：輸入一個標準圖幅號，系統彈出該圖幅影像的元數據信息列表;

 

(7)系統維護

 

DOM數據庫的備份與恢復：利用數據庫的備份功能，將DOM數據庫異地備份。利用數據庫的恢復功能，恢復DOM數據庫。

 

DOM數據庫的更新：利用最新的影像更新DOM數據庫，并將更新前的影像及其屬性和元數據存入歷史庫中。

 

作者：張麗娟 來源：城市建設理論研究 2014年31期

篇7

關鍵詞：安防領域；數據管理；技術

前言

不同領域對數據運用存在差異性，但無論哪類行業運用數據，均應提升數據管理技術，以確保數據更好的在所用領域中發揮價值。現如今，安防領域面臨較多的數據管理難點，并在一定程度上影響安防領域的發展，本文針對安防領域數據管理技術及發展展開探究，具有重要意義。

1 安防領域中數據管理的積極作用

所謂數據管理技術，即人們針對大量數據運用相關技術對其整理分類、有序組織、合理編碼、有效存儲、全面檢索和及時維護，該技術主要經歷了三個發展階段，第一階段為人工管理階段，第二階段為文件管理階段，第三階段為數據庫管理階段。這一技術所經歷的三個發展階段，代表著該技術已經趨向完善和成熟。

數據管理技術應用于安防領域，能夠促進安防工作有序進行、順利開展。例如，部分企業針對道路車輛運行情況分析時，主要是在相關數據搜集、整理、圖片歸納、視頻播放等方式來開展，以此掌握交通情況，并對易發生交通事故的地點進行針對性預防，并且還能利用該技術對違規車牌跟蹤，在適合路段報警。數據管理技術在快速路或者高架橋中同樣適用，對大型車輛在數據分析的基礎上，做好充分的預案。又如，公安部門在實際執法工作中，利用數據管理技術來對犯罪嫌疑人進行人臉識別，能夠成功抓捕罪犯，以此提高辦案效率。此外，該技術同樣適用于公共場合，像火車站、機場等，在客流量較大的場合對有意違法之人進行預測，進而減少安防領域的犯罪率，提高安防領域的安全性[1]。

2 安防領域存在的數據管理技術難點

從上述分析中可知，安防領域應用數據管理技術能夠起到積極的促進作用，但是該領域的不同行業中同樣表現出了差異性的技術難點。

2.1 行業差異性

IT行業中，數據管理技術的發展相對完善，并且可供選擇技術類型和技術途徑具有多樣性，但是由于這一行業與安防領域仍存在差異性，進而IT行業適用的技術未能在安防領域同樣適用。這主要是因為二者的數據類型不同，安防行業主要處理文字、圖片、音（視）頻等等數據，然而IT行業主要處理計算便捷的瀏覽記錄、網頁搜索等。并且，安防行業接觸的內存量較大，無論是視頻，還是圖像均需高清晰度。此外，二者所要求的數據存在實時性差異，相對來說，IT行業的實時性較弱[2]。

2.2 技術難點

一方面，存在小文件存儲方面的問題。安防領域中數據管理技術存在的這一難點較為明顯，這一領域的小文件即指圖片。由于這部分文件與多元數據管理之間的聯系較密切，進而要對這類小文件妥善存儲，以便在安防應用中及時發揮小文件數據的價值，制定合理的解決方案。另一方面，存在存儲成本方面的問題。上述IT行業主要利用分布式存儲系統來實施數據管理和存儲，同時，還會針對數據重復備份，并不同位置保存。在安防領域中，由于存儲對象內存較大，進而備份存儲時，需加大資金和技術投入，進而應重新制定適用性方針，將技術難點有效攻破。

3 優化安防領域數據管理技術的措施

首先，合理建立索引，文件整合式存儲。應用分布式存儲技術將單機存儲困難數據進行不同位置存儲，并將眾多小文件合理整合，以大文件的形式來規范化、統一化管理[3]。

其次，融入擦除碼技術，優化利用存儲空間。所謂擦除碼，即指獨立信息由M個符號組成，這一信息經過數學放映后進行發送，最終形成（M+N）個符號組成的信息，由于信道具備的可靠性較小，當信息被傳送后，傳送過程中會出現符號丟失的現象，如果丟失符號能夠被控制在N個范圍之內，那么信息接受方能在數學變換的作用下，將M符號的原始信息合理還原。

然后，實施數據管理技術與云計算和物聯網有機統一、融合發展。數據管理技術和移動互聯、社會計算、物聯網等當下流行技術融合性發展，能夠提升這一技術在安防領域的應用范圍，擴大該技術的應用率。現如今，互聯網信息技術的發展空間越來越大，熱點技術的有機融合能夠促進數據管理技術持續進步，同時，提升該技術的數據計算能力，在未來的發展當中，數據管理技術會向綜合應用的方向發展。數據管理處理模式與時俱進創新的同時，還應不斷促進軟硬件基礎設施扎實、鞏固、穩定發展。與此同時，將數據管理技術的發展重點轉向內存計算，以此豐富多樣性數據的處理模式，促進安防領域數據處理實現一體化發展。數據管理技術在未來的發展中還會實現不同領域、不同學科的交叉性發展，并且這也將成為日后發展的主要方向。數據管理技術主要以參與實際應用為主要發展目標，從中可知，安防領域應用數據管理技術時，應主動跳出數據計算本身。目前，大多數數據平臺僅限于形式主義，平臺的實際應用價值較低，但所運用的數據分析會緊密聯系于相關行業，會間接運用到行業知識及模型，此外，數據分析過程中應用到的數據技術少之又少，數據技術不能更好的輔助數據分析。因此，為了上述現狀有效緩解，上述問題有效處理，應加強不同領域和學科之間的聯系，促進安防領域的數據真正被應用于實踐，在行業應用中盡可能多的發揮數據價值[4]。

最后，積極利用數據可視化技術。該技術與數據表現形式――視覺化表現形式之間存在直接聯系，這一表現形式在進行信息提出時，主要應用概括形式，并且這一方式提取出的信息包括相應的單位和基本變量。在安防領域的數據管理技術中應用這一先進技術進行分析，不僅能夠將上述技術難點有效解決，而且還能優化數據分析結果，詳細分析數據內容。在正式分析之前，應針對所要分析的安防數據全面、詳細考察，在此基礎上實施數據分析工作。在數據分析期間，應及時發揮可視化作用，并將這一作用應用于數據分析之后，這不僅能夠方便客戶理解，而且還能將數據結果直觀展示。此外，將已獲結果與模型數據進行綜合對比，數據可視化技術方法具有應用廣泛性。現如今，這一技術正處于發展階段，成功運用該技術的案例為數不多。但是隨著城市化進程的不斷加快，市場技術需要的不斷擴大，數據可視化處理技術會取得越來越多的關注度，并且該技術能夠獲得廣闊的發展空間。

4 結束語

綜上所述，安防領域數據管理技術在實際發展中面臨較多的技術難點，采取有效措施解Q這一技術難點，能夠將已存的技術問題合理解決，并且還會促進數據管理技術向技術融合性發展和數據可視化發展。同時，這還會促進社會經濟、科技水平不斷提升。

參考文獻

[1]陳子平.基于物聯網技術的安防定位管理系統研究和設計[D].復旦大學，2014.

[2]葉飛.BL公司大數據安防技術的應用效益分析與發展路徑研究

[D].浙江工業大學，2014.

[3]張曲銘.淺析云存儲在安防領域的應用與發展[J].中國安防，

2014，16：51-53.

篇8

CATIA軟件以其強大的自由曲面造型和逆向功能，成為航空和汽車行業的主流CAD平臺[1]。CATIA軟件為兼顧用戶的不同需求，預留了二次開發接口。在CATIA平臺下進行零件庫的開發主要有3種方法[2]：第1，使用CATIA的Formula、DesignTable和Catalog功能建立三維標準件庫，但其格式固定，不能有效和國家及企業標準結合起來，且操作繁瑣、更新性較差、零件存儲的數據冗余、不易操作[3]。第2，可以利用CATIA提供的組件應用架構（ComponentApplicationArchitec⁃ture，CAA）接口和二次開發工具快速應用開發環境（RapidApplicationDevelopmentEnvironment,RADE）進行CATIA的二次開發，創建零件庫的應用程序。此方法入門困難，但實現的功能強大，開發的程序效率高，能夠滿足用戶深層次專業化的要求[4]。第3，使用自動化接口（AutomationAPI），在VB環境下引用CATIA的類對象、函數進行二次開發。此種方法入門容易，但功能限制大[5]，且所開發的零件庫系統只能在特定模塊下使用，靈活性較差[6]。本文從車身關鍵數據管理的實際問題出發，結合CATIA平臺下3種開發零件庫方法的優缺點，利用和MySL建立車身關鍵數據管理系統，采用CA⁃TIA/CAA技術，實現了數據庫系統與CATIA的無縫連接，應用Automation技術實現了數據庫系統與CATIA的數據通信。該數據管理系統可以完成關鍵數據的管理、預覽、對比以及模型輸出，為提高對標設計效率、縮短車身開發周期提供了支持。

2車身關鍵數據管理系統總體設計

該系統以Windows和CATIAV5為操作平臺，使用作為開發語言，通過MySL作為底層數據庫進行數據存儲。圖1為系統的體系結構框圖，可分為集成層、用戶層和數據存儲層。集成層使用RADE和CAAAPI實現用戶層與CATIA的集成。用戶層體現了系統功能，目前可分為3個基礎模塊（分別為系統管理模塊、車型管理模塊、材料管理模塊）和1個關鍵數據模塊，關鍵數據管理模塊作為車身關鍵數據的載體，根據用戶對不同零件的需求，可進行實時擴展。數據存儲層為用戶層的各模塊提供相應的數據支持，其和用戶層通過接口和Automation進行數據交流與更新。系統的工作流程可描述為：進入CATIA，點擊開發工具條上的車身關鍵數據管理系統命令按鈕，打開已加載到CATIA內部的車身關鍵數據管理系統，通過訪問數據庫，進行車身關鍵數據的功能性操作。

3系統關鍵結構的實現本系統關鍵結構包括集成層的實現和用戶層的開發。

3.1基于CAA的集成層開發

采用組件應用架構CAA完成數據庫系統在CATIA下的入口設計，要在CATIA中創建一個全新的work⁃bench，以便將基于CAA二次開發的車身關鍵數據輔助設計模塊進行集中顯示，也要將開發的工具條嵌入到其他相關工作臺中，以利于實際操作。集成層的開發框架（圖2）分為兩個步驟：第1步，插入新工作臺；第2步，在新工作臺中開發新工具條并將工具條關聯到CATIA的創成式、零件設計和裝配設計工作臺。a.工作臺的插入在CAA中創建新的工作臺流程。b.工具條及命令按鈕開發工具條在新建工作臺和創成式設計、零件設計以及裝配設計下可用，因此需要將工具條描述類與這4項的接口建立聯系。以新建工作臺為例，通過以下兩個語句，可實現工具條與新建工作臺的連接。#include"TIE_IBATVBDCreationWbenchAddin.h"TIE_IBATVBDCreationWbenchAddin（BATDataAd⁃din）工具條描述類作為對系統接口的擴展，會重載Cre⁃ateToolbars和CreateCommands兩個函數，CreateToolbars用以創建一個按鈕容器，即工具條。圖4是創建工具條及添加按鈕的過程。4標準工具條及按鈕的創建流程函數CreateCommands()的作用是關聯工具條按鈕的響應命令。在該命令中添加調用外部程序的響應，可實現對外部程序調用的API函數有Shell、ShellExecute、ShellExecuteEx、Winexec、CreateProcess等，本文采用使用率較高的ShellExecute函數。

3.2車身關鍵數據管理系統

作為車身設計數據的對標平臺，也可以作為通用化的基礎平臺，系統的設計功能如圖6所示。a.用戶權限劃分：不同用戶權限使用不同功能。管理員職能涉及對數據庫的修改操作，而普通用戶僅對數據庫有查詢操作權限。圖7為系統主界面。b.數據存儲：記錄用戶關注的車身關鍵數據，包括車型、材料、主斷面位置、車門、主斷面、密封條斷面、孔堵和鉸鏈等數據的幾何信息及其數模文件。c.數據查詢：實現對車型、材料、主斷面位置、車門、主斷面、密封條斷面、孔堵和鉸鏈的幾何信息進行瀏覽和查詢，同時可以對零件或斷面的形狀進行初步預覽。圖8為關鍵數據的信息展示界面。d.數據輸出與對比報表：對于其他程序或腳本來說，CATIA只是一個OLE自動化對象服務器，因此任何能訪問COM對象的程序或腳本都能訪問CATIA的對象并對其進行操作[7]。本文通過Automation技術實現了數據庫系統與CATIA的通信，使用前在程序框架中引用CATIA的庫文件，在獲取當前CATIAApplication對象后，使用Documents的Open方法將數據庫中的數模文件在CATIA中打開。通過Automation技術實現數據庫與CATIA的通信，將相應斷面或零件數模從數據庫中直接導入到CATIA。對比報表的輸出同樣采用支持自動化操作的Excel實現，用戶根據自身需要搜索到所需零件或斷面，通過選擇相應的參數，輸出參數對比報表。圖9為對標數據參數對比報表的輸出。

4結束語

篇9

城市地下管線根據有關規定可以分為綜合管溝管線、人防管線、工業管線、電信管線、熱力管線、電力管線、燃氣管線、給水管線、排水管線等9種主要管線類型，還可以分出很多子類型。[1]由于這些管線以埋在地下的管線為主，因而其并不是全部埋在地下，而是將有些部分分布在地面上。城市的地下空間多被縱橫交錯地埋在了地下，因而在城市的地下構成了錯綜復雜的網絡，即城市地下管網。由于各類管線在地面上還存有附屬設施和建筑物等構筑物，因而地下管線信息分為屬性信息和空間信息這兩類。其中空間信息包括管線走向、管線埋藏深度、管線所屬和管線具置等；屬性信息主要有管線鋪設時間、管線斷面、管線的管理單位和部門、管線電纜的根數和管線傳輸的物體。[2]在對城市地下管線進行普查和探測的過程中，測繪人員不僅要準確探測管線的空間信息，對城市地下管線進行實地調查，還要采用統一的坐標系用文字、數字以及字符等來表示管線的屬性信息和空間信息，用字母x、y、h表示地下管線高斯-克呂格平面坐標系的具體空間信息。

2城市地下管線調查的方法及要求分析

2.1調查要求與調查方法

在探查城市地下管線的過程中一般采用儀器探查和實地調查這兩種方法。管線探查的工作主要包括探查管線附屬設施、電纜條數、管線規格、管線性質、管線材質、管線種類和管線載體，地下管線測繪人員還應當探查地下管線埋藏深度、地下管線鋪設的地理位置和鋪設狀況等。為了保證城市地下管線探查的準確性和完整性，應當積極采用地下管線探測儀、測地雷達等先進的設備做好管線物理探測方面的技術。隨著人們對城市地下管線的測繪集數據管理要求的不斷提高以及工程物探技術的不斷發展，物探技術成為了城市地下管線資料收集的一種重要手段。城市地下管線的測繪集數據管理的調查方法主要有高精度磁法、地面測溫法、淺層地震法、探地雷達法、高密度電阻率法和電磁感應法。探測技術人員在進行具體的探測工作時，要綜合考慮城市的實際情況，采用靈活全面的地下管線探測解決方案，并通過地下管線定位儀來對地下管線進行精確的探測，實現地下管線物理探測的經濟合理性。

2.2各種管線編號數據管理

在進行數據探測的過程中，城市地下各類管線在進行調查時應當做好管線編號的數據管理工作，以號區專業管線進行科學的分區。城市地下管線編號主要分為主管線和支管線兩級。在對城市地下管線進行具體編號時，堅持線號在前面，點號在后面的原則。一定要表達清楚每一條地下管線的起點、終點、分支、折點、變徑、變坡等點標。在對街道管線進行編號時，也要嚴格按照線號在前、點號在后的順序。對于南北走向的街道，自西向東的街道采用奇數進行編號，對于東西走向的街道，自北向南的街道采用偶數編號。在進行點號編輯時，應當嚴格按照自北向南、自西向東的順序進行編號管理。對于交叉的管線，一般只編輯一個號；在編輯分支管線時，應當按照地下管道的主干線管線點進行順向編號。比如，倘若城市地下主干管線的排水井編號是W9-7，那么支管線的編號是WZ9-1。在編輯點號時應遵循方便識別和記憶的原則，可以適當的簡化編號名稱。

3完善城市地下管線圖繪制的策略

3.1科學使用地下管線數字測繪系統

在進行城市地下管線的測繪集數據管理過程中，應當嚴格審核地下管線數字測繪系統的成圖，采用先進的測繪軟件進行城市地下管線的成圖作業，仔細分析經轉換后的野外采集基本數據，整理好連線文件和坐標文件的繪圖數據。由于測繪軟件集傳輸功能、電子平板、數據處理、平差計算、圖形生成、數字化編輯、數據報表生成、數據表格輸出等優點于一體，因而具有較強的系統性。在繪制管線圖前，應當對外業數據進行有效的處理，提取相應的繪圖信息，做好數據計算和數據結構的存儲工作，建立起適合地下管線鋪設的數據繪圖和編輯處理工作，建立完備的管線編號數據庫，根據數據庫內的空間數據和屬性數據，及時繪制可生成數字管網圖，以此方便城市地下管線的設置。

3.2對地下管線圖進行合理分類

地下管線工作者將地下管線圖分為綜合管線圖和專業管線圖這兩大類。綜合管線圖主要是指合理展現測區內所有探測過的附屬設施和各種管線，將有關地面的建構筑物清楚展現在管線圖上。采用線畫的黑色背景作為地形圖，按照規定做好各種專業管線的顏色繪制工作，尤其要用文字標明管線的路名、屬性和單位名稱，對不能壓蓋圖上的其它要素進行注記。專業管線圖和綜合管線圖應當采用相同背景的地形圖，繪制專業管線和屬性注記圖，專業管線要素的顏色及注記方式與綜合管線一致。

3.3優化城市地下管線分層管理機制

城市地下管網作為城市市政工程的重要組成部分，完善城市地下管線的測繪集數據的科學管理工作是進一步優化城市地下空間的科學有效的途徑。隨著測繪技術的不斷發展和數據管理工作的不斷完善，測繪管網應當對出圖、出表進行有效存儲，在網絡平臺上對管網信息進行有效的科學管理工作，建立全面的城市地理信息系統數據庫，擴寬地下管網圖的適用范圍，同時完善數字化的管網測繪系統。一般將同一類管線和附屬設施放置在一層，將背景地形圖放置在另一層，同時做好編碼編輯工作和背景地形圖的繪制工作，對不同的對層進行開關控制和顏色定義工作，要對編碼元素和注記進行顏色設定,為地下管線圖的專業應用提供方便。

4結論

篇10

1.1物聯網

物聯網是可將物與物、人與人、人與物相互關聯，實現智能控制的一種網絡技術。就是利用局部網絡或互聯網等通信技術把自來水廠既有的傳感控制器、機器、人員等通過新的方式聯在一起，實現信息化、遠程管控和智能化的網絡。

1.2大數據

大數據技術可將水廠內一系列的數據庫集成化，抽取挖掘數據信息，并轉換成指導企業生產管理的有效信息。大數據，主要就是指數據量巨大、種類多、產生速度快、有創造價值潛力的數據庫。被譽為“大數據時代的預言家”的牛津大學維克托·邁爾-舍恩伯格教授解釋：大數據分析就是分析全體數據不要抽樣數據，要接受數據的復雜多樣性不要追求個別類型數據的精確，要事物相關關系不要難以捉摸的因果關系［2］。

1.3機器人

傳統一線工人是通過對設備的看、觸、聽、嗅、測等感觀進行巡視判斷。而設備巡檢機器人一旦投運，將不受環境影響，實現24小時不間斷高強度的自動巡檢，甚至還可以將每次巡檢的內容上傳大數據庫進行儲存，方便以后查閱。

2面向智慧水廠的大數據管理理論

對于智慧水廠而言，其大數據往往是從各種復雜系統中得到的，每一個系統都有著獨立的數據集和分散的鏈接，數據的共性和網絡的整體特征隱藏在這些數據網絡的集合中，但通過大數據可以將這些反映相互關系的鏈接整合起來，構成一張完整的大數據關系網。分析大數據也就是分析大數據后面的網絡，大數據面臨的科學問題本質上可能就是網絡科學問題，一些網絡參數和性質也許能刻畫大數據背后網絡的共性［5］。智慧水廠部分大數據及這些數據之間可能的聯系，其中包含了來自水廠自身、調度及外部的諸多數據，這些不同數據之間彼此關聯、交織成網，以一種現階段看來無比混雜并且難以準確描述的方式支撐和推動著配水廠的運行與發展。

3面向智慧水廠的大數據分析前景