云計算數據挖掘論文

時間:2022-03-26 04:30:18

導語:云計算數據挖掘論文一文來源于網友上傳,不代表本站觀點,若需要原創文章可咨詢客服老師,歡迎參考。

云計算數據挖掘論文

1云計算數據挖掘

1.1云計算

云計算是并行計算和分布計算以及網格計算的發展,是一種在海量數據大規模的集合中能動態處理各種服務器數據資源的一類計算平臺,在電子商務、商業金融、科研開發等領域能得到廣泛的應用。它具有大規模、虛擬化、高效率、通用性、廉價等特點,能針對不同的用戶的不同需求,動態透明地提供其所需的虛擬化計算和資源儲存,并能及時動態回收當前用戶暫不利用的數據資源以提供給其他用戶,而其廉價、通用的特點,使得一般用戶實現大規模的數據操作成為可能。目前來說,云計算的平臺已得到良好的發展,日益成熟,基于云計算的應用已經可以相當方便的部署和操作其數據資源。

1.2數據挖掘

數據挖掘技術是現代知識發現領域的一個重要技術,它是指一個從隨機的大量而不完整的模糊的實際數據中提取其中某些隱含著的具有潛在價值的實用知識與信息的過程。其具體技術有特征化、聚類、關聯和預測分析等等,涉及到的高級技術領域有統計學、機器學習、模式識別、人工智能等方面。

2基于云計算的數據挖掘平臺構架

網絡云的發展給數據挖掘提出了新的問題和時代的挑戰,同時,也為數據挖掘提供了新的計算平臺和發展機遇。基于云計算的數據挖掘系統平臺的發現,解決了傳統的數據挖掘技術出現的時代滯慢、效率較低、功能落后、成本高昂等問題。云計算是一種商業計算模式,是網格計算與并行計算及分布式計算在一定程度上的商業實現,其動態、可伸縮的計算基于云計算的數據挖掘平臺架構及其關鍵技術探討文/張瑤劉輝云計算是一種在互聯網時代中應運而生的新興的網絡技術,具有高效率、高容量、動態處理的特點,在社會的商業領域和科研領域表現出了其相當高的應用價值。將云計算應用于數據挖掘平臺的構架之中后,將能在很大程度上為現代社會中越來越海量的數據挖掘提供一個高效率的技術平臺。本文將結合云計算和數據挖掘的基本概念和現代意義,對數據挖掘的平臺構架和相應的關鍵技術做出簡要的分析探討。摘要能力使得進行高效的海量數據挖掘的目標不再遙遠。同時,云計算SaaS功能日益被理解和標準化,使得基于云計算SaaS化的數據挖掘有了理論和技術的指導,并具有了企業化與大眾化的發展趨勢。

2.1數據挖掘平臺構架

建立在關系型數據庫之上的傳統的數據挖掘技術構架在現時代數據急劇膨脹和分析需求漸增的發展下已經難以應付社會的數據處理問題。而云計算的分布式存儲與計算形式則接受了當代的數據挖掘難題,促成了適應時代的云計算數據挖掘平臺構架的形成。其包含了面向組件的設計理念和分層設計的思想方法。其構架自下向上總共分為3層,分別為底層的云計算支撐平臺層、中間的數據挖掘能力層和上層的數據挖掘云服務層。

2.2基于云計算的數據挖掘平臺構架各層意義

云計算支撐平臺層:顧名思義,該平臺層是云計算數據挖掘平臺的基礎處理平臺,其主要具有的功能是對分布式文件存儲與數據庫提供資源存儲,以及實行對數據的有關處理和計算功能。數據挖掘能力層:該平臺結構層主要是提供挖掘的基礎能力,是數據挖掘的核心支撐平臺,并對數據挖掘云服務層提供能力支撐。該平臺層包含了算法數據并行處理、調度引起和服務管理的框架,該平臺層可以提供系統內部的數據挖掘處理和推薦算法庫,亦支持第三方的數據挖掘算法工具的進入。數據挖掘云服務層:數據挖掘云服務層的主要功能是對外提供數據挖掘操作的云服務,同時也能提供基于結構化查詢的語言語句訪問,提供相關的解析引擎,以便于自動調用云服務。對外數據挖掘云服務能力封裝的接口形式多樣,包含了基于簡單對象訪問協議下的Webservice、XML、HTTP以及本地應用程序的編程接口等多種形式。另外,在必要的時候,云服務層的各個業務系統可以進行數據挖掘云服務的調用和組裝。

3基于云計算的數據挖掘平臺構架的關鍵技術探討

基于云計算的數據挖掘平臺構架的形成,離不開現代先進的科技技術,其中幾項關鍵的技術應用將在這里進行簡要的闡述:

3.1云計算技術

3.1.1分布式儲存技術

通過采用分布式存儲的方式來存儲數據,是云計算技術保證數據處理高可靠性和經濟性的重要保證。用可靠的軟件來彌補硬件的不足,是分布式存儲技術提供廉價而又海量的數據挖掘支持的重要途徑。

3.1.2虛擬化技術

在云計算的環境下,數據挖掘能實現對大量的可用的虛擬化技術的應用、整合,發展出一套全面虛擬化的運行戰略。云計算和虛擬化的共同組合,使數據挖掘實現了跨系統下的資源調度,將海量的來源數據進行IT資源匯合,動態地實現對用戶的虛擬化資源的供給,從而以高效率、海量動態的特點完成服務任務。

3.1.3并行云計算技術

并行云計算技術是一種對于高效執行數據挖掘計算任務極其重要的技術,并且它對云計算的某些技術細節做出了封裝,例如任務并行、任務調度、任務容錯和系統容錯以及數據分布等。該功能代替了用戶對這些細節的考慮,使得研發效率得到了提高。

3.2數據匯集調度中心

數據匯集調度中心的功能主要是完成對不同類型的數據進行匯集。它實現了對接入該云計算數據挖掘平臺的業務數據收集匯合,能夠解決與不同數據的相關規約問題,并能支持多樣的源數據格式。

3.3服務調度與管理技術

對于基于云計算的數據挖掘平臺,為了使不同業務系統能夠使用本計算平臺,必須要提供相應的服務調度與管理功能。服務調度解決云服務下的并行互斥以及隔離等問題,以保證安全、可靠的平臺的云服務。服務管理功能要實現統一的服務注冊與服務暴露功能,并且支持接入第三方的數據挖掘,以更好地擴展平臺的服務能力。

4結束語

在時代的需求下,云計算技術的出現是并行計算技術、網絡技術和軟件技術不斷發展的必然產物。現代社會,云計算已經體現了其在商業、電子和科研開發的高價值。基于云計算的數據挖掘平臺,由于其強可靠性、高擴展性、高經濟性、海量處理數據等優點,會成為新一代數據挖掘技術上未來長期的技術平臺。

作者:張瑤劉輝單位:英利能源(中國)有限公司