導(dǎo)語：如何才能寫好一篇云計(jì)算基本架構(gòu)，這就需要搜集整理更多的資料和文獻(xiàn)，歡迎閱讀由公務(wù)員之家整理的十篇范文，供你借鑒。

篇1

關(guān)鍵詞：云計(jì)算；虛擬化；VMware;VMware vSphere；架構(gòu)

中圖分類號(hào)：TP303文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：16727800（2012）008000602

作者簡介：連鴻鵬(1987-)，福建師范大學(xué)協(xié)和學(xué)院初級(jí)網(wǎng)絡(luò)工程師，研究方向?yàn)樵朴?jì)算。

0引言

虛擬化技術(shù)是伴隨著計(jì)算機(jī)的產(chǎn)生而發(fā)展的，虛擬化意味著對計(jì)算機(jī)資源的抽象。虛擬化技術(shù)實(shí)現(xiàn)了物理資源的邏輯抽象和統(tǒng)一表示，通過它可以提高資源利用率，并能夠根據(jù)用戶業(yè)務(wù)需求的變化，快速、靈活地進(jìn)行資源部署，因此，虛擬化技術(shù)已經(jīng)成為構(gòu)建云計(jì)算環(huán)境的一項(xiàng)關(guān)鍵技術(shù)。

VMware 云基礎(chǔ)架構(gòu)能夠讓現(xiàn)有的用戶從虛擬化中獲益，加速了現(xiàn)有數(shù)據(jù)中心云計(jì)算的轉(zhuǎn)移，與公共云基礎(chǔ)兼容，鋪平了向混合云模式前進(jìn)的道路，成為云計(jì)算的新里程碑。

本文主要討論作為X86體系結(jié)構(gòu)虛擬化技術(shù)的代表，VMware公司基于已有的虛擬化技術(shù)和優(yōu)勢，提供了云基礎(chǔ)架構(gòu)及管理、云應(yīng)用平臺(tái)和終端用戶計(jì)算等多個(gè)層次上的解決方案，主要支持企業(yè)級(jí)組織機(jī)構(gòu)利用服務(wù)器虛擬化技術(shù)，實(shí)現(xiàn)從目前的數(shù)據(jù)中心向云計(jì)算環(huán)境轉(zhuǎn)變方面的架構(gòu)分析。

1VMware vSphere 簡介

VMware vSphere是在原來的VI3基礎(chǔ)上推出的系統(tǒng)，被成為業(yè)界首款云計(jì)算操作系統(tǒng)。vSphere將應(yīng)用程序和操作系統(tǒng)從底層硬件分離出來，從而簡化了 IT 操作。現(xiàn)有的應(yīng)用程序可以看到專有資源，而服務(wù)器則可以作為資源池進(jìn)行管理。vSphere以原生架構(gòu)的ESX/ESXi Server為基礎(chǔ)，讓多臺(tái)ESX Server能并發(fā)負(fù)擔(dān)更多個(gè)虛擬機(jī)。主要包括3部分：一是虛擬化管理器VMM部分的VMware ESX 4，VMware ESX Server主要是用于調(diào)配物理服務(wù)器中內(nèi)存、CPU、存儲(chǔ)及網(wǎng)絡(luò)各種硬件資源，運(yùn)行在物理服務(wù)器上的一個(gè)虛擬層并根據(jù)預(yù)定好的策略將這些資源分配到運(yùn)行在其中的各虛擬機(jī)中，這些虛擬機(jī)以安全獨(dú)立的模式并行運(yùn)行；二是用于整合和管理VMM的VMware vCenter，提高在虛擬基礎(chǔ)架構(gòu)每個(gè)級(jí)別上的集中控制和可見性，通過主動(dòng)管理發(fā)揮 vSphere 潛能，是一個(gè)具有廣泛合作伙伴體系支持的可伸縮、可擴(kuò)展平臺(tái)；三是用于管理客戶端的軟件VMware Infrastructure Client。

2VMware vSphere 的基本架構(gòu)

VMware vSphere 主要通過虛擬化技術(shù)將數(shù)據(jù)中心轉(zhuǎn)變?yōu)樵朴?jì)算基礎(chǔ)架構(gòu)，通過虛擬化提供自助部署和調(diào)配的功能，將IT基礎(chǔ)架構(gòu)作為服務(wù)來交付使用。vSphere是一個(gè)整體架構(gòu)而非單個(gè)產(chǎn)品，基本架構(gòu)如圖1。

圖1VMware vSphere 的基本架構(gòu)

2.1vSphere的云端部分

vSphere所謂的云端是指平臺(tái)及架構(gòu)部分（PaaS和IaaS）,可以分為內(nèi)部和外部云端。內(nèi)部云端由各種硬件資源組成，并有vSphere負(fù)責(zé)統(tǒng)合云端資源，在IaaS及PaaS中，資源為硬件及OS資源。外部云端vSphere可以將這些第三方提供的資源集成到企業(yè)的IT架構(gòu)中。

2.2vSphere的底層：架構(gòu)服務(wù)（Infrastructure Service）

有了硬件資源之后，就需要一個(gè)Hypervisor將資源集成，然后ESX和ESXi服務(wù)器將負(fù)責(zé)硬件資源虛擬化。Infrastructure Service主要可以分為運(yùn)算部分的vCompute、存儲(chǔ)部分的vStorage以及網(wǎng)絡(luò)部分的vNetwork。

（1）vCompute部分。vCompute包括了ESX/ESXi以及DRS。ESX/ESXi主要實(shí)現(xiàn)服務(wù)器整合、提供高性能并擔(dān)保服務(wù)品質(zhì)、流水式測試和部署及可伸縮的軟硬件架構(gòu)。DRS確保按需調(diào)整資源配置，根據(jù)需要和優(yōu)先級(jí)壓縮和增加應(yīng)用系統(tǒng)的資源，動(dòng)態(tài)的響應(yīng)負(fù)載平衡。

（2）vStorage部分。vStorage包括VM所在硬盤的文件系統(tǒng)VMFS以及動(dòng)態(tài)分配大小的Thin Provisioning，提供多種存儲(chǔ)虛擬連接選擇，通過vStorage VMotion減少或消除計(jì)劃內(nèi)停機(jī)，通過精簡部署降低虛擬環(huán)境的存儲(chǔ)要求，通過vStorage API簡化管理并提高存儲(chǔ)操作的效率。VMFS是專門為虛擬機(jī)設(shè)計(jì)的高性能集群文件系統(tǒng)，該系統(tǒng)可以在VMware虛擬機(jī)的VMware虛擬數(shù)據(jù)中心環(huán)境中訪問共享存儲(chǔ)。

（3）vNetwork部分。VMware的網(wǎng)絡(luò)虛擬化技術(shù)主要通過VMware vSphere 中的vNetwork網(wǎng)絡(luò)元素實(shí)現(xiàn)。通過這些元素，部署在數(shù)據(jù)中心物理主機(jī)上的虛擬機(jī)可以像物理環(huán)境一樣進(jìn)行網(wǎng)絡(luò)互連。vNetwork的組件主要包括虛擬網(wǎng)絡(luò)接口卡Vnic、vNetwork標(biāo)準(zhǔn)交換機(jī)vSwitch和vNetwork分布式交換機(jī)dvSwitch。vSphere提供了一個(gè)Distributed Network的架構(gòu)，不但有完整的Bridged/NAT/Host only架構(gòu)，更和Cisco合作推出一個(gè)專門安裝在vSphere上的分布式網(wǎng)絡(luò)。

2.3vSphere的Application Service

篇2

關(guān)鍵詞：云計(jì)算；數(shù)據(jù)中心；資源管理

中圖分類號(hào)：TP315

21世紀(jì)以來互聯(lián)網(wǎng)技術(shù)的發(fā)展十分迅速，隨著時(shí)間的增長，一些陳舊的網(wǎng)絡(luò)設(shè)施不斷的被淘汰，開始進(jìn)行更新?lián)Q代，換代的同時(shí)計(jì)算機(jī)技術(shù)的應(yīng)用也不斷的被廣大的人們所熟知，互聯(lián)網(wǎng)技術(shù)中有一個(gè)重要的環(huán)節(jié)對網(wǎng)絡(luò)的發(fā)展起到承上啟下的作用，那就是數(shù)據(jù)的存儲(chǔ)，如今隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展這種設(shè)備的成本也隨之降低，這也促使互聯(lián)網(wǎng)的用戶不斷的提高。人們慢慢的都進(jìn)入了互聯(lián)網(wǎng)的時(shí)代，使得當(dāng)今社會(huì)也變的越來越信息化，同時(shí)也有很多的數(shù)據(jù)要進(jìn)行處理，使得傳統(tǒng)的一些數(shù)據(jù)的計(jì)算方法不再適合當(dāng)今互聯(lián)網(wǎng)的發(fā)展速度，因此傳統(tǒng)的一些數(shù)據(jù)中心也滿足不了當(dāng)今的需求。本文主要結(jié)合當(dāng)今云計(jì)算的發(fā)展?fàn)顩r，研究了云計(jì)算的基本理論和概念以后，深入分析了云計(jì)算的基本架構(gòu)。

1 云計(jì)算數(shù)據(jù)中心的概述

1.1 云計(jì)算的概念。云計(jì)算的定義比較多，與之關(guān)聯(lián)的理論也比較多，但是總體來講主要有以下3個(gè)方面：第一分布式計(jì)算；第二信息海量計(jì)算；第三，并行數(shù)據(jù)計(jì)算。這些概念基本上都是美國標(biāo)準(zhǔn)語技術(shù)研究中心提出的，是國際上通用的概念。云計(jì)算并不是無償?shù)姆?wù)，它是需要收取一定費(fèi)用的，收取費(fèi)用的計(jì)算主要是客戶使用網(wǎng)絡(luò)流量的費(fèi)用。目前移動(dòng)網(wǎng)絡(luò)也不斷的發(fā)展已經(jīng)從2G發(fā)展到了4G網(wǎng)絡(luò)，互聯(lián)網(wǎng)時(shí)代開始更新?lián)Q代。這也使得云計(jì)算技術(shù)運(yùn)用越來越廣泛，用戶可以隨時(shí)隨地的通過訪問面來獲取自己想要的數(shù)據(jù)服務(wù)，或者計(jì)算的結(jié)果，并且獲取的過程是簡單而輕松的。與此同時(shí)工業(yè)的生產(chǎn)也不斷的運(yùn)用云計(jì)算技術(shù)開展生產(chǎn)活動(dòng)，隨著時(shí)間的推移，云計(jì)算在工業(yè)生產(chǎn)中的運(yùn)用不斷的擴(kuò)大和普及，也越來越成熟，涉及的工業(yè)領(lǐng)域也越來越多。

1.2 云計(jì)算的原理。云計(jì)算的原理和云計(jì)算涉及理論領(lǐng)域有著密切的關(guān)系。從這些領(lǐng)域我們可以看出云計(jì)算技術(shù)的主要目的是將需要處理的數(shù)據(jù)在網(wǎng)絡(luò)上的其他計(jì)算機(jī)上進(jìn)行處理和計(jì)算。而對于企業(yè)的一些數(shù)據(jù)中心來講，云計(jì)算的運(yùn)行原理和和網(wǎng)絡(luò)上的一些原理是相似的。唯一不同的就是企業(yè)的數(shù)據(jù)是根據(jù)需求來定的，隨著網(wǎng)絡(luò)的普及以及網(wǎng)絡(luò)速度的加快，移動(dòng)客戶端數(shù)據(jù)也不斷的發(fā)展，云計(jì)算的服務(wù)也越來越廣泛，比如利用手機(jī)進(jìn)行購物等都是云計(jì)算衍生的產(chǎn)品。這些技術(shù)與以往傳統(tǒng)的網(wǎng)絡(luò)相比變的越來越開放，不像以往使用單機(jī)進(jìn)行數(shù)據(jù)處理，如今隨時(shí)隨地都可以操作，這樣也使得互聯(lián)網(wǎng)在一定的程度上越來越普及。

2 ITIL架構(gòu)

目前應(yīng)用最為廣泛的架構(gòu)就是ITIL架構(gòu)，這種架構(gòu)主要分為6個(gè)不同的模塊這些模塊在一定的程度上有很大的聯(lián)系，它們并不是孤立的，在實(shí)際的工作中要相互作用的，這樣才能完成各自的任務(wù)，下面分開介紹這6個(gè)不同的模塊：

2.1 服務(wù)支持。該部分主要是對執(zhí)行某項(xiàng)任務(wù)時(shí)，都由哪些人員參與，他們分別扮演何種角色，以及整個(gè)任務(wù)執(zhí)行的具體細(xì)節(jié)進(jìn)行描述，將聯(lián)系用戶以及細(xì)節(jié)的“服務(wù)臺(tái)”功能進(jìn)行明確的定義。服務(wù)支持在整個(gè)云過程中所關(guān)注的重點(diǎn)是，IT組織是如何按照SLA標(biāo)準(zhǔn)向具體客戶提供IT服務(wù)的。

2.2 服務(wù)交付。該部分主要是用來對客戶開展某項(xiàng)業(yè)務(wù)所需要的服務(wù)，主要的服務(wù)內(nèi)容就是對客戶的要求進(jìn)行任務(wù)分工以及IT組織在提供這項(xiàng)服務(wù)時(shí)所需要具備的資源進(jìn)行描述。在服務(wù)的過程中一些不同的人員要執(zhí)行不同的工作內(nèi)容，服務(wù)交付在整個(gè)云過程中所關(guān)注的重點(diǎn)是，IT組織如何與客戶簽訂具體的SLA等級(jí)協(xié)定，并在具體工作開展的過程中對SLA目標(biāo)實(shí)施監(jiān)控。

2.3 安全管理。安全就是保證用戶信息的安全，此模塊記錄很多用戶的數(shù)據(jù)，這些數(shù)據(jù)的主要內(nèi)容是記錄一些具體的規(guī)劃和管理信息及IT服務(wù)所達(dá)到的安全流程水平，用以評(píng)估和控制所存在的風(fēng)險(xiǎn)，同時(shí)根據(jù)評(píng)估結(jié)果給予相應(yīng)的解決。進(jìn)行安全管理的目標(biāo)就是要保證整個(gè)服務(wù)過程的保密性、完整性以及可用性。

2.4 IT基礎(chǔ)設(shè)施管理。IT基礎(chǔ)設(shè)施的管理十分重要，其關(guān)系到業(yè)務(wù)成本的問題，只有合理的對基礎(chǔ)設(shè)施進(jìn)行管理才能保證最大的業(yè)務(wù)需求，創(chuàng)造更大的利潤，這個(gè)模塊最主要的任務(wù)就是保證IT架構(gòu)的運(yùn)行效率，以最小的運(yùn)行成本保證最大的運(yùn)行效率是其最主要的任務(wù)，可以有效的保證IT基礎(chǔ)設(shè)施的穩(wěn)定建設(shè)。

2.5 應(yīng)用管理。應(yīng)用管理就是對客戶端上的應(yīng)用進(jìn)行管理，這個(gè)模塊的主要任務(wù)就是對各個(gè)應(yīng)用的生命周期進(jìn)行管理，并且對客戶進(jìn)行管理的指導(dǎo)，以使他們能夠在最短的時(shí)間內(nèi)從服務(wù)管理的角度對整個(gè)應(yīng)用系統(tǒng)有著較為全面的了解。

2.6 服務(wù)管理規(guī)劃與實(shí)施。該部分主要是對服務(wù)的組織、實(shí)施以及改善服務(wù)管理流程，對整個(gè)過程中所出現(xiàn)的問題以及具體任務(wù)進(jìn)行再規(guī)劃、設(shè)計(jì)，幫助客戶確立遠(yuǎn)景目標(biāo)，同時(shí)對服務(wù)改進(jìn)方案進(jìn)行全面的、持續(xù)的指導(dǎo)。

2.7 業(yè)務(wù)視角。所謂業(yè)務(wù)視角，是用來強(qiáng)調(diào)服務(wù)的開展應(yīng)該從業(yè)務(wù)的角度觸犯，而不是只關(guān)注服務(wù)的交付者，讓IT服務(wù)人員明白其主要工作是為了實(shí)現(xiàn)具體的商業(yè)目標(biāo)，是為了給用戶創(chuàng)造最大的價(jià)值，做出最大的貢獻(xiàn)。

3 ITIL的云計(jì)算數(shù)據(jù)中心管理理念

對于目前面向服務(wù)的數(shù)據(jù)中心架構(gòu)來講，如果要是這些架構(gòu)能夠穩(wěn)定的、可靠的運(yùn)行就必須有一些合理的管理模式，通過強(qiáng)大的管理模式把服務(wù)層的每個(gè)架構(gòu)進(jìn)行聯(lián)系起來，才能夠使得系統(tǒng)的運(yùn)算結(jié)構(gòu)有效的運(yùn)行，也能使得網(wǎng)絡(luò)的基本結(jié)構(gòu)得到很好的改善，目前面向服務(wù)的數(shù)據(jù)中心架構(gòu)能夠最大的優(yōu)化系統(tǒng)資源的配置。上一章詳細(xì)的講了ITIL的數(shù)據(jù)架構(gòu)，這些架構(gòu)在理論上是比較成熟的，也能夠經(jīng)得住長期的實(shí)踐考驗(yàn)，在具體的實(shí)際應(yīng)用中還要根據(jù)客戶的需求進(jìn)行設(shè)計(jì)，設(shè)計(jì)的標(biāo)準(zhǔn)很多，其中最主要的有；結(jié)果要能實(shí)施、對總體的需求能夠準(zhǔn)確的表達(dá)，既然主要是面向客戶的架構(gòu)，那么所有的設(shè)計(jì)都要根據(jù)客戶的需求來定，這樣才能滿足客戶需要的功能。

4 云計(jì)算資源的管理

4.1 云計(jì)算管理模型。主要分為兩個(gè)部分，一個(gè)是被動(dòng)式部件一個(gè)是主動(dòng)式的部件，這兩種系統(tǒng)的結(jié)構(gòu)都具有層級(jí)的結(jié)構(gòu)，其中主動(dòng)式的部件就是系統(tǒng)的各種資源，就是對系統(tǒng)的數(shù)據(jù)進(jìn)行反復(fù)的利用，作用的內(nèi)容就是系統(tǒng)結(jié)構(gòu)的內(nèi)容，通俗的說就是執(zhí)行傳統(tǒng)以及非傳統(tǒng)計(jì)算過程。而作業(yè)是整個(gè)層次結(jié)構(gòu)的實(shí)體，調(diào)度的主要內(nèi)容就是吧任務(wù)映像到資源，而不是將作業(yè)映像到資源。

4.2 云計(jì)算的資源調(diào)度。云計(jì)算中關(guān)鍵的系統(tǒng)就是云計(jì)算的資源調(diào)度系統(tǒng)，它直接影響著資源管理的有效性和可操作性，然而云計(jì)算的動(dòng)態(tài)性能以及云計(jì)算的結(jié)構(gòu)性能又直接影響著云計(jì)算資源的調(diào)度，直接影響云計(jì)算的系統(tǒng)復(fù)雜性。云計(jì)算資源的調(diào)度系統(tǒng)設(shè)計(jì)可分為3類，主要有集中式、分布式以及層次式等，在這3中調(diào)度的類型中，集中調(diào)度最為常見，它主要是通過一個(gè)中央的調(diào)度中心進(jìn)行數(shù)據(jù)的交換，這種調(diào)度方式主要是通過一個(gè)程序進(jìn)行的，其中所有能夠使用的信息都能夠在數(shù)據(jù)的中心體現(xiàn)。分布調(diào)度的原理主要是進(jìn)行交互式的作業(yè)，主要把數(shù)據(jù)傳送到遠(yuǎn)程的存儲(chǔ)器中，用戶可以通過網(wǎng)絡(luò)訪問這個(gè)服務(wù)器從而獲得相關(guān)的數(shù)據(jù)，這種操作并沒有中心的系統(tǒng)進(jìn)行操作。

5 結(jié)束語

云計(jì)算技術(shù)越來越流行，都?xì)w功于計(jì)算機(jī)技術(shù)的發(fā)展，人們對網(wǎng)絡(luò)的需求與日俱增，如今這種需求涉及到很多的方面和領(lǐng)域，不僅在企業(yè)中有所體現(xiàn)，在日常生活中都與人們息息相關(guān)，本文全面的接受了云計(jì)算的一些基本架構(gòu)，分析了云計(jì)算的一些概念和原理，初步了解云計(jì)算技術(shù)有一定的作用，作者水平有限，沒能在云計(jì)算的硬件和軟件上深入分析，希望這以后的生活中繼續(xù)研究。

參考文獻(xiàn)：

[1]羅軍舟，金嘉暉，宋愛波.云計(jì)算：體系架構(gòu)與關(guān)鍵技術(shù)[J].通信學(xué)報(bào)，2011（07）：3-21.

[2]張亞娟.云計(jì)算數(shù)據(jù)中心資源管理軟件設(shè)計(jì)[J].無線互聯(lián)科技，2014（04）：90+94.

[3]羅興宇.淺析云計(jì)算數(shù)據(jù)中心的資源管理[J].計(jì)算機(jī)光盤軟件與應(yīng)用，2014（05）：40-41.

篇3

關(guān)鍵詞：融合媒體；云平臺(tái)；規(guī)劃；設(shè)計(jì)

1 融合媒體環(huán)境下云平臺(tái)的規(guī)劃問題研究

在建立相應(yīng)的融合媒體云平臺(tái)之前，應(yīng)率先明確如下問題，即：自建自有云平臺(tái)抑或租賃現(xiàn)成公用云平臺(tái)。在選取時(shí)，應(yīng)將自身實(shí)際和未來產(chǎn)業(yè)發(fā)展形式緊密結(jié)合，我們應(yīng)該明確的是，日后的媒體業(yè)務(wù)均將建立在云平臺(tái)基礎(chǔ)之上，但這只是一個(gè)結(jié)果，其實(shí)現(xiàn)需要經(jīng)歷較長時(shí)間，其發(fā)展程度主要取決于以下二個(gè)方面：第一，播放終端的IT、IP及智能化改進(jìn)，之前的通過數(shù)字信號(hào)傳輸?shù)脑O(shè)備將被IT設(shè)備取代；第二，隨著IT產(chǎn)業(yè)的不斷完善，尤其是以光纖寬帶和計(jì)算能力為主的快速發(fā)展，導(dǎo)致電視視頻制播業(yè)務(wù)面臨高碼率、高存儲(chǔ)、高計(jì)算能力的需求。綜上，在很長時(shí)間里，融合媒體技術(shù)的發(fā)展將呈現(xiàn)多種云平臺(tái)并存的局面。即：

（1）媒體自建云平臺(tái)。該平臺(tái)主要指衛(wèi)視自行建立的基于虛擬云計(jì)算技術(shù)上的云系統(tǒng)。該平臺(tái)主要用于解決目前制播系統(tǒng)向云體系過渡的問題。

（2）媒體專用云平臺(tái)。該平臺(tái)主要是在硬件上租賃公有平臺(tái)上的各種設(shè)備及相應(yīng)服務(wù)，選用云計(jì)算技術(shù)進(jìn)行管理。媒體專用云平臺(tái)主要針對于互聯(lián)網(wǎng)業(yè)務(wù)。

（3）公有云平臺(tái)。所謂的公有云平臺(tái)主要是阿里云、亞馬遜等公司提供的公共計(jì)算資源服務(wù)。使用者可以自由地在公有云平臺(tái)上上傳和下載需要的各類資源，對于一些高級(jí)資源，公有云平臺(tái)提供付費(fèi)服務(wù)。在融合媒體云平臺(tái)系統(tǒng)中，公有云平臺(tái)主要是滿足社會(huì)服務(wù)功能[1]。

2 融合媒體環(huán)境下云平臺(tái)的設(shè)計(jì)實(shí)現(xiàn)問題研究

在涉及到融合媒體云平臺(tái)的設(shè)計(jì)實(shí)現(xiàn)方面，其中ONAIR云平臺(tái)是融合媒體平臺(tái)的代表作之一。作為媒體性質(zhì)較強(qiáng)的云平臺(tái)，ONAIR將專業(yè)化音視頻處理技術(shù)同世界領(lǐng)先的云計(jì)算平臺(tái)以及遍布全國的CDN網(wǎng)絡(luò)二者深度融合，從而提高了云平臺(tái)對視頻端播放的控制作用，拓展了其內(nèi)容制作、內(nèi)容播控及網(wǎng)絡(luò)新媒體等功能。該平臺(tái)在設(shè)計(jì)時(shí)，嚴(yán)格遵循專業(yè)化導(dǎo)向，通過云平臺(tái)基礎(chǔ)服務(wù)提供商解決設(shè)施問題。

2.1 融合媒體環(huán)境下云平臺(tái)的基本架構(gòu)形式

通過分析ONAIR云平臺(tái)可知，IaaS平臺(tái)能夠支撐各種最基本的云計(jì)算服務(wù)和功能，比如前文所述的阿里云、亞馬遜云等公共平臺(tái)。中間分布的PaaS層可以細(xì)化為6層，具體為：中間層（OM）和搜索引擎層（OCSE），這兩層的主要目的為配合不同云技術(shù)服務(wù)商的不同接口，實(shí)現(xiàn)對不同服務(wù)商的統(tǒng)一封裝；接口層（ESB）該層的目的是為實(shí)現(xiàn)其他復(fù)雜流程提供基礎(chǔ)，并實(shí)現(xiàn)與老舊系統(tǒng)的實(shí)時(shí)交互；基礎(chǔ)服務(wù)層（OBSP）基礎(chǔ)服務(wù)層主要為各種音視頻文件提供各類服務(wù)，比如：后期編輯、播放等功能；運(yùn)營服務(wù)層（OBSS）為整個(gè)云平臺(tái)的正常運(yùn)營提供服務(wù)，實(shí)現(xiàn)對服務(wù)的管理、收費(fèi)及日志記錄等功能，確保平臺(tái)的盈利能力；位于拓?fù)鋱D最上一層的API層，將平臺(tái)所有的服務(wù)以API的方式封裝成接口給軟件開發(fā)人員及其他合作單位。對于融合媒體環(huán)境下的云平臺(tái)而言，其基本架構(gòu)ONAIR的SaaS服務(wù)功能主要是為了滿足融合媒體環(huán)境下的各類服務(wù)，比如網(wǎng)絡(luò)電臺(tái)、微電臺(tái)、新聞云更新及自媒體云更新等。隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，促使人類社會(huì)的認(rèn)識(shí)發(fā)生了巨大的變革，日后的互聯(lián)網(wǎng)技術(shù)將朝著合作、開放的方向發(fā)展，因此，ONAIR的架構(gòu)設(shè)計(jì)就充分體現(xiàn)了這一觀點(diǎn)[2]。

2.2 IaaS服務(wù)的功能介紹

為了提高融合媒體環(huán)境下的云平臺(tái)ONAIR的基礎(chǔ)服務(wù)能力，日前，ONAIR系統(tǒng)已經(jīng)成功和阿里云服務(wù)實(shí)現(xiàn)對接。就對接的成果而言，所獲得的價(jià)值非常豐碩。從資源和硬件支持角度看，阿里云在國內(nèi)已經(jīng)初步建立了5個(gè)核心計(jì)算服務(wù)中心，計(jì)算服務(wù)器數(shù)量已經(jīng)突破20萬臺(tái)次，這種計(jì)算規(guī)模完全可以支持目前的融合媒體環(huán)境下的云平臺(tái)計(jì)算服務(wù)水平，并且還可以支持其一定程度的擴(kuò)張。其中，華通云數(shù)據(jù)擁有骨干網(wǎng)及遍布全國各地的CDN節(jié)點(diǎn)，借助這一顯著優(yōu)勢，確保了ONAIR云平臺(tái)系統(tǒng)能夠?qū)⒏黝愐粢曨l實(shí)時(shí)發(fā)送到全國的任何一個(gè)角落。

2.3 PaaS服務(wù)的功能介紹

（1）云平臺(tái)轉(zhuǎn)碼服務(wù)功能：云平臺(tái)的轉(zhuǎn)碼一般選用較為常用的集群轉(zhuǎn)碼方式，集群轉(zhuǎn)碼能很好地解決大內(nèi)存的視頻轉(zhuǎn)碼效率。因?yàn)檗D(zhuǎn)碼系統(tǒng)設(shè)置在云平臺(tái)上，其云計(jì)算方式可以無線放大，從而實(shí)現(xiàn)對視頻的高效轉(zhuǎn)碼。在具體的視頻轉(zhuǎn)碼操作中，高清視頻的轉(zhuǎn)碼能力可以達(dá)到10倍率左右。因此，對于操作用戶而言，僅需要給出輸入輸出的文件格式、碼率和需要達(dá)到的轉(zhuǎn)碼速度即可，其具體的轉(zhuǎn)碼操作均可由ONAIR云平臺(tái)系統(tǒng)自動(dòng)完成[2]。（2）視頻快速編譯功能：選用BS架構(gòu)形式，BS架構(gòu)的界面部分采用低碼率視頻用于打點(diǎn)、瀏覽等交互操作。交互式操作完畢后，可將其上交到云平臺(tái)系統(tǒng)，進(jìn)而實(shí)現(xiàn)視頻源代碼的快速編譯，從而確保視頻傳輸和共享的清晰度。（3）視頻采集服務(wù)：目前已有的SDI信號(hào)經(jīng)制定編碼器切換為IP形式后，可以將其實(shí)時(shí)傳輸至云平臺(tái)端，并及時(shí)保存，當(dāng)文件播放時(shí)，可將文件轉(zhuǎn)移到特定系統(tǒng)下或者直接下載至客戶端。（4）視頻播放功能：IP播放系統(tǒng)傳輸至云平臺(tái)后，可經(jīng)過視頻服務(wù)器實(shí)現(xiàn)與CDN的交匯對接，將播放內(nèi)容實(shí)時(shí)推送至客戶端口，其中包含PC端、手機(jī)移動(dòng)端及互聯(lián)網(wǎng)電視等。其中視頻直播服務(wù)支持各種碼率和互聯(lián)網(wǎng)流協(xié)議。

2.4 SaaS服務(wù)功能

（1）網(wǎng)絡(luò)電視播放：網(wǎng)絡(luò)電視播放功能集成了視頻資源集中管理和服務(wù)（VMS）及相應(yīng)的網(wǎng)站發(fā)送模式。通過云傳輸形式，在發(fā)送前確定好需要溝通和交換的資源，便可快速在云端開通虛擬機(jī)，實(shí)現(xiàn)虛擬機(jī)與原有系統(tǒng)的對接。以前傳統(tǒng)的電臺(tái)建立形式需要提前購置必要的電子設(shè)備，而現(xiàn)在使用云端傳送的形式，只要每月上繳固定的費(fèi)用，便可實(shí)現(xiàn)資源實(shí)時(shí)獲取，在計(jì)費(fèi)方式上，不同于以往的以時(shí)間為單位的繳納形式，云端傳送采用按量計(jì)費(fèi)，計(jì)費(fèi)方式更加人性化。（2）云端媒體資源整合：以往的媒體資源整合方式主要采用本地?cái)?shù)據(jù)流磁帶庫從而實(shí)現(xiàn)對海量數(shù)據(jù)和文件的存儲(chǔ)和管理，由于該設(shè)備很容易出現(xiàn)故障，因此o后續(xù)的正常使用和維修保養(yǎng)造成了巨大的困難。基于存儲(chǔ)設(shè)備生產(chǎn)技術(shù)的不斷發(fā)展和完善，受到市場供求關(guān)系的影響，存儲(chǔ)設(shè)備的價(jià)格逐步下滑，通過云端處理的方式實(shí)現(xiàn)對海量數(shù)據(jù)和文件的存儲(chǔ)，同之前方法相比，顯示出極高的性價(jià)比和穩(wěn)定性，數(shù)據(jù)傳送和訪問更加穩(wěn)定可靠[1]。（3）云端新聞更新：采用云端實(shí)時(shí)更新的方式布置新聞媒體系統(tǒng)，提高了新聞的推送效率，可以快速將互聯(lián)網(wǎng)上上傳的新聞推送至指定新聞系統(tǒng)。新聞和相關(guān)文章被推送至云端上，新聞工作者可以直接取閱并修改，提高了以往新聞文稿的更新效率。（4）體育賽事的云端播放：之前的體育比賽前實(shí)況直播系統(tǒng)都集成在IBC中心，節(jié)目制作者必須在比賽實(shí)地才能實(shí)現(xiàn)對比賽的實(shí)況轉(zhuǎn)播。而云端賽事直播系統(tǒng)，是將IBC系統(tǒng)集成在云端，經(jīng)過云平臺(tái)將視頻資料傳輸至相關(guān)媒體機(jī)構(gòu)做進(jìn)一步的編輯并第一時(shí)間，這樣一來，極大地提高了賽事的制作和播放效率，壓縮了工作時(shí)間，降低了相關(guān)成本，方便了節(jié)目部門的使用。比如在2014年的青奧會(huì)中，IBC系統(tǒng)建立了12條子系統(tǒng)，借助50M寬帶，實(shí)現(xiàn)了在短時(shí)間內(nèi)將實(shí)況節(jié)目傳輸至云平臺(tái)供客戶端實(shí)時(shí)收看[2]。

3 結(jié)束語

綜上所示，云計(jì)算相關(guān)技術(shù)是保證融合媒體下云平臺(tái)建立的基礎(chǔ)，隨著互聯(lián)網(wǎng)及云計(jì)算技術(shù)的不斷完善，云計(jì)算及配套的云平臺(tái)系統(tǒng)必將成為新聞媒體中的生力軍，必將引領(lǐng)新一代的技術(shù)潮流。

參考文獻(xiàn)

篇4

關(guān)鍵詞：云計(jì)算；教育資源；共享平臺(tái)

中圖分類號(hào)：TP311.52 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-120X（2016）35-0113-02 收稿日期：2016-10-13

作者簡介：朱 林（1981―），男，講師，碩士，研究方向：軟件工程、電子商務(wù)。

一、研究背景

現(xiàn)階段，各大高校的教育資源共享方式比較單一，效率也較低下，教育資源共享的方式通常有FTP共享、教師下發(fā)資料、通過打印實(shí)現(xiàn)共享或通過 U 盤進(jìn)行傳輸，隨著時(shí)代的發(fā)展，這些資源共享的方式存在的弊端越來越明顯。

二、基于云計(jì)算的教育資源共享平臺(tái)設(shè)計(jì)

使用云計(jì)算構(gòu)建教育資源共享平臺(tái)可以解決以上弊端，該平臺(tái)主要實(shí)現(xiàn)對教育資源的高效共享和安全存儲(chǔ)。用戶包括管理員、教師和學(xué)生，用戶都可以上傳和下載教育資源，管理員主要可以添加教師和學(xué)生信息，并對上傳的資源進(jìn)行審核通過；教師可以錄入試題，批閱試卷；學(xué)生則可以在線測試，并在教師批閱試卷后進(jìn)行查看。主要從以下幾個(gè)方面考慮平臺(tái)的設(shè)計(jì)：

1.云平臺(tái)系統(tǒng)架構(gòu)的設(shè)計(jì)

系統(tǒng)可以采用Apache VCL云平臺(tái)進(jìn)行基本架構(gòu)的設(shè)計(jì)，軟件架構(gòu)使用目前軟件開發(fā)常見的N層結(jié)構(gòu)模型：表示層、業(yè)務(wù)邏輯層、數(shù)據(jù)訪問層以及數(shù)據(jù)存儲(chǔ)層。其中，表示層與用戶息息相關(guān)，用于顯示平臺(tái)輸出的數(shù)據(jù)以及系統(tǒng)接收用戶輸入的信息，為用戶提供一個(gè)可以進(jìn)行人機(jī)交互操作的平臺(tái)；業(yè)務(wù)邏輯層是整個(gè)系統(tǒng)中的核心部分，主要功能在于系統(tǒng)業(yè)務(wù)規(guī)則的制訂、業(yè)務(wù)流程的實(shí)現(xiàn)等與業(yè)務(wù)需求密切相關(guān)的系統(tǒng)功能，它應(yīng)對的是系統(tǒng)的領(lǐng)域邏輯，其處于數(shù)據(jù)訪問層與表示層之間，以弱耦合的結(jié)構(gòu)在數(shù)據(jù)交換中起著橋接作用，在整體架構(gòu)中的關(guān)鍵性不可忽視；數(shù)據(jù)訪問層和數(shù)據(jù)存儲(chǔ)層的功能比較純粹，前者主要負(fù)責(zé)對數(shù)據(jù)庫的訪問，后者主要功能是進(jìn)行文件的存取。

2.數(shù)據(jù)庫的設(shè)計(jì)

任何一個(gè)軟件系統(tǒng)都離不開數(shù)據(jù)庫的支持，云平臺(tái)也不例外。系統(tǒng)在當(dāng)前的狀況下運(yùn)行，對于數(shù)據(jù)的儲(chǔ)存，數(shù)據(jù)庫基本上可以滿足用戶的需求，但考慮到業(yè)務(wù)系統(tǒng)的不斷更新以及數(shù)據(jù)量的快速增加，平臺(tái)在未來一段時(shí)間里在性能和易擴(kuò)展性上的要求也會(huì)與日俱增。為此，根據(jù)云教育資源共享平臺(tái)的現(xiàn)狀和未來的發(fā)展，需要采用合理的、適應(yīng)發(fā)展的存儲(chǔ)架構(gòu)，對數(shù)據(jù)存儲(chǔ)與處理、擴(kuò)展性、訪問接口、調(diào)度策略等做相應(yīng)的優(yōu)化與改善，從而加強(qiáng)對各種數(shù)據(jù)資源的存儲(chǔ)維護(hù)等行為操作。

3.角色及流程設(shè)計(jì)

在基于云計(jì)算的教育資源共享平臺(tái)中，主要有三種用戶角色，分別是系統(tǒng)管理員用戶、教師用戶以及學(xué)生用戶。

（1）系統(tǒng)管理員是該系統(tǒng)的主要角色，在該系統(tǒng)中，系統(tǒng)管理員需要管理教師以及學(xué)生用戶，可以創(chuàng)建教師與學(xué)生用戶，還可以上傳下載教育資源，對教育資源進(jìn)行審核或刪除，并添加課程信息，錄入題庫，添加題目。

（2）教師業(yè)務(wù)流程。

在該系統(tǒng)中，教師用戶由管理員用戶創(chuàng)建，需要從管理員處獲取登錄賬號(hào)及密碼，教師可以上傳和下載教育資源，可以添加課程信息，錄入題庫，添加題目，新增試卷，錄入試卷，并且在學(xué)生測試后，對學(xué)生的測試進(jìn)行閱卷評(píng)分，注銷退出。

（3）學(xué)生業(yè)務(wù)流程。

在該系統(tǒng)中，學(xué)生是主要使用者，學(xué)生用戶也由系統(tǒng)管理員創(chuàng)建，因此也需要從管理員處獲取登錄賬號(hào)和密碼，登錄后，學(xué)生可以上傳和下載教育資源，并且在線測試課程，測試后提交試卷，由教師閱卷評(píng)分后公布成績，學(xué)生可以查看課程測試的成績。

三、云計(jì)算服務(wù)類型及開發(fā)框架選擇

1.云計(jì)算服務(wù)類型

隨著云計(jì)算技術(shù)越來越成熟，云計(jì)算的服務(wù)領(lǐng)域也越來越廣泛，在廣大領(lǐng)域中云計(jì)算的服務(wù)類型主要有以下三種：

（1）基礎(chǔ)設(shè)施即服務(wù)。

消費(fèi)者從一些完善的基礎(chǔ)設(shè)施中獲得相應(yīng)的服務(wù)，其主要面向硬件需求的客戶，用戶只需要提供需要計(jì)算的數(shù)據(jù)。

（2）平臺(tái)即服務(wù)。

將云平臺(tái)作為服務(wù)模式，本系統(tǒng)的云計(jì)算即是云平臺(tái)服務(wù)，需要用戶自己寫服務(wù)器，然后將所寫的服務(wù)器部署到云平臺(tái)上即可。用戶也可以自己寫云平臺(tái)，在這里為了方便，直接將服務(wù)器部署到開源的云平臺(tái)上。而本系統(tǒng)所選擇的云平臺(tái)為新浪云。

（3）軟件即服務(wù)。

軟件即服務(wù)，從字面意思理解，即通過軟件的形式提供服務(wù)，在這種云計(jì)算服務(wù)中，用戶并不需要購買軟件，只需要向擁有軟件的商家租用即可，通過租用的基于Web的軟件管理經(jīng)營的活動(dòng)。

2.主流云平臺(tái)

當(dāng)前主流的云平臺(tái)主要有阿里云、新浪云等。其中可以使用新浪提供的云平臺(tái)開發(fā)本系統(tǒng)。在新浪云注冊賬號(hào)，然后進(jìn)入新浪云服務(wù)，創(chuàng)建應(yīng)用，在代碼管理中上傳自己的項(xiàng)目war包，下載新浪云的架包，然后將代碼的war包上傳到新浪云，并啟動(dòng)新浪云上的MySQL服務(wù)，配置相應(yīng)的JDBC連接。

3.開發(fā)框架

本系統(tǒng)可以選擇SSH框架進(jìn)行開發(fā)，SSH框架由Spring，Struts，HibernateM成，其中Spring可以說是一個(gè)管理層，用來管理Struts和Hibernate之間的工作，Spring框架是一個(gè)輕量級(jí)的框架，主要有IOC和AOP兩大機(jī)制。Struts是一個(gè)基于MVC模型的整合框架，即Model層、View層、Control層。因此Struts是用來做應(yīng)用層，負(fù)責(zé)調(diào)用service層。Hibernate是系統(tǒng)的持久層，也可以說是數(shù)據(jù)訪問層，它對JDBC調(diào)用數(shù)據(jù)庫作了輕量級(jí)的封裝，省去了大量的SQL語句。SSH框架是當(dāng)前比較主流的Java Web框架。

四、系統(tǒng)構(gòu)建關(guān)鍵點(diǎn)分析

（1）數(shù)據(jù)庫設(shè)計(jì)是系統(tǒng)構(gòu)建的重要組成部分。教育資源共享平臺(tái)從總體上來說是屬于教學(xué)管理類系統(tǒng)平臺(tái)，在設(shè)計(jì)時(shí)，可以使用SQL Server數(shù)據(jù)庫系統(tǒng)進(jìn)行數(shù)據(jù)的存儲(chǔ)管理。先要對系統(tǒng)的各個(gè)功能要有明確的定義，在此基礎(chǔ)上設(shè)計(jì)出功能表，創(chuàng)建數(shù)據(jù)庫。另外，必須明確表的有效屬性，在建表初期，難免會(huì)有無用的屬性，需經(jīng)過反復(fù)的測試，只保留必要的屬性，減少數(shù)據(jù)庫的規(guī)模。

（2）對于需求的理解程度是系統(tǒng)的重點(diǎn)，需要分析平臺(tái)設(shè)計(jì)背后所反映出來的供求關(guān)系，對資源的廣度和效度進(jìn)行深度挖掘，在基本要求和功能之上，創(chuàng)造盡可能多的創(chuàng)新點(diǎn)，并努力提高平臺(tái)的安全性和效率。

（3）在具體功能都能實(shí)現(xiàn)的基礎(chǔ)上優(yōu)化頁面的設(shè)計(jì)。頁面如何布局是考慮的重要問題，既要體現(xiàn)美觀大方，又要減少代碼冗雜。不能一味地尋找網(wǎng)上的模板，必須對頁面布局有足夠的了解，才能省時(shí)省力，事半功倍。因此，用好HTML 5語言和JSP頁面開發(fā)技術(shù)尤為重要。

篇5

【關(guān)鍵詞】數(shù)據(jù)挖掘，Hadoop

1引言

1.1 數(shù)據(jù)挖掘技術(shù)概述

數(shù)據(jù)挖掘出現(xiàn)于 20 世紀(jì) 80 年代后期，90 年代有了突飛猛進(jìn)的發(fā)展，并在進(jìn)入 21 世紀(jì)后繼續(xù)繁榮。隨著科技的不斷進(jìn)步，在物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)等發(fā)展的推動(dòng)下，數(shù)據(jù)發(fā)生了“大爆炸”，其規(guī)模呈幾何級(jí)上升。如何將這些海量的、復(fù)雜的數(shù)據(jù)轉(zhuǎn)化成人類可理解的、有用的知識(shí)，從而指導(dǎo)我們的決策正成為目前面臨的重要的問題。

如今，隨著云計(jì)算的出現(xiàn)和發(fā)展，數(shù)據(jù)挖掘技術(shù)迎來了新的機(jī)遇和挑戰(zhàn)。現(xiàn)在的基于云計(jì)算的并行數(shù)據(jù)挖掘與服務(wù)的模式。數(shù)據(jù)挖掘的算法可以分布在多個(gè)節(jié)點(diǎn)上，并且這些算法之間是并行的。在進(jìn)行數(shù)據(jù)挖掘的過程中，我們需要的資源會(huì)實(shí)現(xiàn)按需分配，具有很大的伸縮性。在分布式計(jì)算模型下，使用的是云計(jì)算模式。算法的實(shí)現(xiàn)采用 MapReduce 的方式，從而實(shí)現(xiàn)并行的要求。

1.2 Hadoop 框架

Hadoop是一個(gè)開源的分布式系統(tǒng)基礎(chǔ)架構(gòu)，由 Apache 基金會(huì)開發(fā)。Apache Hadoop是一款支持?jǐn)?shù)據(jù)密集型分布式應(yīng)用并以Apache 2.0許可協(xié)議的開源軟件框架。它支持在商品硬件構(gòu)建的大型集群上運(yùn)行的應(yīng)用程序。

Hadoop框架透明地為應(yīng)用提供可靠性和數(shù)據(jù)移動(dòng)。它實(shí)現(xiàn)了名為MapReduce的編程范式：應(yīng)用程序被分割成許多小部分，而每個(gè)部分都能在集群中的任意節(jié)點(diǎn)上執(zhí)行或重新執(zhí)行。此外，Hadoop還提供了分布式文件系統(tǒng)，用以存儲(chǔ)所有計(jì)算節(jié)點(diǎn)的數(shù)據(jù)，這為整個(gè)集群帶來了非常高的帶寬。MapReduce和分布式文件系統(tǒng)的設(shè)計(jì)，使得整個(gè)框架能夠自動(dòng)處理節(jié)點(diǎn)故障。它使應(yīng)用程序與成千上萬的獨(dú)立計(jì)算的電腦和PB級(jí)的數(shù)據(jù)。現(xiàn)在普遍認(rèn)為整個(gè)Apache Hadoop平臺(tái)包括Hadoop內(nèi)核、MapReduce、Hadoop分布式文件系統(tǒng)（HDFS）以及一些相關(guān)項(xiàng)目，有Apache Hive和Apache HBase等等。

2 Hadoop數(shù)據(jù)存儲(chǔ)平臺(tái)

2.1基本設(shè)計(jì)思想

我們的基本思想是：充分利用 Hadoop的集群特征，將數(shù)據(jù)挖掘系統(tǒng)中需要巨大計(jì)算能力的各個(gè)模塊的計(jì)算和存儲(chǔ)要求擴(kuò)展到Hadoop集群中的各個(gè)節(jié)點(diǎn)上，利用集群的并行計(jì)算和存儲(chǔ)能力來進(jìn)行相關(guān)數(shù)據(jù)挖掘工作。系統(tǒng)采用MVC三層架構(gòu)設(shè)計(jì)使結(jié)構(gòu)更加清晰，系統(tǒng)易于擴(kuò)展。在底層，使用 Hadoop來存儲(chǔ)、分析和處理巨大的數(shù)據(jù)量，而在高層通過接口直接透明的調(diào)用底層的計(jì)算和存儲(chǔ)能力。

在整個(gè)系統(tǒng)中，我們可以使用 HDFS 來存儲(chǔ)文件和數(shù)據(jù)。HDFS 具有很高的數(shù)據(jù)吞吐量，并且很好的實(shí)現(xiàn)了容錯(cuò)機(jī)制。HDFS 提供了多種訪問接口，包括 API以及各種操作命令。使用 HDFS，我們可以為原始的大數(shù)據(jù)集提供存儲(chǔ)空間，對臨時(shí)文件進(jìn)行存儲(chǔ)，為數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘過程提供輸入數(shù)據(jù)，同時(shí)輸出數(shù)據(jù)我們也保存在 HDFS 中。系統(tǒng)整體架構(gòu)如圖1所示。

2.2系統(tǒng)結(jié)構(gòu)模型

結(jié)合以上的基本設(shè)計(jì)思想以及典型的數(shù)據(jù)挖掘系統(tǒng)模型，采用分層的思想，自頂向下每層都透明的調(diào)用下層接口，最頂層為交互層，用于用戶和系統(tǒng)之間的交互。最底層為分布式計(jì)算層，使用 HADOOP 來實(shí)現(xiàn)文件分布式存儲(chǔ)和并行計(jì)算功能。使用分層，各層之間變得獨(dú)立，易于系統(tǒng)的擴(kuò)展。下面詳細(xì)介紹我們得到的基于 HADOOP 的數(shù)據(jù)存儲(chǔ)系統(tǒng)。如圖2所示。

1、交互層

提供系統(tǒng)和用戶之間的接口。通過提供具有良好表現(xiàn)形式的圖形界面，使得用戶可以登陸系統(tǒng)定制各種細(xì)粒度的業(yè)務(wù)，查看或者保存各種輸出結(jié)果。

交互層具有的模塊包括：

①用戶管理模塊：實(shí)現(xiàn)用戶身份的識(shí)別以及相應(yīng)權(quán)限的設(shè)置，同時(shí)也包括對用戶登陸或者注銷等常用的管理。

②業(yè)務(wù)展示模塊：實(shí)現(xiàn)用戶提交的各種業(yè)務(wù)，并對業(yè)務(wù)結(jié)果進(jìn)行查看，分析和保存等功能。用來將系統(tǒng)的返回結(jié)果交付給用戶。

2、業(yè)務(wù)應(yīng)用層

提供了各種業(yè)務(wù)邏輯并實(shí)現(xiàn)了對各種業(yè)務(wù)流程的控制和調(diào)度。用戶提交的業(yè)務(wù)在這一層被處理，控制和調(diào)度。

業(yè)務(wù)應(yīng)用層具有的模塊包括：

①用戶界面：用戶可以通過簡單應(yīng)用的操作界面工具，進(jìn)行海量數(shù)據(jù)處理存儲(chǔ)。

②業(yè)務(wù)響應(yīng)模塊：相應(yīng)上層的業(yè)務(wù)模塊，對完成業(yè)務(wù)所需的子業(yè)務(wù)進(jìn)行調(diào)用、管理，并通過調(diào)用底層模塊完成業(yè)務(wù)。

3、數(shù)據(jù)處理層

為業(yè)務(wù)應(yīng)用層提供數(shù)據(jù)挖掘階段業(yè)務(wù)流需要的各個(gè)模塊，并且具有較細(xì)的粒度。如數(shù)據(jù)預(yù)處理，模式評(píng)估，數(shù)據(jù)挖掘等組件。這一層是整個(gè)系統(tǒng)的核心，在這一層，主要的任務(wù)在于實(shí)現(xiàn)各種任務(wù)過程中算法的并行化，并將任務(wù)提交到 Hadoop 分布計(jì)算層進(jìn)行運(yùn)算。并將結(jié)果返回給業(yè)務(wù)應(yīng)用層。

數(shù)據(jù)處理層具有的模塊包括：

①系統(tǒng)管理模塊：對系統(tǒng)實(shí)現(xiàn)分布式管理。主要包括：負(fù)載平衡管理、系統(tǒng)日志管理、對象事務(wù)管理、系統(tǒng)遠(yuǎn)程部署管理等。

②數(shù)據(jù)加載模塊：將挖掘所需的數(shù)據(jù)進(jìn)行注冊并放入系統(tǒng)的 HDFS 文件系統(tǒng)。

③數(shù)據(jù)存儲(chǔ)模塊：提供對海量數(shù)據(jù)的并行加載、處理和存儲(chǔ)功能。將數(shù)據(jù)從其他外設(shè)中導(dǎo)入平臺(tái)的HDFS；并行ETL 模塊用來對HDFS中的原始數(shù)據(jù)進(jìn)行處理得到存儲(chǔ)數(shù)據(jù)；并行存儲(chǔ)模塊提供對處理后的數(shù)據(jù)進(jìn)行存儲(chǔ).

④并行查詢模塊：提供對海量數(shù)據(jù)的并行查詢、用戶自定義事務(wù)處理等功能。

⑤備份恢復(fù)模塊：提供對系統(tǒng)存儲(chǔ)數(shù)據(jù)的備份管理、備份存儲(chǔ)、備份恢復(fù)等功能，增強(qiáng)系統(tǒng)的安全

性和容錯(cuò)性。

⑥模式評(píng)估模塊：Hadoop 框架自身提供了 HDFS，MapReduce 運(yùn)行模式、運(yùn)算環(huán)境以及自動(dòng)管理。

4、分布式計(jì)算層

使用 HADOOP 框架來實(shí)現(xiàn)集群存儲(chǔ)、計(jì)算。Hadoop 提供了分布式文件系統(tǒng)和并行的運(yùn)行模式，同時(shí)實(shí)現(xiàn)了對分布式系統(tǒng)的管理。我們需要在此之上實(shí)現(xiàn)任務(wù)提交的 Server。

3總結(jié)

本文分析了對現(xiàn)階段基于云計(jì)算平臺(tái)實(shí)現(xiàn)的數(shù)據(jù)挖掘研究以及開源的集群框架Hadoop的研究現(xiàn)狀作了分析。并在此基礎(chǔ)上設(shè)計(jì)了基于Hadoop的數(shù)據(jù)存儲(chǔ)系統(tǒng)的基本架構(gòu)。采用以 Hadoop分布式平臺(tái)作為基礎(chǔ)，以 HDFS分布式文件系統(tǒng)和MapReduce 并行計(jì)算模型作為處理數(shù)據(jù)的方法。同時(shí)給出了系統(tǒng)的模型并簡要介紹了各個(gè)功能模塊。通過將數(shù)據(jù)挖掘技術(shù)與云計(jì)算時(shí)代下的集群框架 Hadoop結(jié)合起來，利用集群巨大的計(jì)算能力和存儲(chǔ)能力，從而實(shí)現(xiàn)對超大規(guī)模數(shù)據(jù)挖掘的性能提升。

參考文獻(xiàn)：

[1]維基百科 Apache Hadoop [EB/01] http：///wiki/Apache_Hadoop，2015

[2]Hadoop 技術(shù) [EB/01] http：/// ，2010

[3]朱珠. 基于 Hadoop 的海量數(shù)據(jù)處理模型研究和應(yīng)用[D].北京：北京郵電大學(xué)，2008.

[4]JeffreyDean， SanjayGhemawat. MapReduce： Symplified Data Processing on Large Clusters

[J].NewYork： ACM， 2008， 51（1）：107～113.

[5]韓家煒， 坎伯. 數(shù)據(jù)挖掘概念與技術(shù)[M]. 北京：機(jī)械工業(yè)出版社，2008.

[6]Dean J，Ghemawat S.MapReduce：Simplifier date processing on large munications of the ACM ，2008，51（1）：107-113

[7]B.Callaghan，B.Pawlowski，P. Staubach RFC 1813-NFS Version 3 Protocol Specification June 1995.

[8]Jeffrey Dean. Experiences with MapReduce， an abstraction for large-scale computation Proc.15th International Conference on Parallel Architectures and Compilation Techniques，2006：1.

[9]Yang Lai， Shi ZhongZhi. An Efficient Data Ming Framework on Hadoop using Java Persistence API. 2010 10th IEEE International Conference on Computer and Information Technology （CIT 2010）.

[10]Bhandarkar， M. MapReduce programming with apache Hadoop. Parallel & Distributed Processing （IPDPS）， 2010 IEEE International Symposium on， Atlanta， GA.

篇6

關(guān)鍵詞：軟件定義網(wǎng)絡(luò)；架構(gòu)；OpenFlow

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2013）13-3071-03

當(dāng)前，網(wǎng)絡(luò)已經(jīng)成為支撐現(xiàn)代社會(huì)發(fā)展以及技術(shù)進(jìn)步的重要基礎(chǔ)設(shè)施，它深深地改變了人們的生產(chǎn)、生活和學(xué)習(xí)方式；然而，傳統(tǒng)網(wǎng)絡(luò)架構(gòu)越來越不能滿足用戶的需求，網(wǎng)絡(luò)創(chuàng)新復(fù)雜困難。近年來，逐漸興起的軟件定義網(wǎng)絡(luò)（SDN） 正試圖打破這種僵局，它最終可能將取代現(xiàn)在不靈活且以硬件為中心的高速高性能多核處理網(wǎng)絡(luò)。一旦實(shí)現(xiàn)軟件定義網(wǎng)絡(luò)，網(wǎng)絡(luò)設(shè)備將配備軟件開發(fā)套件和開放API，從而實(shí)現(xiàn)全新的網(wǎng)絡(luò)應(yīng)用程序。

1 軟件定義網(wǎng)絡(luò)（SDN）的概念

軟件定義網(wǎng)絡(luò)，又稱為可編程網(wǎng)絡(luò)，就是將網(wǎng)絡(luò)設(shè)備配置平面從嵌入式節(jié)點(diǎn)獨(dú)立出來到軟件平臺(tái)、由軟件驅(qū)動(dòng)的中央控制節(jié)點(diǎn)自動(dòng)化控制的網(wǎng)絡(luò)架構(gòu)。軟件定義網(wǎng)絡(luò)以開放軟件模式替代傳統(tǒng)的基于嵌入系統(tǒng)的、不夠靈活的控制平面。軟件定義網(wǎng)絡(luò)是新的網(wǎng)絡(luò)控制平面實(shí)現(xiàn)方法，它適應(yīng)了降低網(wǎng)絡(luò)復(fù)雜度、虛擬化和云計(jì)算的網(wǎng)絡(luò)需求。它的發(fā)展對專有控制平面技術(shù)產(chǎn)生的破壞性創(chuàng)新，將對網(wǎng)絡(luò)變革產(chǎn)生巨大影響。控制平面和轉(zhuǎn)發(fā)平面分離，轉(zhuǎn)發(fā)平面特性專注而簡單，減少了設(shè)備硬件，降低了成本。

2 軟件定義網(wǎng)絡(luò)架構(gòu)分析

2.1 SDN架構(gòu)的特點(diǎn)

SDN 架構(gòu)分為三層，包括應(yīng)用層、控制層和基礎(chǔ)設(shè)施層。SDN 控制層是基于軟件的控制器，負(fù)責(zé)維護(hù)全局網(wǎng)絡(luò)視圖，并且向上層應(yīng)用提供用于實(shí)現(xiàn)網(wǎng)絡(luò)服務(wù)的可編程接口；應(yīng)用層運(yùn)行在控制層之上，通過控制層提供的全局網(wǎng)絡(luò)視圖，控制應(yīng)用程序可以把整個(gè)網(wǎng)絡(luò)定義成為一個(gè)邏輯的交換機(jī)，同時(shí)，利用控制器提供的應(yīng)用編程接口，網(wǎng)絡(luò)人員能夠靈活地編寫多種網(wǎng)絡(luò)應(yīng)用，如路由、多播、安全、接入控制等；基礎(chǔ)設(shè)施層位于控制層之下，通過控制數(shù)據(jù)平面接口與控制層相連，主要提供網(wǎng)絡(luò)設(shè)備硬件。

同時(shí)，SDN在進(jìn)行路徑選擇時(shí)更為靈活，從而為互聯(lián)網(wǎng)業(yè)務(wù)的部署及網(wǎng)絡(luò)優(yōu)化創(chuàng)造了有利條件。傳統(tǒng)路由協(xié)議能在一定程度上實(shí)現(xiàn)網(wǎng)絡(luò)流量的負(fù)載均衡，因?yàn)檫@類路由協(xié)議在選擇網(wǎng)絡(luò)路徑時(shí)，總是會(huì)盡量選擇比較空閑的鏈路而避開擁堵的鏈路。這類協(xié)議的好處是能提高鏈路的利用率，其缺點(diǎn)是不易對互聯(lián)網(wǎng)業(yè)務(wù)進(jìn)行優(yōu)先級(jí)管理。而SDN可以通過為業(yè)務(wù)流指派鏈路來方便地實(shí)現(xiàn)不同業(yè)務(wù)的優(yōu)先級(jí)管理。

2.2 OpenFlow架構(gòu)分析

這種控制和轉(zhuǎn)發(fā)分離的架構(gòu)對于L2交換設(shè)備而言，意味著MAC地址的學(xué)習(xí)由控制機(jī)來實(shí)現(xiàn)，V-LAN和基本的L3路由配置也由控制機(jī)下發(fā)給交換機(jī)。對于L3設(shè)備，各類IGP/EGP路由運(yùn)行在控制機(jī)之上，控制機(jī)根據(jù)需要下發(fā)給相應(yīng)的路由器。流表的下發(fā)可以是主動(dòng)的，也可以是被動(dòng)的，主動(dòng)模式下，控制機(jī)將自己收集的流表信息主動(dòng)下發(fā)給網(wǎng)絡(luò)設(shè)備，隨后網(wǎng)絡(luò)設(shè)備可以直接根據(jù)流表進(jìn)行轉(zhuǎn)發(fā)；被動(dòng)模式是指網(wǎng)絡(luò)設(shè)備收到一個(gè)報(bào)文沒有匹配的流查找表記錄時(shí)，將該報(bào)文轉(zhuǎn)發(fā)給控制機(jī)，由后者進(jìn)行決策該如何轉(zhuǎn)發(fā)，并下發(fā)相應(yīng)的流表。被動(dòng)模式的好處是網(wǎng)絡(luò)設(shè)備無需維護(hù)全部的流表，只有當(dāng)實(shí)際的流量產(chǎn)生時(shí)才向控制機(jī)獲取流表記錄并存儲(chǔ)，當(dāng)老化定時(shí)器超時(shí)后可以刪除相應(yīng)的流表，故可以大大節(jié)省空間。當(dāng)一個(gè)控制機(jī)同時(shí)控制多個(gè)交換機(jī)/路由器設(shè)備時(shí)，它們看起來就像一個(gè)大的邏輯交換機(jī)，各個(gè)交換機(jī)/路由器硬件就如同這個(gè)邏輯網(wǎng)絡(luò)設(shè)備的遠(yuǎn)程線卡。

3 軟件定義網(wǎng)絡(luò)應(yīng)用分析

SDN 能夠應(yīng)用于多種網(wǎng)絡(luò)環(huán)境，包括數(shù)據(jù)中心、企業(yè)網(wǎng)絡(luò)、云計(jì)算等。

首先，在云計(jì)算時(shí)代，在數(shù)據(jù)中心網(wǎng)絡(luò)環(huán)境中使用SDN，實(shí)現(xiàn)高彈性數(shù)據(jù)中心、優(yōu)化物理資源利用率，讓用戶能整合各種計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源，在數(shù)據(jù)中心內(nèi)部，利用SDN 的優(yōu)勢，可以有效地進(jìn)行數(shù)據(jù)中心的路徑優(yōu)化和負(fù)載均衡，提高數(shù)據(jù)中心資源利用率以及降低數(shù)據(jù)中心的能量消耗。另一方面，在多個(gè)數(shù)據(jù)中心之間利用SDN 網(wǎng)絡(luò)虛擬化技術(shù)以及邏輯上集中式的控制技術(shù)，可以輕松地實(shí)現(xiàn)應(yīng)用到虛擬專用網(wǎng)（VPN）的映射以及虛擬機(jī)的遷移，快速建立和運(yùn)營虛擬數(shù)據(jù)中心。

其次，軟件定義網(wǎng)絡(luò)能簡化大型企業(yè)網(wǎng)絡(luò)的管理。在企業(yè)網(wǎng)絡(luò)中利用SDN 技術(shù)，能夠極大地減輕網(wǎng)絡(luò)管理的復(fù)雜度，企業(yè)網(wǎng)絡(luò)管理人員只需要通過定義整網(wǎng)的管理策略就能夠直接對企業(yè)網(wǎng)絡(luò)進(jìn)行控制，而不需要進(jìn)行逐個(gè)設(shè)備的配置，提高了企業(yè)網(wǎng)絡(luò)的可靠性。

最后，軟件定義網(wǎng)絡(luò)能大大促進(jìn)云計(jì)算的發(fā)展，因?yàn)檐浖x網(wǎng)絡(luò)技術(shù)大大簡化了虛擬環(huán)境的資源分配。基于控制器的負(fù)載均衡應(yīng)用程序能夠利用控制器中關(guān)于各個(gè)網(wǎng)絡(luò)設(shè)備的大量容量信息，自動(dòng)地在虛擬機(jī)之間遷移工作負(fù)載。基于控制器的應(yīng)用程序與部署在虛擬機(jī)上的虛擬網(wǎng)絡(luò)服務(wù)設(shè)備很相似，但是與使用物理設(shè)備的常規(guī)模型相比，它們具有更高的可擴(kuò)展性、靈活性、效率和可管理性。

4 結(jié)論

通過控制與轉(zhuǎn)發(fā)的分離，軟件定義網(wǎng)絡(luò)能夠降低網(wǎng)絡(luò)管控的復(fù)雜度，提高網(wǎng)絡(luò)的可靠性及安全性，提供多種粒度的網(wǎng)絡(luò)控制。未來網(wǎng)絡(luò)將越來越依賴于軟件，軟件定義網(wǎng)絡(luò)這種新穎的、動(dòng)態(tài)的網(wǎng)絡(luò)架構(gòu)將得到更廣泛的應(yīng)用，進(jìn)而促進(jìn)網(wǎng)絡(luò)技術(shù)的不斷創(chuàng)新應(yīng)用。

參考文獻(xiàn)：

篇7

關(guān)鍵詞：云計(jì)算；Google；水利信息系統(tǒng)

中圖分類號(hào)：TP3文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1007-9599 (2012) 06-0000-02

一、云計(jì)算

美國國家技術(shù)與標(biāo)準(zhǔn)局（NIST）是這樣定義云計(jì)算的：云計(jì)算是對基于網(wǎng)絡(luò)的、可配置的共享計(jì)算資源池能夠方便地、按需地訪問的一種模式。所謂的共享計(jì)算資源池包括網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、應(yīng)用和服務(wù)。這個(gè)共享計(jì)算資源池，就是我們所說的“云”[1]。

從云計(jì)算服務(wù)的封裝方法上講，云計(jì)算可以提供三種類型的服務(wù)：IaaS（Infrastructure as a Service，基礎(chǔ)設(shè)施即服務(wù)）、PaaS（Platform as a service，平臺(tái)即服務(wù)）和SaaS（Software as a Service，軟件即服務(wù)）。

圖1-1 云計(jì)算的服務(wù)類型

如圖1-1所示，IaaS將虛擬化的計(jì)算資源直接按需提供給客戶；PaaS在虛擬化的云計(jì)算平臺(tái)上建立支持多種業(yè)務(wù)的應(yīng)用平臺(tái)，再將開發(fā)環(huán)境、運(yùn)行環(huán)境提供給客戶；SaaS在虛擬化的云計(jì)算平臺(tái)上提供按需定制和快速部署的應(yīng)用軟件服務(wù)。

二、Google云計(jì)算的關(guān)鍵技術(shù)

Google云計(jì)算技術(shù)的關(guān)鍵技術(shù)包括：分布式文件系統(tǒng)GFS、分布式編程模型MapReduce和分布式數(shù)據(jù)庫Bigtable等。其中，GFS提供了海量數(shù)據(jù)的高效存儲(chǔ)和訪問的能力，MapReduce提供了一種簡單、高效的海量數(shù)據(jù)的并行處理方法，Bigtable為海量數(shù)據(jù)的組織和管理提供了方便。

（一）GFS

Google文件系統(tǒng)（Google File System，GFS）是一個(gè)大型的分布式文件系統(tǒng)。它為Google云計(jì)算提供高效的海量數(shù)據(jù)存儲(chǔ)和訪問能力，GFS的系統(tǒng)結(jié)構(gòu)如圖2-1[2]所示，GFS將整個(gè)系統(tǒng)的節(jié)點(diǎn)分為三種角色：Client（客戶端）、Master（主服務(wù)器）和Chunk Server（數(shù)據(jù)塊服務(wù)器）：

圖2-1 GFS的系統(tǒng)結(jié)構(gòu)

如圖2-1所示，GFS系統(tǒng)為上層提供文件服務(wù)的過程是：Client首先訪問Master節(jié)點(diǎn)，獲得GFS分配的、將要為其服務(wù)的Chunk Server節(jié)點(diǎn)的信息，然后Client直接去訪問這些Chunk Server以完成數(shù)據(jù)的存取。

GFS的這種設(shè)計(jì)思想實(shí)現(xiàn)了數(shù)據(jù)流和控制流的分離。首先，Client與Master節(jié)點(diǎn)之間只有控制流，而沒有數(shù)據(jù)流，這就極大地降低了Master節(jié)點(diǎn)的負(fù)載；另外，Client與Chunk Server之間直接傳輸數(shù)據(jù)流，同時(shí)由于文件被分成多個(gè)Chunk進(jìn)行分布式存儲(chǔ)，Client可以同時(shí)訪問多個(gè)Chunk Server，從而使整個(gè)文件系統(tǒng)的I/O高度并行，系統(tǒng)的整體性能得以提高。

（二）MapReduce

MapReduce[3]是Google提出的一種提供海量數(shù)據(jù)處理的并行編程模型，用于對大規(guī)模的數(shù)據(jù)集（大于1TB）進(jìn)行并行處理。MapReduce的核心思想是將需要運(yùn)算的問題拆解成“Map（映射）”和“Reduce（化簡）”這樣兩個(gè)簡單的步驟來進(jìn)行處理，用戶只需要提供自己的編寫的Map函數(shù)和Reduce函數(shù)就可以在系統(tǒng)上進(jìn)行大規(guī)模的分布式數(shù)據(jù)處理。如圖2-2所示，是MapReduce的運(yùn)行模型，假設(shè)共有M個(gè)Map操作和R個(gè)Reduce操作。

（1）Map：一個(gè)Map操作就是對部分輸入的原始數(shù)據(jù)進(jìn)行指定的操作。每個(gè)Map操作都針對不同的原始數(shù)據(jù)，因此Map與Map之間是互相獨(dú)立的，從而實(shí)現(xiàn)并行化的處理。

（2）Reduce：一個(gè)Reduce操作就是對每個(gè)Map所產(chǎn)生的一部分中間結(jié)果進(jìn)行合并操作，每個(gè)Reduce所處理的Map中間結(jié)果是互不交叉的，所有Reduce產(chǎn)生的最終結(jié)果經(jīng)過簡單的連接就形成了完整的結(jié)果集，因此Reduce的執(zhí)行也是并行化的。

圖2-2 MapReduce的運(yùn)行模型

具體地，在使用MapReduce開發(fā)并行處理程序時(shí)，用戶需要編寫以下兩個(gè)函數(shù)：

（1）Map：(in_key，in_value){(keyj，valuej)|j=1…k}；

（2）Reduce：(key，[value1，…，valuem])(key，final_value)。

Map函數(shù)和Reduce函數(shù)的輸入?yún)?shù)和輸出結(jié)果根據(jù)具體應(yīng)用的不同而不同。Map的輸入?yún)?shù)是in_key和in_value，它表示了Map需要處理的原始數(shù)據(jù)。Map的輸出結(jié)果是一組對，這是經(jīng)過該Map操作后產(chǎn)生的中間結(jié)果。在進(jìn)行Reduce操作之前，系統(tǒng)已經(jīng)將所有Map產(chǎn)生的中間結(jié)果進(jìn)行了分類處理，使得相同key對應(yīng)的一系列value能夠集合在一起提供給一個(gè)Reduce進(jìn)行統(tǒng)一處理，則Reduce的輸入?yún)?shù)就是（key，[value1，…，valuem]）。Reduce的工作就是對這些對應(yīng)相同key的value值進(jìn)行歸并處理，最終形成（key，final_value）的結(jié)果。這樣，一個(gè)Reduce就處理了一個(gè)key，所有Reduce的結(jié)果合并在一起就是問題的最終運(yùn)算結(jié)果。上述過程中，無論是各個(gè)Map還是各個(gè)Reduce，都是并行執(zhí)行的。

（三）Bigtable

Bigtable[5]是Google開發(fā)的，以GFS、MapReduce、Chubby為基礎(chǔ)的分布式存儲(chǔ)系統(tǒng)。

如圖2-3所示，是Bigtable的基本架構(gòu)。其中，Google WorkQueue是一個(gè)分布式的任務(wù)調(diào)度器，主要用來處理分布式系統(tǒng)的隊(duì)列分組和任務(wù)調(diào)度。

圖2-3 Bigtable基本架構(gòu)

如圖2-3所示，邏輯上，Bigtable主要由三個(gè)部分組成：客戶端程序庫（Client Library）、一個(gè)主服務(wù)器（Master Server）和多個(gè)子表服務(wù)器（Tablet Server）。客戶端需要訪問Bigtable的服務(wù)時(shí)，首先要使用其庫函數(shù)執(zhí)行Open()操作，通過Chubby打開一個(gè)鎖（即獲取文件目錄），鎖打開以后客戶端就即可和子表服務(wù)器進(jìn)行通信。

三、基于Google云計(jì)算的水利信息系統(tǒng)

（一）水利信息系統(tǒng)的特點(diǎn)

水利信息系統(tǒng)的業(yè)務(wù)管理范圍較廣，主要包括水雨情信息、汛旱災(zāi)情信息、水量水質(zhì)信息、水環(huán)境信息等。系統(tǒng)規(guī)模較為龐大，各個(gè)模塊之間存在著較大的信息關(guān)聯(lián)性，同時(shí)要處理圖形數(shù)據(jù)和常規(guī)數(shù)據(jù)，還需要保證海量數(shù)據(jù)的準(zhǔn)確性和及時(shí)性。云計(jì)算作為一種新的技術(shù)提供了更高的效率、巨大的可擴(kuò)展性和更快、更容易的軟件開發(fā)。因此，水利信息系統(tǒng)需要云計(jì)算。

（二）基于Google云計(jì)算構(gòu)建水利信息系統(tǒng)

基于Google云計(jì)算的水利信息系統(tǒng)總體框架包括物理資源層、虛擬化支持層、服務(wù)管理層、信息資源層、應(yīng)用層、表現(xiàn)層六個(gè)層面，見圖3-1，主要為政府、企業(yè)、公眾提供服務(wù)。

圖3-1基于Google云計(jì)算的水利信息系統(tǒng)總體框架

Google云計(jì)算關(guān)鍵技術(shù)在構(gòu)建水利信息系統(tǒng)時(shí)可以從以下幾個(gè)方面得以應(yīng)用：

1.編程模型

MapReduce是Google開發(fā)的java、Python、C++編程模型，它是一種簡化的分布式編程模型和高效的任務(wù)調(diào)度模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。嚴(yán)格的編程模型使云計(jì)算環(huán)境下的水利信息系統(tǒng)編程十分簡單。

2.海量數(shù)據(jù)分布存儲(chǔ)技術(shù)

水利信息系統(tǒng)數(shù)據(jù)量大，其存儲(chǔ)由大量服務(wù)器組成，同時(shí)為大量用戶服務(wù)，因此系統(tǒng)采用分布式存儲(chǔ)的方式存儲(chǔ)數(shù)據(jù)，用冗余存儲(chǔ)的方式保證數(shù)據(jù)的可靠性。在水利信息系統(tǒng)云計(jì)算系統(tǒng)中可采用GFS和Hadoop團(tuán)隊(duì)開發(fā)的GFS的開源實(shí)現(xiàn)HDFS。所有數(shù)據(jù)方面的通信都直接和塊服務(wù)器聯(lián)系，這大大提高了系統(tǒng)的效率，防止主服務(wù)器負(fù)載過重。

3.海量數(shù)據(jù)管理技術(shù)

水利信息系統(tǒng)需要對分布的、海量的數(shù)據(jù)進(jìn)行處理、分析，因此，數(shù)據(jù)管理技術(shù)必需能夠高效的管理大量的數(shù)據(jù)。因此在水利信息系統(tǒng)中的數(shù)據(jù)管理技術(shù)可以采用BT(BigTable)數(shù)據(jù)管理技術(shù)和Hadoop團(tuán)隊(duì)開發(fā)的開源數(shù)據(jù)管理模塊HBase，提供靈活高效的服務(wù)。

4.虛擬化技術(shù)

在水利信息系統(tǒng)框架中的虛擬化支持層采用虛擬化技術(shù)實(shí)現(xiàn)軟件應(yīng)用與底層硬件相隔離，它包括將單個(gè)資源劃分成多個(gè)虛擬資源的裂分模式，也包括將多個(gè)資源整合成一個(gè)虛擬資源的聚合模式。

5.云計(jì)算平臺(tái)管理技術(shù)

基于云計(jì)算的水利信息系統(tǒng)資源規(guī)模龐大，服務(wù)器數(shù)量眾多并分布在不同的地點(diǎn)，同時(shí)運(yùn)行著數(shù)百種應(yīng)用，Google云計(jì)算系統(tǒng)的平臺(tái)管理技術(shù)能夠使大量的服務(wù)器協(xié)同工作，方便的進(jìn)行業(yè)務(wù)部署和開通，快速發(fā)現(xiàn)和恢復(fù)系統(tǒng)故障，通過自動(dòng)化、智能化的手段實(shí)現(xiàn)大規(guī)模系統(tǒng)的可靠運(yùn)營。

（三）基于Google云計(jì)算的水利信息系統(tǒng)的優(yōu)勢和不足

基于Google云計(jì)算的水利信息系統(tǒng)與傳統(tǒng)水利信息系統(tǒng)相比有很多優(yōu)點(diǎn)：

（1）成本低。由于應(yīng)用程序在云中，故各終端電腦并不需要傳統(tǒng)的桌面軟件所要求的處理能力和硬盤空間。

（2）性能高和計(jì)算能力強(qiáng)。在云計(jì)算中，用戶計(jì)算機(jī)的啟和運(yùn)行速度將會(huì)更快，因?yàn)樗麄冎恍鑼⑸倭康某绦蚝瓦M(jìn)程加載到內(nèi)存中。云計(jì)算使用了數(shù)據(jù)副本容錯(cuò)、計(jì)算節(jié)點(diǎn)同構(gòu)可互換等措施來保障服務(wù)的可靠性，使云計(jì)算比本地計(jì)算機(jī)更可靠。

（3）存儲(chǔ)容量大和數(shù)據(jù)高效安全。所有數(shù)據(jù)存儲(chǔ)在云中，容量比現(xiàn)有的臺(tái)式機(jī)或筆記本電腦大很多。此外，云計(jì)算在一定程度上保持了數(shù)據(jù)的安全性。

（4）兼容性和群組織間的協(xié)作較強(qiáng)。云計(jì)算不針對特定的應(yīng)用，在云的支撐下可以構(gòu)造出各種應(yīng)用，增強(qiáng)了多用戶間的協(xié)作能力。

（5）擴(kuò)展性強(qiáng)及用戶使用方便。云的規(guī)模可以根據(jù)實(shí)際情況進(jìn)行伸縮，滿足用戶和應(yīng)用增長的需求。同時(shí)也消除了用戶對特定設(shè)備的依賴。

由于云計(jì)算計(jì)算本身還有很多需要改進(jìn)的問題，例如需要持久的網(wǎng)絡(luò)連接。利用云計(jì)算，必須鏈接到因特網(wǎng)上才能利用自己的應(yīng)用和文檔，失效的網(wǎng)絡(luò)連接就意味著用戶在此期間內(nèi)不能工作及訪問云中的內(nèi)容。一些因特網(wǎng)連接很少或本身不穩(wěn)定的地區(qū)，也是可能影響云計(jì)算使用的決定性因素[6]。

參考文獻(xiàn)：

[1]劉鵬.云計(jì)算[M].北京:電子工業(yè)出版社,2010

[2]Sanjay Ghemawat,Howard Gobioff,Shun-Tak Leung.The Google File System[A].SOSP'03[C].Bolton Landing,NY,USA: ACM,2003:29-43

[3]Jeffrey Dean,Sanjay Ghemawant.MapReduce:Simplified Data Processing on Large Clusters[J].Communications of the ACM,2008,51(1):107-113

[4]Mike Burrows.The Chubby lock service for loosely-coupled distributed systems[A].OSDI’06[C].CA,USA:USENIX Association Berkeley,2006:335-350

[5]Chang F,Dean J,Ghemawant S,et al.Bigtable:a distributed storage system for structured data[J].ACM Trans ComputSyst,2008,26(2):1-26

篇8

關(guān)鍵詞:結(jié)構(gòu)強(qiáng)度; 軟件平臺(tái); 應(yīng)力計(jì)算; 強(qiáng)度計(jì)算; CAESAM; StrenBox

中圖分類號(hào):U215;TB115文獻(xiàn)標(biāo)志碼:A

Method and application of StrenBox-automatical calculation

software platform of structural strength

MU Quanchen1, LI Xiaopeng2, YU Hualong1

(1. Samtech S.A Beijing Representative Office, Beijing 100022, China;

2. Xi’an Aircraft Design & Research Academy, Xi’an 710089, China)

Abstract: To improve the efficiency and enhance the cooperativity and inheritance of structural strength calculation work, the automatical calculation platform of structural strength which is named as StrenBox is built up. Its theory and method is illustrated and the calculation process is shown through an industrial application example on part of an aircraft fuselage. Based on the present status of strength calculation, the further work on automatical calculation platform of structural strength is forecasted.

Key words: structural strength; software platform; stress calculation; strength calculation; CAESAM; StrenBox

收稿日期:2009-05-21

作者簡介: 牟全臣(1968―),男,黑龍江哈爾濱人,博士,研究方向?yàn)橛邢拊治?(E-mail).cn

0引言

隨著飛機(jī)等結(jié)構(gòu)強(qiáng)度計(jì)算工作的深入,其工作量、效率和協(xié)作等問題得到越來越廣泛的認(rèn)識(shí)和關(guān)注,從客觀上促進(jìn)結(jié)構(gòu)強(qiáng)度自動(dòng)化計(jì)算平臺(tái)的設(shè)想和構(gòu)建. 在飛機(jī)和火箭的結(jié)構(gòu)設(shè)計(jì)中,包括靜強(qiáng)度、動(dòng)強(qiáng)度、疲勞和損傷容限等強(qiáng)度設(shè)計(jì)過程,大體可分為應(yīng)力計(jì)算和強(qiáng)度計(jì)算兩部分工作. 前者根據(jù)結(jié)構(gòu)的幾何、材料和載荷等數(shù)據(jù)構(gòu)筑有限元模型,并應(yīng)用通用CAE軟件計(jì)算結(jié)構(gòu)的應(yīng)力(內(nèi)力)得到應(yīng)力分析結(jié)果;后者用應(yīng)力分析結(jié)果,根據(jù)結(jié)構(gòu)實(shí)際工作狀態(tài),引用行業(yè)強(qiáng)度標(biāo)準(zhǔn)、規(guī)范和判據(jù)進(jìn)行強(qiáng)度計(jì)算,得到計(jì)算結(jié)果,并據(jù)此得到結(jié)構(gòu)強(qiáng)度的結(jié)論,完成強(qiáng)度校核工作. 近年來,應(yīng)力分析工具得到長足發(fā)展,應(yīng)力計(jì)算工作的效率明顯提高,但由于需要結(jié)合各行業(yè)用戶不同的方法和要求,具有很強(qiáng)的特殊性,強(qiáng)度計(jì)算工作的效率仍很受限制. 有經(jīng)驗(yàn)表明,對機(jī)等復(fù)雜結(jié)構(gòu),強(qiáng)度計(jì)算在單一強(qiáng)度校核流程中所占的工作量比例在70%以上. 因此,構(gòu)建結(jié)構(gòu)強(qiáng)度自動(dòng)化計(jì)算平臺(tái)的首要目的就是通過行業(yè)用戶特殊方法(包括行業(yè)標(biāo)準(zhǔn)、規(guī)范和判據(jù)等)的軟件化,縮減強(qiáng)度計(jì)算的工作量,提高計(jì)算效率.

為適應(yīng)大規(guī)模結(jié)構(gòu)設(shè)計(jì)的要求,規(guī)范強(qiáng)度校核流程和加強(qiáng)設(shè)計(jì)人員間的協(xié)作成為當(dāng)務(wù)之急. 這為強(qiáng)度計(jì)算平臺(tái)的構(gòu)建提供客觀需求. 依靠結(jié)構(gòu)強(qiáng)度自動(dòng)化計(jì)算平臺(tái),有望從根本上解決長期困擾強(qiáng)度分析人員的任務(wù)管理、數(shù)據(jù)管理和版本控制等問題. 應(yīng)該指出,該平臺(tái)的建設(shè)是項(xiàng)復(fù)雜的系統(tǒng)工程,除框架的構(gòu)建和完善外,更主要的任務(wù)是總結(jié)和集成用戶數(shù)據(jù)和方法.對機(jī)結(jié)構(gòu)而言,強(qiáng)度計(jì)算平臺(tái)需要處理大量的材料特性、截面特性、載荷理論或?qū)嶒?yàn)數(shù)據(jù),并且有針對性地研究靜強(qiáng)度、復(fù)合材料、疲勞和損傷容限等分析方法.

在國際知名的結(jié)構(gòu)強(qiáng)度自動(dòng)化計(jì)算平臺(tái)中,比較成熟和取得成功工業(yè)應(yīng)用的是空客的ISAMI軟件系統(tǒng),它是比利時(shí)SAMTECH有限公司的CAESAM平臺(tái)框架、空客的數(shù)據(jù)庫以及空客方法庫的有機(jī)集成平臺(tái). 伴隨中國航空工業(yè)的快速發(fā)展,以大飛機(jī)等為標(biāo)志的項(xiàng)目客觀上迫切需要建立自主的強(qiáng)度計(jì)算平臺(tái)以改善目前的強(qiáng)度分析流程、縮短設(shè)計(jì)周期、優(yōu)化結(jié)構(gòu)性能. 同樣借助于CAESAM平臺(tái)框架的StrenBox飛機(jī)結(jié)構(gòu)強(qiáng)度自動(dòng)化計(jì)算軟件系統(tǒng)是SAMTECH公司與國內(nèi)重要飛機(jī)設(shè)計(jì)研究機(jī)構(gòu)合作的成果. 它汲取ISAMI系統(tǒng)的開發(fā)經(jīng)驗(yàn),結(jié)合國內(nèi)的數(shù)據(jù)、方法和規(guī)范,形成完整的強(qiáng)度自動(dòng)化校核體系. 該軟件目前在某些型號(hào)的飛機(jī)上已得到初步應(yīng)用,其有效性也得到初步證實(shí). 隨著開發(fā)和維護(hù)升級(jí)工作的深入展開,其全面推廣和廣泛應(yīng)用指日可待.

1StrenBox平臺(tái)

目前飛機(jī)結(jié)構(gòu)應(yīng)力計(jì)算多采用MSC Nastran進(jìn)行,其應(yīng)力計(jì)算模型為bdf文件,包含結(jié)構(gòu)的單元、特性、材料和載荷等信息,輸出為OP2文件,包含位移、內(nèi)力和應(yīng)力等信息;強(qiáng)度計(jì)算需要在StrenBox平臺(tái)環(huán)境中進(jìn)行,其模型(有時(shí)也稱為廣義應(yīng)力模型(General Finite Element Model,GFEM))以czm文件格式存儲(chǔ),它除包含上述應(yīng)力計(jì)算和結(jié)果的信息外,還要包含應(yīng)力單元與結(jié)構(gòu)單元(Structural Element, SE)的對應(yīng)關(guān)系,工程特性(Engineering Object, EO)的截面和材料特性初值等信息.

應(yīng)力計(jì)算模型和強(qiáng)度計(jì)算模型的關(guān)系見圖1. 兩者的區(qū)別可以概括為:(1)后者除包含應(yīng)力計(jì)算模型的信息外還包含其結(jié)果信息;(2)1個(gè)SE可以對應(yīng)1個(gè)或多個(gè)應(yīng)力計(jì)算單元;(3)強(qiáng)度計(jì)算模型的EO包含如截面積、楊氏彈性模量和破壞強(qiáng)度等應(yīng)力計(jì)算模型的EO,還應(yīng)包含界面型材類型和參數(shù),材料屈服參數(shù)及鉚釘連接特性等必需的強(qiáng)度計(jì)算信息;(4)強(qiáng)度計(jì)算模型可以對應(yīng)應(yīng)力計(jì)算模型的全部或部分.

圖 1應(yīng)力計(jì)算模型和強(qiáng)度計(jì)算模型之間的關(guān)系

在完成應(yīng)力計(jì)算模型和強(qiáng)度計(jì)算模型的建模后,可以構(gòu)筑完整的強(qiáng)度設(shè)計(jì)流程,其過程見圖2.

圖 2基于StrenBox平臺(tái)的結(jié)構(gòu)強(qiáng)度設(shè)計(jì)流程

在整個(gè)流程中,有兩個(gè)循環(huán):(1)涉及細(xì)節(jié)結(jié)構(gòu)參數(shù)修改的強(qiáng)度計(jì)算循環(huán),也稱為“小循環(huán)”;(2)涉及全局結(jié)構(gòu)參數(shù)修改的應(yīng)力計(jì)算循環(huán),也稱為“大循環(huán)”. 前者的前提假設(shè)是局部結(jié)構(gòu)參數(shù)修改不影響整體內(nèi)力分布,這已為工程實(shí)踐所證實(shí). 兩種循環(huán)互相嵌套,可以實(shí)現(xiàn)結(jié)構(gòu)強(qiáng)度的快速和多輪次計(jì)算,為基于強(qiáng)度的結(jié)構(gòu)優(yōu)化設(shè)計(jì)奠定基礎(chǔ). 從圖2可知,StrenBox完成所有的強(qiáng)度計(jì)算循環(huán)工作,并通過應(yīng)力模型自動(dòng)修改功能,為“大循環(huán)”提供隨時(shí)更新的有限元模型. 實(shí)際的應(yīng)力計(jì)算可以在其他通用的有限元分析軟件如MSC Nastran中進(jìn)行.

作為軟件,StrenBox的上述各項(xiàng)功能通過各個(gè)模塊實(shí)現(xiàn),子模塊及功能框圖見圖3.

圖 3StrenBox平臺(tái)的模塊及功能

在各個(gè)模塊中,CAESAM界面環(huán)境提供用戶操作的基本架構(gòu),SDK二次開發(fā)包提供在這個(gè)基本架構(gòu)上實(shí)現(xiàn)用戶化集成開發(fā)的工具.

鑒于強(qiáng)度計(jì)算模型的復(fù)雜性,建模模塊提供手工和自動(dòng)的強(qiáng)度計(jì)算模型生成功能,可以方便地由有限元模型和結(jié)果生成SE和EO等輸入文件和czm格式的強(qiáng)度計(jì)算模型;建模模塊還提供應(yīng)力模型更新功能,這對實(shí)現(xiàn)圖2中以應(yīng)力重新計(jì)算為標(biāo)志的“大循環(huán)”至關(guān)重要.

實(shí)現(xiàn)強(qiáng)度計(jì)算的重要前提是引入和調(diào)用強(qiáng)度判據(jù),這是強(qiáng)度判據(jù)插件模塊的功能. 目前StrenBox平臺(tái)已集成金屬材料機(jī)身和機(jī)(尾)翼結(jié)構(gòu)的大部分靜強(qiáng)度判據(jù),包括破壞準(zhǔn)則、屈曲失效準(zhǔn)則和后屈曲失效準(zhǔn)則等. 各準(zhǔn)則中分別包含眾多的針對長桁、腹板和框(翼肋)的特殊失效模式,如框彎曲破壞、長桁壓損、腹板張力場失效和加筋壁板柱失穩(wěn)失效等,共計(jì)50余種.

在進(jìn)行強(qiáng)度計(jì)算時(shí),需調(diào)用材料、截面特性、鉚釘和曲線等庫參數(shù),這要用到數(shù)據(jù)庫模塊的功能. 目前,StrenBox已附加國內(nèi)外大部分常用金屬材料的力學(xué)性能數(shù)據(jù),包括鋁合金、鋼和鈦合金等,以及多種標(biāo)準(zhǔn)型材數(shù)據(jù),包括“L”型材、“T”型材、“帽”型材等. 數(shù)據(jù)庫模塊還附加常用鉚釘和螺栓等的力學(xué)特性,為連接結(jié)構(gòu)分析提供數(shù)據(jù). 在實(shí)際計(jì)算中會(huì)用到大量工程曲線,這些曲線構(gòu)成曲線庫,方便強(qiáng)度判據(jù)插件模塊的隨時(shí)調(diào)用. 另外,考慮到用戶可能需要現(xiàn)有庫參數(shù)以外的數(shù)據(jù),或用戶希望建立由常用參數(shù)構(gòu)成自己的數(shù)據(jù)庫系統(tǒng),程序提供用戶自定義數(shù)據(jù)庫功能.

最后,為便于模型的統(tǒng)一和強(qiáng)度分析工作的協(xié)同,StrenBox平臺(tái)還構(gòu)建任務(wù)和數(shù)據(jù)管理系統(tǒng),對強(qiáng)度計(jì)算工作在系統(tǒng)管理、任務(wù)管理、數(shù)據(jù)管理和版本控制等方面給出解決方案.

2StrenBox平臺(tái)的應(yīng)用實(shí)例

以某機(jī)身艙段為例介紹StrenBox進(jìn)行強(qiáng)度計(jì)算的過程和實(shí)例.

2.1強(qiáng)度模型建模

進(jìn)行強(qiáng)度分析的首要任務(wù)是生成強(qiáng)度計(jì)算模型,其過程見圖4,大致為:選擇和導(dǎo)入應(yīng)力計(jì)算模型(有限元模型);選擇生成強(qiáng)度計(jì)算單元的位置和類型;生成強(qiáng)度計(jì)算模型.

圖 4強(qiáng)度計(jì)算模型生成過程

為方便后面的批量分析計(jì)算,可以針對不同部件或不同分析類型,定義不同單元分組,如普通框、長桁、壁板和地板等,可以基于以上分組進(jìn)行以后的強(qiáng)度計(jì)算. 機(jī)身艙段模型分組見圖5.圖 5機(jī)身艙段模型分組

2.2強(qiáng)度計(jì)算

用強(qiáng)度計(jì)算模型,可以進(jìn)行強(qiáng)度計(jì)算,其過程見圖6.

圖 6強(qiáng)度計(jì)算過程及界面操作

圖 7加筋板單元

結(jié)構(gòu)形式

強(qiáng)度計(jì)算的基本步驟可總結(jié)為:

(1)定義分析的單元或分組. 本例分析機(jī)身艙段的整個(gè)機(jī)身壁板,其SE為加筋板,見圖7. 本例的計(jì)算單元共計(jì)452個(gè).

(2)定義或修改材料、截面或鉚釘?shù)忍匦? 本例中,蒙皮材料采用2024-T3鋁合金,長桁采用7075-T761鋁合金,框截面采用“Z”型材,長桁截面采用“L”型材.

(3)定義分析類型,亦即強(qiáng)度判據(jù). 本例對蒙皮加筋壁板結(jié)構(gòu)進(jìn)行柱失穩(wěn)計(jì)算,因此采用“Column Buckling Failure for Stiffened Panel”的強(qiáng)度判據(jù). 根據(jù)軟件的幫助文檔可以知道,該分析判據(jù)采用Johnson-Euler公式計(jì)算加筋板結(jié)構(gòu)柱失穩(wěn)失效的許用應(yīng)力,對比實(shí)際工作應(yīng)力,可以得到該失效模式實(shí)際結(jié)構(gòu)的安全裕度. Johnson-Euler公式的形式為σc=σcrip-σ2crip4π2Estl′ρ2(4)定義載荷工況. 本例中考慮氣動(dòng)載荷、慣性載荷和結(jié)構(gòu)載荷在內(nèi)的21種載荷工況.

(4)執(zhí)行分析計(jì)算. 本例分析計(jì)算時(shí)間為83 s.

2.3計(jì)算結(jié)果后處理

強(qiáng)度計(jì)算結(jié)束后就可以對計(jì)算結(jié)果進(jìn)行處理和顯示,得到用戶需要的關(guān)鍵數(shù)據(jù)和結(jié)果. 后處理結(jié)果分為云圖和表格兩類,見圖8. 云圖可以顯示工作應(yīng)力,許用應(yīng)力、安全裕度或其他計(jì)算參數(shù)的分布. 表格則可以顯示所有單元針對不同載荷工況的各種計(jì)算結(jié)果,也可以匯總特定單元不同載荷工況的計(jì)算結(jié)果.

圖 8結(jié)果后處理:表格和云圖

2.4報(bào)告生成

根據(jù)強(qiáng)度計(jì)算結(jié)果,可以匯總成強(qiáng)度計(jì)算報(bào)告. 在形成報(bào)告之前,需要用戶提供報(bào)告模板,以定義首頁、扉頁、目錄以及各個(gè)章節(jié)的格式和要求,StrenBox可以方便地提供在這些格式的框架內(nèi)附加文字內(nèi)容、圖片和表格的功能,見圖9.

圖 9報(bào)告模板和形式

2.5應(yīng)力模型更新

在強(qiáng)度計(jì)算之后,用戶可對結(jié)構(gòu)的安全性、可靠性和經(jīng)濟(jì)性進(jìn)行評(píng)估,根據(jù)評(píng)估結(jié)果決定設(shè)計(jì)參數(shù)更改和優(yōu)化設(shè)計(jì)方案. 如前所述,如果更改參數(shù)數(shù)量積累到一定程度,需更改有限元模型并重新進(jìn)行應(yīng)力計(jì)算. StrenBox提供匯總模型參數(shù)更改內(nèi)容,并最終自動(dòng)更新應(yīng)力計(jì)算模型(有限元模型)的功能,并對更改情況進(jìn)行有效的監(jiān)測和跟蹤,見圖10.圖 10應(yīng)力模型更新和其版本控制

3進(jìn)一步工作

應(yīng)該指出,鑒于強(qiáng)度分析工作的復(fù)雜性,StrenBox強(qiáng)度自動(dòng)化計(jì)算平臺(tái)目前完成的是基礎(chǔ)框架性工作和針對金屬桿板結(jié)構(gòu)的靜強(qiáng)度計(jì)算,所以功能的拓展和完善將是一項(xiàng)長期的工作,需要持續(xù)不斷的努力. 目前可預(yù)測的進(jìn)一步工作包括:將批處理功能用于強(qiáng)度計(jì)算過程,以加快強(qiáng)度計(jì)算循環(huán)效率;氣動(dòng)網(wǎng)格與有限元網(wǎng)格的自動(dòng)匹配;單位載荷方法計(jì)算結(jié)構(gòu)的靜強(qiáng)度;通過子單元和子結(jié)構(gòu)方法實(shí)現(xiàn)接頭或開口等局部細(xì)節(jié)模型與整個(gè)機(jī)身(或機(jī)翼)結(jié)構(gòu)的整體模型的融合和互相驅(qū)動(dòng);任務(wù)和項(xiàng)目管理的進(jìn)一步實(shí)用化;復(fù)合材料結(jié)構(gòu)分析;疲勞和損傷容限分析等.

篇9

關(guān)鍵詞：CAPWAP協(xié)議；系統(tǒng)架構(gòu)；平臺(tái)搭建；測試結(jié)果；網(wǎng)絡(luò)性能

中圖分類號(hào)： TP393.04

文獻(xiàn)標(biāo)志碼：A

Abstract：

In view of maintenance difficulties and high cost in largescale development of Wireless Local Access Network （WLAN）， the Control and Provisioning of Wireless Access Points （CAPWAP） protocol that applied to communication between Access Controller （AC） and Wireless Terminator Point （WTP） was researched and implemented. In Linux environment， main features were realized， such as state machine management， and WTP centralized configuration. A platform of WLAN centralized management system based on local Medium Access Control （MAC） framework was built up. Wireshark capture tool， Chariot and Iperf were used to test the platform. The capture test results verify the feasibility of the framework， and the results of throughput and User Datagram Protocol （UDP） test also show that network performance is efficient and stable.

Key words： Control and Provisioning of Wireless Access Points （CAPWAP） protocol； system architecture； platform construction； testing result； network performance

0引言

隨著通信技術(shù)的發(fā)展和智能化技術(shù)的推進(jìn)，人們對移動(dòng)網(wǎng)絡(luò)的依賴性提高，大規(guī)模部署無線局域網(wǎng)（Wireless Local Access Network， WLAN）將成為必然趨勢。發(fā)展初期，傳統(tǒng)的WLAN中“胖”接入點(diǎn)（Access Point， AP）集成度高，對硬件要求也高，后期維護(hù)的弊端凸顯。隨之，集中管理式的WLAN架構(gòu)成為了研究熱點(diǎn)。集中式WLAN架構(gòu)中的無線終端（Wireless Terminator Point， WTP）通過接入控制器（Access Controller， AC）進(jìn)行統(tǒng)一配置管理，把用戶流量進(jìn)行橋接、轉(zhuǎn)發(fā)和加密，提高了WLAN的性能。文獻(xiàn)[1]詳細(xì)分析了CAPWAP（Control and Provisioning of Wireless Access Points）協(xié)議的基本原理和架構(gòu)，搭建簡單的實(shí)驗(yàn)平臺(tái)，對WLAN網(wǎng)絡(luò)中負(fù)載均衡等性能進(jìn)行測試；文獻(xiàn)[2]中將CAPWAP協(xié)議應(yīng)用于某一通信設(shè)備上，實(shí)現(xiàn)了輕型接入點(diǎn)協(xié)議（LightWeight Access Point Protocol， LWAPP）協(xié)議和CAPWAP協(xié)議兼容，構(gòu)建報(bào)文分片攻擊模型；文獻(xiàn)[3]中搭建了數(shù)據(jù)隧道和控制隧道以實(shí)現(xiàn)一體化交換機(jī)管理和控制無線終端；文獻(xiàn)[4]中設(shè)計(jì)了CAPWAP客戶端的多線程信息采集和上報(bào)的方案，以實(shí)現(xiàn)無線接入點(diǎn)的管理。

本文基于CAPWAP協(xié)議的研究的基礎(chǔ)上，在Linux操作系統(tǒng)下實(shí)現(xiàn)了CAPWAP協(xié)議的本地轉(zhuǎn)發(fā)架構(gòu)的WLAN集中管理系統(tǒng)并進(jìn)行了測試，測試結(jié)果驗(yàn)證了其正確性與可靠性。

1CAPWAP協(xié)議

Internet工程任務(wù)組（Internet Engineering Task Force， IETF）在2005年成立了CAPWAP工作組標(biāo)準(zhǔn)化WTP和AC間的隧道協(xié)議。2009年4月，了描述CAPWAP協(xié)議的RFC 5415（Request For Comments 5415）[5]文件以及只支持CAPWAP協(xié)議的Binding協(xié)議文件（RFC 5416）[6]。

1.1功能概述

CAPWAP協(xié)議的基本功能可以分為4大模塊：

1）狀態(tài)機(jī)管理模塊。解析狀態(tài)機(jī)事件，實(shí)現(xiàn)狀態(tài)遷移和驅(qū)動(dòng)，以及狀態(tài)機(jī)管理。

2）報(bào)文管理模塊。實(shí)現(xiàn)AC與WTP和STA之間傳遞的報(bào)文的解析與轉(zhuǎn)發(fā)。

3）分片重組模塊。對超過最大傳輸單元（Maximum Transmission Unit， MTU）的長度的報(bào)文進(jìn)行分片，對收到的分片進(jìn)行重組。

4）隧道保活模塊。快速檢測對端是否運(yùn)行正常，控制通道是否順暢，依靠Echo進(jìn)行保活。

1.2系統(tǒng)架構(gòu)

CAPWAP協(xié)議有兩種模式：分離MAC（Medium Access Control）和本地MAC[1]11-12，[7]。

1）分離MAC（Split MAC）。分離模式下所有二層的無線數(shù)據(jù)和管理幀都會(huì)被CAPWAP協(xié)議封裝變成802.3類型的數(shù)據(jù)，首先在WTP端在無線幀前面加上802.3幀，然后在隧道中傳輸過程時(shí)再加上CAPWAP頭。

2）本地MAC（Local MAC）。本地轉(zhuǎn)發(fā)模式允許數(shù)據(jù)幀可以用本地橋或者使用802.3的幀形式用隧道轉(zhuǎn)發(fā)。如果是本地橋轉(zhuǎn)發(fā)，STA傳過來的業(yè)務(wù)數(shù)據(jù)不經(jīng)過AC處理直接轉(zhuǎn)發(fā)出去，AC只處理控制數(shù)據(jù)。

Local MAC與Split MAC主要的區(qū)別在于對無線幀的處理，根據(jù)802.11協(xié)議定義，802.11無線幀分為控制幀、管理幀和數(shù)據(jù)幀。控制幀在Local MAC和Split MAC架構(gòu)下都是在WTP端進(jìn)行處理；管理幀，Local MAC架構(gòu)下在WTP或者AC端處理，Split MAC架構(gòu)下將其中實(shí)時(shí)部分放在WTP端處理，非實(shí)時(shí)部分放在AC端進(jìn)行處理；數(shù)據(jù)幀，Local MAC架構(gòu)下在WTP轉(zhuǎn)變?yōu)?02.3幀進(jìn)行傳輸，Split MAC架構(gòu)下，802.11數(shù)據(jù)幀透傳至AC端進(jìn)行處理。

5結(jié)語

本文介紹了CAPWAP協(xié)議兩種系統(tǒng)架構(gòu)的不同之處，提出了實(shí)現(xiàn)CAPWAP協(xié)議的基本架構(gòu)，最后具體給出了實(shí)現(xiàn)平臺(tái)的搭建步驟，并測試實(shí)現(xiàn)平臺(tái)。Wireshark軟件的抓包結(jié)果不僅證實(shí)了系統(tǒng)實(shí)現(xiàn)的正確性，而且對CAPWAP協(xié)議中報(bào)文管理和狀態(tài)機(jī)的管理兩部分功能提供了依據(jù)；另一方面通過Chariot軟件和Iperf軟件測試了ACAP架構(gòu)下無線網(wǎng)絡(luò)吞吐量等性能，結(jié)果顯示搭建的平臺(tái)性能高效穩(wěn)定。

參考文獻(xiàn)：

[1]BERNASCHI M， CACACE F， IANNELLO G， et al. OpenCAPWAP： an open source CAPWAP implementation for the management and configuration of WiFi hotspots [J]. Computer Networks， 2009， 53（2）： 217-230.

[2]NIE Y. Research on CAPWAP protocol system implementation technology [D]. Wuhan： Huazhong University of Science and Technology， 2011.（聶勇.CAPWAP協(xié)議系統(tǒng)實(shí)現(xiàn)技術(shù)研究[D].武漢：華中科技大學(xué)，2011.）

[3]ZHANG G. CAPWAP protocol and its application in integrated switch [D]. Xian： Xidian University， 2009.（張弓長.CAPWAP協(xié)議及其在有線無線一體化交換機(jī)中的應(yīng)用[D].西安：西安電子科技大學(xué)，2009.）

[4]GUO Z. Design and implementation of wireless access point extensions based on CAPWAP protocol [D]. Xian： Xidian University， 2011.（郭子明.基于CAPWAP協(xié)議的無線接入點(diǎn)擴(kuò)展的設(shè)計(jì)與實(shí)現(xiàn)[D].西安：西安電子科技大學(xué)，2011.）

[5]CALHOUN P， MONTEMURRO M， STANLEY D. RFC 5415， Control And Provisioning of Wireless Access Points （CAPWAP） protocol specification [S]. Fremont， CA： IETF， 2009.

[6]CALHOUN P， MONTEMURRO M， STANLEY D. RFC 5416， CAPWAP protocol binding for IEEE 802.11 [S]. Fremont， CA： IETF， 2009.

[7]China Mobile Communications Corporation. China mobile WLAN ACAP interface interoperability test specifications： basic protocol volume （Version： 1.0.5） [M]. Beijing： China Mobile Communications Corporation， 2011.（中國移動(dòng)通信集團(tuán)公司.中國移動(dòng)WLAN ACAP接口互通測試規(guī)范（基本協(xié)議分冊）（版本號(hào)：1.0.5）[M].北京：中國移動(dòng)通信集團(tuán)公司，2011.）

[8]RESCORLA E， MODADUGU N. RFC 4347， datagram transport layer security [S]. Fremont， CA： IETF， 2006.

[9]LIANG W， DONG P， ZHANG H. Research and implementation of centralized management and configuration based on CAPWAP [J]. Compute Technology and Development， 2011， 22（11）： 69-72.（梁文波，董平，張宏科.基于CAPWAP 的集中配置管理機(jī)制的研究與實(shí)現(xiàn)[J].計(jì)算機(jī)技術(shù)與發(fā)展，2012，22（11）：69-72.）

[10]HUANG J， DAI Q， JIANG W. Implementation of centralized WLAN based on CAPWAP [J]. Mobile Communications， 2011， 35（8）： 68-72.（黃軍記，戴青云，姜文超.基于CAPWAP的集中式WLAN實(shí)現(xiàn)[J].移動(dòng)通信，2011，35（8）：68-72.）

[11]HUANG J. Improvement and implement the CAPWAP protocol on the fit AP system [D]. Guangzhou： Guangdong University of Technology， 2011.（黃軍記.瘦AP系統(tǒng)中CAPWAP協(xié)議的改進(jìn)與實(shí)現(xiàn)[D].廣州：廣東工業(yè)大學(xué)， 2011.）

[12]BERNASCHI M， CACACE F， DAVOLI A， et al. A CAPWAPbased solution for frequency planning in large scale networks of WiFi hotspots [J]. Computer Communications， 2011， 34（11）： 1283-1293.

[13]XIANG W， WANG Z， GAO C. Communication protocol of centralized WLAN architecture [J]. Computer Engineering， 2008， 34（22）： 115-117.（向望，王志偉，高傳善.集中式WLAN體系結(jié)構(gòu)通信協(xié)議[J].計(jì)算機(jī)工程，2008，34（22）：115-117.）

篇10

關(guān)鍵詞：云存儲(chǔ)；Hadoop；分布式存儲(chǔ)

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（20015）02-0003-03

Abstract：Google launched "Google101 program" in 2006. This is when truly specific concept of the "cloud" and related theories appear.Many companies have launched their own cloud platform. Facing the possibility of upcoming massive data of the library，cloud storage can linearly extend inactive data mass. This paper firstly outlines the basic architecture of the cloud platform， and introduces Hadoop distributed storage technology ， then a program for the cloud storage in small files is designed.Finally a summary and recommendations for future improvements are put forward.

Key words： cloud storage； Hadoop；distributed storage

目前隨著移動(dòng)設(shè)備和無線網(wǎng)絡(luò)的迅速普及，在移動(dòng)互聯(lián)網(wǎng)上創(chuàng)建虛擬3D世界變得非常流行，已成為一個(gè)新興數(shù)字媒體產(chǎn)業(yè)，并顯現(xiàn)出巨大的市場潛力和光明的產(chǎn)業(yè)化前景。同樣，為了推動(dòng)這一產(chǎn)業(yè)的發(fā)展，那么集合大量的Web3D素材是極其有必要的。但是，由于Web3D素材的特性，不可避免的包含大量貼圖，從而其數(shù)據(jù)大小不同于文字和普通的圖片，級(jí)別普遍在十幾兆到數(shù)十兆之間。隨之而來的就是數(shù)據(jù)的存儲(chǔ)和管理問題，存儲(chǔ)方面，目前行業(yè)中的素材數(shù)量沒有具體統(tǒng)計(jì)，但粗略估算在千萬量級(jí)甚至以上。數(shù)據(jù)量龐大，以及數(shù)據(jù)傳輸效率的要求，云存儲(chǔ)系統(tǒng)是最合適的解決方案。

1 云平臺(tái)的基礎(chǔ)架構(gòu)

云計(jì)算涉及在現(xiàn)有網(wǎng)絡(luò)上進(jìn)行分布式計(jì)算，借此用戶的程序或應(yīng)用可以同時(shí)在一臺(tái)或多臺(tái)連接到這個(gè)網(wǎng)絡(luò)的計(jì)算機(jī)上運(yùn)行。一個(gè)或一組物理存在的計(jì)算機(jī)通過互聯(lián)網(wǎng)（Internet）、內(nèi)網(wǎng)（Intranet）、局域網(wǎng)（local area network）或者廣域網(wǎng)（wide area network）連接到一起，作為一個(gè)整體以服務(wù)器的形式呈現(xiàn)給外界，這樣的形式就是云計(jì)算的具體表現(xiàn)。任何有權(quán)限訪問這個(gè)服務(wù)器的用戶可以使用它的計(jì)算能力來運(yùn)行應(yīng)用、存儲(chǔ)數(shù)據(jù)或者執(zhí)行其他任務(wù)。

云計(jì)算服務(wù)的模式主要有三種：基礎(chǔ)設(shè)施即服務(wù)（Infrastructure-as-a-Service， IaaS），平臺(tái)即服務(wù)（Platform-as-a-Service，PaaS）和軟件即服務(wù)（Software-as-a-Service，SaaS）。其邏輯上的關(guān)系見圖1。

IaaS，基礎(chǔ)設(shè)施即服務(wù)是最基本的云服務(wù)模型，主要功能是將計(jì)算機(jī)偏底層的資源作為服務(wù)提供給用戶，其中主要是提供計(jì)算機(jī)服務(wù)，可以根據(jù)用戶的性能需求進(jìn)行相應(yīng)的配置調(diào)整，如CPU核數(shù)，內(nèi)存大小，硬盤容量等等。用戶通過互聯(lián)網(wǎng)從這些集群設(shè)備中去申請服務(wù)。

PaaS是把計(jì)算平臺(tái)（Computing Platform）作為一種服務(wù)提供的商業(yè)模式。其中，計(jì)算平臺(tái)主要包括操作系統(tǒng)，程序語言執(zhí)行環(huán)境，數(shù)據(jù)庫，Web服務(wù)器等平臺(tái)級(jí)產(chǎn)品。

SaaS模型的服務(wù)是將應(yīng)用軟件作為服務(wù)提供給用戶。在這個(gè)模型中，運(yùn)行應(yīng)用軟件所需要的軟硬件資源皆由SaaS的提供商管理、維護(hù)。

云平臺(tái)是用來提供各種云計(jì)算服務(wù)的平臺(tái)。用戶可以在云平臺(tái)上購買、使用云計(jì)算服務(wù)，方便用戶組合使用云計(jì)算服務(wù)以達(dá)成用戶的目標(biāo)。國外較為知名并具有代表性的有谷歌的云計(jì)算平臺(tái)（Google Cloud Platform），IBM的“智慧云”計(jì)算平臺(tái)（SmartCloud）和Amazon的彈性計(jì)算云（Elastic Compute Cloud）。國內(nèi)也開始推出自己的云平臺(tái)，比較大的有百度云平臺(tái)和阿里云平臺(tái)，為客戶提供各類云服務(wù)。

2 分布式存儲(chǔ)系統(tǒng)Hadoop介紹

Hadoop作為分布式存儲(chǔ)系統(tǒng)的典范，是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，具有高容錯(cuò)性和高擴(kuò)展性等優(yōu)點(diǎn)，允許用戶將Hadoop部署到價(jià)格低廉的服務(wù)器上，實(shí)現(xiàn)了將一項(xiàng)任務(wù)分發(fā)到由多臺(tái)機(jī)器組成的集群上，并有一系列的高容錯(cuò)機(jī)制支撐。在具體實(shí)現(xiàn)時(shí)，開發(fā)人員直接搭建，實(shí)現(xiàn)整個(gè)云平臺(tái)的管理，而又不需要知道內(nèi)部機(jī)制，這種智能化便捷化的分布式集群對開發(fā)人員技術(shù)的要求門檻較低。

Hadoop與GoogleGFS幾乎一致，因?yàn)镠adoop就是根據(jù)GFS創(chuàng)造的，包含HDFS、MapReduce、HBase。

2.1 HDFS

HDFS最上層是一個(gè)NameNode，下面有許多DataNode，關(guān)系像Master和slave一樣，所以有時(shí)候也稱NameNode為Master，DataNode為slave。NameNode對管理文件系統(tǒng)的元數(shù)據(jù)進(jìn)行管理。DataNode中存儲(chǔ)實(shí)際的文件數(shù)據(jù)。客戶端和NameNode進(jìn)行通信，獲取到文件的元數(shù)據(jù)后，然后直接和DataNode進(jìn)行文件的I/O操作。

HDFS最常見的部署方法就是將NameNode部署在一臺(tái)專門的服務(wù)器上，在集群中的其他機(jī)器上運(yùn)行一個(gè)或多個(gè)DataNode；同時(shí)也可以在NameNode所在的服務(wù)器上運(yùn)行一個(gè)或多個(gè)DataNode。采用一個(gè)NameNode使整個(gè)系統(tǒng)的架構(gòu)非常簡單。

NameNode中會(huì)記錄HDFS中元數(shù)據(jù)的變化，采用的是EditLog形式記錄。NameNode中使用FsImage來存儲(chǔ)文件系統(tǒng)的命名空間，命名空間包括文件與塊之間的映射，文件本身的屬性等。EditLog和FsImage都存儲(chǔ)在Namenode上。

HDFS中為了維持系統(tǒng)的穩(wěn)定性，還設(shè)立了第二個(gè)NameNode節(jié)點(diǎn)，稱作Secondary NameNode節(jié)點(diǎn)，它會(huì)輔助NameNode處理FsImage和EditLog。NameNode啟動(dòng)時(shí)會(huì)將EditLog和FsImge合并，而Secondary NameNode會(huì)周期性地從NameNode上去復(fù)制這些FsImage和EditLog到臨時(shí)目錄中，合并生成新的FsImage后再重新上傳到 NameNode，這樣當(dāng)NameNode宕機(jī)后，Secondary NameNode還可以繼續(xù)工作，所保存的FsImage信息還存在。

2.2 HBase

HBase系統(tǒng)在架構(gòu)層面由一個(gè)Master和多個(gè)RegionServer組成。如圖2所示。

其中，每個(gè)RegionServer對應(yīng)集群中的一個(gè)節(jié)點(diǎn)，一個(gè)RegionServer負(fù)責(zé)管理多個(gè)Region。一張表上有很多數(shù)據(jù)，每個(gè)Region只是一張表上的部分?jǐn)?shù)據(jù)，所以在HBase中的一張表可能會(huì)需要很多個(gè)Region來存儲(chǔ)其數(shù)據(jù)。HBase在對Region進(jìn)行管理的過程中，會(huì)給針對每一個(gè)Region劃定一個(gè)范圍，也就是Row Key的一個(gè)區(qū)間，在這個(gè)特定的區(qū)間內(nèi)的數(shù)據(jù)就交給特定的Region，這樣能夠保證負(fù)載相對均衡，能夠分?jǐn)偟礁鱾€(gè)節(jié)點(diǎn)之上，這也是分布式的特點(diǎn)。此外，HBase也會(huì)自動(dòng)地調(diào)節(jié)Region所在的位置。如果一個(gè)RegionServer變得比較活躍，使用的比較頻繁，HBase會(huì)把 Region轉(zhuǎn)移到不是很忙的節(jié)點(diǎn)，如此集群環(huán)境可以被合理使用。

Table在行的方向上劃分成多個(gè)Region，Region是按照空間來劃分的，最初建立Table時(shí)，Table內(nèi)的Region數(shù)量只有一個(gè)，隨著系統(tǒng)的投入使用，Table內(nèi)開始被不斷的插入數(shù)據(jù)，Region內(nèi)會(huì)不斷的存入數(shù)據(jù)，當(dāng)數(shù)據(jù)量達(dá)到某個(gè)特定的閥值，Region就會(huì)等分，變成兩個(gè)Region。Table是面向列的數(shù)據(jù)庫，行數(shù)會(huì)不斷的增加，HRegion數(shù)量也會(huì)不斷增多。在HBase中，分布式存儲(chǔ)的最小單元是HRegion，但是一個(gè)HRegion內(nèi)又有一個(gè)或多個(gè)store構(gòu)成。如圖3所示：

3 基于HBase的Web3D素材存儲(chǔ)設(shè)計(jì)

3.1 存儲(chǔ)系統(tǒng)的整體設(shè)計(jì)

由于素材本身數(shù)據(jù)的屬性，比如名稱、別名、文件類型等，這些信息存儲(chǔ)在MySQL中，同時(shí)為素材分配一個(gè)ID，在HBase存儲(chǔ)這個(gè)ID信息和一些簡單的關(guān)系稀疏的文件屬性。如圖4所示：

3.2 小型素材文件在HDFS上的存儲(chǔ)

系統(tǒng)素材文件[19]本身存儲(chǔ)在由HBase管理的HDFS中，而HDFS是專門為了大數(shù)據(jù)存儲(chǔ)而設(shè)計(jì)的，針對Web3D素材普遍是小文件的情況，就采用將素材文件進(jìn)行合并，形成一個(gè)個(gè)大文件，然后將這些大文件存儲(chǔ)到HDFS中的做法實(shí)現(xiàn)小文件的存儲(chǔ)。

將素材文件合并后，我們不僅僅是存儲(chǔ)進(jìn)系統(tǒng)，平臺(tái)本身還需要隨時(shí)查詢這些小文件，所以我們必須建立素材小文件與合并后的塊的對應(yīng)關(guān)系。我們在文件名中標(biāo)注合并后的大塊的ID以及塊內(nèi)的偏移量加上文件塊內(nèi)的長度來標(biāo)記這個(gè)文件。

假設(shè)素材文件大小為2M，默認(rèn)的一個(gè)塊的大小為64M。首先Master會(huì)在集群內(nèi)找到一個(gè)空余剩余超過2M的塊。假設(shè)塊的ID為1234，且已經(jīng)存儲(chǔ)了32M的數(shù)據(jù)，塊內(nèi)的偏移量是通過頁來記錄的，一頁的大小為16k，那么目前32x1024/16=2048，那么素材存儲(chǔ)的位置就是從2049開始的，并且2M大小的數(shù)據(jù)占空間為128頁，那么該素材文件標(biāo)記為（1234，2049，128）。

但是HDFS中的Master部分并沒有關(guān)于文件和塊的映射關(guān)系，我們需要在Master中設(shè)計(jì)這樣的查詢功能，新系統(tǒng)的架構(gòu)圖如圖4所示：

當(dāng)客戶端想要讀取某個(gè)素材文件時(shí)，首先從NameNode中的查詢模塊，從而獲得素材文件與塊之間的映射信息。

4 結(jié)束語

本文部署了Hadoop集群作為系統(tǒng)的分布式云存儲(chǔ)平臺(tái)，將用戶的資料等結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在MySQL中，并在MySQL中存儲(chǔ)部分關(guān)聯(lián)性強(qiáng)的素材元數(shù)據(jù)，并且指定ID。將素材本身存入Hadoop集群中，通過小文件打包的形式，改善了Hadoop集群中不適合存儲(chǔ)小文件的情況。但是關(guān)于系統(tǒng)文件打包機(jī)制，存儲(chǔ)后的刪除問題，僅僅從MySQL中刪除了素材文件的源信息，實(shí)際的文件還部分殘留在系統(tǒng)中，這一點(diǎn)應(yīng)該對文件與塊的關(guān)系上繼續(xù)深化研究下去。

參考文獻(xiàn)：

[1] Bhardwaj Sushil， Leena Jain， Sandeep Jain. Cloud computing： A study of infrastructure as a service （IAAS）[J]. International Journal of engineering and information Technology， 2010（2.1）： 60-63.

[2] Vaquero， Luis M. A break in the clouds： towards a cloud definition[J]. ACM SIGCOMM Computer Communication Review， 2008，39（1）： 50-55.

[3] Cloud， Amazon Elastic Compute. Amazon web services[J]. Retrieved November， 2011（9）： 2011.

[4] 黃賢立. NoSQL非關(guān)系型數(shù)據(jù)庫的發(fā)展及應(yīng)用初探[J]. 福建電腦， 2010（7）： 30.

[5] 黃曉云. 基于HDFS的云存儲(chǔ)服務(wù)系統(tǒng)研究[D]. 大連： 大連海事大學(xué). 2010.

[6] 余思， 桂小林， 黃汝維. 一種提高云存儲(chǔ)中小文件存儲(chǔ)效率的方法[J]. 西安交通大學(xué)學(xué)報(bào)：自然科學(xué)版， 2011（6）： 59-63.

[7] MACKEY G， SEHRI S， WANG Jua. Improving metadata management for small files in HDFS[C]. 2010.

[8] 肖桐. 應(yīng)用于海量數(shù)據(jù)處理分析的云計(jì)算平臺(tái)搭建研究[D]. 天津： 天津科技大學(xué)， 2013.