導語：大數(shù)據(jù)技術社區(qū)教育平臺建設探析一文來源于網(wǎng)友上傳，不代表本站觀點，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

【摘要】社區(qū)教育平臺建設是社區(qū)教育的主要手段，隨著不斷發(fā)展，系統(tǒng)建設中隱含的問題逐漸顯現(xiàn)。大數(shù)據(jù)平臺是通過分布式文件系統(tǒng)、管理系統(tǒng)以及分布式數(shù)據(jù)庫系統(tǒng)等一系列關鍵技術建設的網(wǎng)絡平臺，大數(shù)據(jù)技術所具備的超強的數(shù)據(jù)收集、存儲、分析能力能為社區(qū)教育平臺的建設提供新的思路，能為社區(qū)教育的發(fā)展提供先進的技術支持。

【關鍵詞】社區(qū)教育；大數(shù)據(jù)；分布式數(shù)據(jù)庫Hadoop

1引言

社區(qū)教育數(shù)字化平臺是社區(qū)教育的主要手段，它滿足了社區(qū)居民大部分的教育訴求。隨著社區(qū)教育平臺的發(fā)展和用戶的激增，各種應用數(shù)據(jù)無所不在，與用戶學習行為相關的數(shù)據(jù)量急速增長，社區(qū)教育平臺進入了“大數(shù)據(jù)”時代。然而，由于諸多因素造成了這些數(shù)據(jù)沒有得到充分的重視和運用，喪失了對學習者的深度了解，摒棄了平臺自身發(fā)展的優(yōu)勢，社區(qū)教育平臺的發(fā)展正面臨著大數(shù)據(jù)的挑戰(zhàn)。

2社區(qū)教育平臺建設現(xiàn)狀

以河北省為例，社區(qū)教育平臺建設至今已五年之久，發(fā)展迅速、運行效果良好、硬件基礎比較完善、管理模式具體、推廣頗具深度；目前十一家地市的社區(qū)教育平臺半數(shù)以上具備了PC版和移動版同時運維的能力，豐富的學習資源覆蓋范圍廣闊、知識結構權威、學習方式快捷，為廣大學習者提供了一個良好的學習和交流的平臺，得到了多方用戶的稱贊。但是，隨著時間的推移，各平臺出現(xiàn)了諸多類似的問題，比如用戶上網(wǎng)行為不能及時管理，教學資源推送不能滿足用戶需求，大都與龐大的數(shù)據(jù)記錄有關，這些問題是平臺進一步發(fā)展的瓶頸，是不得不解決的首要問題。2.1平臺缺少信息收集和分析處理功能。社區(qū)教育的主要特征是教育對象具有廣泛性，不同的受眾群體具有不同的教育訴求，這就需要社區(qū)教育平臺提供不同的教育方式和內(nèi)容，以滿足廣泛的興趣需求和學習特點；目前平臺對每名用戶的學習行為和受教數(shù)據(jù)都沒有綜合收集和儲存，無法通過這些具有個性化的日志資料分析學習傾向和需求，平臺建設大多主觀提供課程資源，甚至造成供需脫節(jié)，達不到平臺建設的預期目標。2.2平臺缺乏統(tǒng)一規(guī)劃，信息存儲不規(guī)范。目前，各平臺都是獨立運行，使得海量信息離散分布，并且信息的存儲互不兼容，大量三分屏、單視頻、PPT等資源閑置，幾乎沒有一個可執(zhí)行的資源標準，無法形成聚合數(shù)據(jù)庫。離散信息一方面造成重復的資源建設和信息冗余，另一方面限制了共享，不利于資源傳播。2.3對于平臺使用的關鍵技術，絕大多數(shù)沿用傳統(tǒng)。CMS管理系統(tǒng)的結構，沒有任何一個系統(tǒng)能夠?qū)ζ脚_運行過程中的數(shù)據(jù)全面存儲、自動分析以為管理者提供決策和建設的依據(jù)，而作為社區(qū)教育平臺運行過程中產(chǎn)生的大數(shù)據(jù)恰恰是平臺運行的寶貴資源，對于受眾對象和管理者都是不可忽視的。大量資源無人問津，系統(tǒng)點擊深度低、缺乏粘合度，閉門造車開發(fā)出來的系統(tǒng)完全成了開發(fā)者自娛自樂的工具，學習者的真實需求不能滿足，甚至有系統(tǒng)還在沾沾自喜于網(wǎng)站的點擊率，殊不知這樣的數(shù)據(jù)沒有任何意義；從SEO角度看，各系統(tǒng)甚至沒有個基本的分析系統(tǒng)，盡管系統(tǒng)滿足了上千人同時在線，卻對這些在線行為不能做出基礎的收集、整理和分析。出現(xiàn)供需嚴重脫節(jié)現(xiàn)象的主要原因一是開發(fā)者沒有做細致的需求分析，二是平臺架構存在嚴重缺陷，而解決這些問題的重要手段就是在系統(tǒng)開發(fā)上充分利用大數(shù)據(jù)技術。

3基于大數(shù)據(jù)技術的平臺架構和關鍵技術

大數(shù)據(jù)技術，就是從多種類型的數(shù)據(jù)中，快速獲取有價值信息的能力，它是數(shù)據(jù)分析的前沿技術。與傳統(tǒng)數(shù)據(jù)相比，大數(shù)據(jù)有幾個特點：第一，數(shù)據(jù)體量巨大，為進一步的分析提供了充分的數(shù)據(jù)資料；第二，數(shù)據(jù)類型繁多，包含文字、圖片、音頻、視頻、地理位置信息等；第三，處理速度快，可從海量數(shù)據(jù)中極速獲取高價值信息，這也和傳統(tǒng)的數(shù)據(jù)挖掘技術有著本質(zhì)的不同；第四，數(shù)據(jù)可實現(xiàn)再利用和重復利用，以低成本或零成本對研究對象進行縱向歷史比對和橫向現(xiàn)實比對；第五，只要合理利用數(shù)據(jù)并對其進行正確的分析，將會帶來意想不到的高價值回報。3.1大數(shù)據(jù)系統(tǒng)的架構。一個常規(guī)的大數(shù)據(jù)分析平臺，必須能夠做到可持續(xù)、可迭代開發(fā)的功能，可存儲所有種類的數(shù)據(jù)，可進行各種需求分析，可實現(xiàn)大眾化使用；同時，一個大數(shù)據(jù)分析平臺還應該可以接入不同的開發(fā)工具，并且實現(xiàn)數(shù)據(jù)分析的圖形化，可以在不同時間、空間等維度進行查詢。大數(shù)據(jù)處理系統(tǒng)不管結構如何復雜，采用的技術千差萬別，但是總體上可以分為幾個重要邏輯部分，它們分別是管理子系統(tǒng)、數(shù)據(jù)加載系統(tǒng)、計算子系統(tǒng)、二次開發(fā)界面、直觀的圖形、報表和自定義分析工具、提供多種服務的對外接口。大數(shù)據(jù)系統(tǒng)涉及到的人工協(xié)議和交互中，大致分為系統(tǒng)協(xié)調(diào)者、系統(tǒng)提供者、大數(shù)據(jù)應用提供者、大數(shù)據(jù)框架提供者、數(shù)據(jù)消費者，這五個角色的活動都要受到安全和隱私角色的影響，通過不同的技術手段和安全措施，構筑大數(shù)據(jù)系統(tǒng)全方位、立體的安全防護體系。3.2大數(shù)據(jù)系統(tǒng)關鍵技術。大數(shù)據(jù)環(huán)境下的關鍵技術主要是針對不同格式的海量數(shù)據(jù)存儲和海量數(shù)據(jù)的運算及分析，這其中包括數(shù)據(jù)收集、預處理，分布式文件存儲、文檔存儲、列式存儲等，另外還包括數(shù)據(jù)分析挖掘、數(shù)據(jù)共享、數(shù)據(jù)呈現(xiàn)。數(shù)據(jù)呈現(xiàn)是大數(shù)據(jù)應用的直接方式，通過一系列數(shù)據(jù)處理，最終由用戶通過簡單明了的界面服務平臺形成可視化的圖形報告或者是數(shù)據(jù)報表、數(shù)據(jù)檢索、數(shù)據(jù)渲染等。大數(shù)據(jù)收集需要從不同的數(shù)據(jù)源實時或者及時的手機不同類型的數(shù)據(jù)并傳送到存儲系統(tǒng)或者預處理系統(tǒng)進行后續(xù)處理，數(shù)據(jù)收集一般可分為設備數(shù)據(jù)收集和web數(shù)據(jù)爬取兩種。數(shù)據(jù)預處理有助于提升數(shù)據(jù)質(zhì)量、減少噪聲數(shù)據(jù)、防止數(shù)據(jù)缺失和數(shù)據(jù)沖突的影響，是后續(xù)數(shù)據(jù)處理分析和可視化過程更加簡潔有效。分布式存儲訪問方式是大數(shù)據(jù)存儲的關鍵技術，它具有成本低、效率高、容錯好等特點，在很短時間內(nèi)磁盤、磁帶等存儲介質(zhì)將成為大數(shù)據(jù)分布式存儲的主要媒體。與分布式存儲相關的就是分布式數(shù)據(jù)處理技術，它由Hadoop數(shù)據(jù)庫提供基礎框架，采用分布式內(nèi)存計算和流計算方式，成為各個行業(yè)比較成熟的大數(shù)據(jù)處理方式。大數(shù)據(jù)分析技術包括對已有數(shù)據(jù)信息的分布統(tǒng)計分析技術，以及未知數(shù)據(jù)信息的分布式挖掘和深度學習技術。數(shù)據(jù)可視化運用圖形學和圖像處理技術，將數(shù)據(jù)轉(zhuǎn)化為圖形或圖像在屏幕上顯示出來，并進行交互處理，為金融、通信、商業(yè)、教育、醫(yī)療提供決策依據(jù)，這已經(jīng)成為數(shù)據(jù)可視化的新熱點。

4應用好大數(shù)據(jù)技術有效提升社區(qū)教育平臺性能

大數(shù)據(jù)經(jīng)過科學分析后，能夠具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力；大數(shù)據(jù)時代的到來能夠改變?nèi)祟惪创褪褂脭?shù)據(jù)的方式，改變已有的教育模式。針對社區(qū)教育領域，大數(shù)據(jù)更有其獨特的優(yōu)勢，采用大數(shù)據(jù)技術的社區(qū)教育平臺功能更加完備，使用體驗更加人性化，目前比較成熟的大數(shù)據(jù)分析平臺有IBM的InfoSphere、Oracle推廣的BigDataAppliance和Sybase常用的IQ系統(tǒng)以及使用較為廣泛的微軟公司的Hadoop系統(tǒng)，在這些技術平臺的支撐下社區(qū)教育平臺建設將揭開新的一頁。下面以Hadoop為例介紹如何使用大數(shù)據(jù)技術為社區(qū)教育平臺服務。Hadoop是一個實現(xiàn)了MapReduce模式的能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架，是一種可靠、高校、可伸縮的數(shù)據(jù)處理方式，它以并行計算的方式假設PB級的計算元素和存儲失敗，從而形成多個工作數(shù)據(jù)做副本，確保能夠針對失敗節(jié)點做重新分步處理，Hadoop還依賴于社區(qū)服務器以形成低成本運算模式，而MapReduce正是谷歌提出的云計算的核心計算模式。Hadoop系統(tǒng)=HDFS（文件系統(tǒng)）+HBase（數(shù)據(jù)庫）+MapReduce（數(shù)據(jù)處理）+Others。通過下圖來看一看海量數(shù)據(jù)架構是如何通過大數(shù)據(jù)運作處理機制來實現(xiàn)可視化的。從上至下分別是：數(shù)據(jù)源、計算層、存儲層、查詢層、產(chǎn)品層。數(shù)據(jù)源存放著平臺所有行為數(shù)據(jù)，通過DataX，DbSync和Timetunel準實時的傳輸?shù)紿adoop集群，在這里系統(tǒng)對每天產(chǎn)生的數(shù)據(jù)產(chǎn)品進行不同的MapReduce計算，下一層是分布式存儲集群輔助系統(tǒng)，我們可以采用基于MySQL的MyFox，還可以采用基于HadoopHbase技術的叫做NoSQL的存儲集群，MyFox一個重要的功能就是為數(shù)據(jù)產(chǎn)品提供查詢功能，每個產(chǎn)品具有唯一一個URL來獲取想要的數(shù)據(jù)，這里應用的是最常見的HTTP協(xié)議，每一個數(shù)據(jù)產(chǎn)品就是一個大數(shù)據(jù)應用，它們?yōu)閿?shù)據(jù)消費者提供直觀的操作界面，呈現(xiàn)圖形化數(shù)據(jù)。

5結語

應用了大數(shù)據(jù)技術的社區(qū)教育平臺不僅能推送個性化教學資源，滿足學習需求，在功能體驗上，除了具備搜索排序體驗，LBS定位功能，資源多樣化以及交互功能外，還要實現(xiàn)資源利用最大化，學習行為自主化，學習形式交互化等等，但也不是萬能的，不是能夠?qū)崿F(xiàn)所有的需求和目標，比如大數(shù)據(jù)技術不擅長社會關系分析、不擅長上下文情景分析、產(chǎn)生過多的發(fā)現(xiàn)、不擅長處理真正的巨型問題、數(shù)據(jù)分析的結論往往基于大眾偏好，甚至有時原始數(shù)據(jù)往往會被扭曲，造成樣本缺乏代表性、相關性誤差較大、過于故事化等等；當然還有一個重要的問題，就是大數(shù)據(jù)與隱私，大數(shù)據(jù)中包含著每個人的小數(shù)據(jù)，這些數(shù)據(jù)經(jīng)過進一步分析既能知道你的愛好，也能知道你的下意識行為傾向，如果據(jù)此來判斷一個人的未來，是否會重演大片“少數(shù)派報告”的場景，我們現(xiàn)在還不得而知。

【參考文獻】

[1]韋書令，文夢丹，鄧孟紅.大數(shù)據(jù)視野下社區(qū)數(shù)字化學習平臺的應用策略研究[N].廣西廣播電視大學學報，2018-05-25.

[2]曾浩宇.基于LBS社區(qū)系統(tǒng)的大規(guī)模數(shù)據(jù)集協(xié)同處理系統(tǒng)的設計與研究[D].北京郵電大學，2014-12-27.

[3]盧昀.云計算社區(qū)教育應用探討[J].教育信息技術，2015-10-20.

[4]黃俊健，白偉華，梁莉筠.智慧協(xié)同校外教育云服務平臺的研究與建設[N].科技創(chuàng)新導報.

[5]吳文峻.面向智慧教育的學數(shù)據(jù)分析技術[J].電化教育研究，2017-06-01.

[6]羅治情，官波，陳娉婷，吳亞玲，沈祥成.“三農(nóng)”數(shù)據(jù)云平臺設計研究[J].江蘇農(nóng)業(yè)科學，2018-09-25.

作者:張輝 李俊梅 單位:衡水廣播電視大學