計算機大數據論文范文
時間:2023-03-28 03:44:09
導語:如何才能寫好一篇計算機大數據論文,這就需要搜集整理更多的資料和文獻,歡迎閱讀由公務員之家整理的十篇范文,供你借鑒。
篇1
目前,國內高等院校的計算機基礎教育更多地沿用了傳統計算機教育的方法,只注重講授計算機的理論知識和操作要領,未考慮學生學習的效果。這導致學生只是記住一些概念和理論,能做基本的操作,卻很難用所學的知識靈活地解決實際問題。當前大學計算機基礎教育面臨以下4個問題:
(1)學生的計算機應用能力差異大
高等院校的學生來自全國各地,而不同地區的中小學計算機教育水平參差不齊。單一的課堂教學已無法保證所有的學生學得會、學得好,這給教學帶來了問題。
(2)教學和實驗的學時嚴重不足
目前,各個高校都在減少課時,教師只能在課堂上和實驗中加大講授的知識量,加快教學進度。當一個教師面對幾十個學生時,基礎較差的學生往往得不到教師足夠的指導和練習時間,這給輔導答疑帶來了問題。
(3)學習的結果與過程未被記錄下來
學生可以利用豐富的網絡資源鞏固課堂內容,擴大知識面,加深對知識的理解。在傳統教學中,教師往往忽視了學生的課后學習,沒有記錄學習結果與過程,這給教育過程的改進帶來了問題。
(4)目前的網絡教學系統很少區分學習個體
網絡教學系統能夠提供大量的多媒體教學資源,幫助教師進行課后輔導答疑,卻很少區分學習個體,導致缺乏個體相關的數據,從而難以提供個性化的指導,這給網絡教學系統的智能化帶來了問題。這些問題歸根結底是數據的問題,是數據沒有被有效地規劃和整合的問題。我們把與學習過程相關的大量數據收集起來,對這些數據進行分析,挖掘出有價值的信息,最后傳遞給學習者,這是一種解決計算機基礎教育所面臨問題的可行方法。
2面向計算機基礎教育的大數據
在當前知識大爆炸的時代,人們獲取知識的途徑不僅僅局限于課堂,更多的是網絡資源。當代的大學生接受新生事物更快,更愿意在特定的學習情境下去主動構建知識。因此,大學計算機基礎教育需要改革現有的教育模式,將大數據技術融入到大學計算機基礎教育中,建立與時俱進的大數據驅動的教育模式可以有效解決上述問題。在大數據時代涌現出大量的網絡教學系統,隨著這些網絡教學系統的推廣和普遍應用,使用者數量急劇增加,產生了大量的數據。數據之間可能存在某種聯系,對這些聯系進行分析和挖掘可能會找到有價值的信息。將有價值的信息展現出來,能夠幫助我們做出正確的決策。在人類社會的發展已經由動力驅動轉變為數據驅動的背景下,教育正在發生著一場新的變革,大學計算機基礎教育也面臨著類似的機遇和挑戰。通過網絡教學系統,可以更加方便地獲取和利用大學計算機基礎教育相關的各種數據
。大學計算機基礎教育涉及的數據主要有以下幾種:
(1)課件。課件是文字、聲音、圖像、動畫等素材的集合,幫助教師更加生動地講解課程內容,主要使用PPT和Flash兩種文件。
(2)視頻。視頻是將教師在課堂上的授課內容錄制下來,為學生提供課后學習的方式。學生可以在教學系統中下載或在線學習視頻內容。
(3)題目。題目主要用于測試學習效果,包括判斷題、填空題、選擇題、問答題、程序設計題等各種題型。
(4)問題。學生在學習過程中遇到的問題,通過教學系統提交給教師。這些問題反映了學習的難點,是教師在課堂上需要詳細講解的教學內容。
(5)代碼。代碼是學生做程序設計類題目時所編寫的程序代碼。學生編寫代碼的質量可以由教師評判,也可以由系統自動評判。
(6)行為。行為用來記錄學生的學習活動,如課件下載行為、視頻點播行為、作業瀏覽行為、編程行為等。這些行為能夠反映出學生的學習情況。
(7)缺陷。缺陷是學生提交的作業中包含的各種錯誤,反映了學習過程中存在的問題。對教學系統而言,這些數據是進行個性化推薦學習的參考依據;對教師而言,這些數據能夠提示教學過程中需要特別關注的地方。
(8)過程。過程是指在教學過程中收集到的一些宏觀數據,如課件學習過程、視頻學習過程、測試過程等。這些過程能夠反映出學生學習的個體差異。
3大數據驅動的新模式
在大數據時代,我們可以利用大數據技術在大量與學習相關的數據中挖掘出有價值的信息。這些信息能夠幫助學生更加科學有效地學習,較好地解決當前計算機基礎教育面臨的問題。因此,我們將大數據技術融入到大學計算機基礎教育中,提出一種大數據驅動的計算機基礎教育新模式。它是在有效規劃和整合計算機基礎教育大數據的前提下,為學生提供各種自主學習資源和服務的新模式。學生和教師在使用各種網絡教學系統時,輸入的數據和學習行為都被系統記錄下來。利用大數據技術對記錄下來的數據進行分析,挖掘出與學生學習特征相關的數據。這些數據為學生的后續學習提供個性化的推薦,規劃個性化的學習路線;向教師反饋學生的學習行為和效果,為后續教學提供個性化的推薦,幫助教師改進教學方法。以在線課程系統、在線編程系統和在線答疑系統為代表的各種網絡教學系統目前得到了廣泛的應用,這些系統本質上都是大數據驅動。實踐證明,這些系統的應用將為學生學習和教師教學提供實質性的幫助。
1)在線課程系統是課堂教學的延伸
大型開放式網絡課程MOOC是國際上流行的教學平臺。自2013年5月以來,北京大學、清華大學、復旦大學、上海交通大學等國內一流高校紛紛宣布加入MOOC,向全球提供免費的在線課程。MOOC采用云計算架構,提供大量的視頻學習資源和人機交互功能。學生提交作業后,系統能自動評判作業的質量,以評估學習效果。MOOC的出現給計算機基礎教育帶來巨大影響。MOOC解決了學生計算機應用能力差異大的問題,學生不管基礎如何,都能找到與之相應的學習內容;MOOC彌補了課堂教學學時不足的問題,學生能在課后隨時隨地找到學習資源;MOOC能夠記錄學習的結果與過程以及作業中的錯誤等,這些對于改進教學方式和調整教學重點等都有意義。
2)在線編程系統是實驗環節的補充
隨著SaaS技術(軟件即服務)的不斷成熟,出現了許多功能強大的在線編程系統。這給大學計算機基礎教育中的程序設計類課程的實驗教學
帶來了巨大的幫助。使用在線編程系統進行實驗的好處有以下幾點:
(1)教師不用在實驗室的每臺計算機中安裝軟件,學生通過瀏覽器就可以編寫程序;
(2)學生編寫的代碼都存儲在云端,能上網的地方就能練習編程,并且隨時可以修改代碼,解決了實驗教學學時不足的問題;
(3)在線編程系統主要記錄代碼和代碼編寫的過程,能夠收集實驗過程中與學習相關的數據。國外在線編程系統CodeCademy提供了一種學習編程的新方式。它的用戶群是零基礎的學習者,所以CodeCademy創設趣味性的學習環境,手把手幫助學習者了解編程的過程。它的在線編輯器能讓學習者不用尋找、下載和安裝編程環境就可以在網絡上編程。在線編程系統不僅為實驗教學提供了方便的實驗環境,還能收集大量的程序代碼和學生的編程行為,有助于分析學生的學習特點與習慣,區分學習個體,為制訂個性化學習路線提供有價值的數據。
3)在線答疑系統是課后輔導的平臺
學生在學習過程中常常會遇到很多問題,這些問題如果能及時得到解答,就能促進學生更深入地學習;反之,就會影響學生的學習效果和積極性。目前,互聯網上已經出現了許多人工解答和自動解答的系統。有代表性的是上海交通大學的遠程教育設計中心設計開發的AnswerWeb自動答疑系統,它是一個動態的問題及答案的數據庫。學生輸入關鍵詞后可以在系統已有的問題和答案數據庫中查找相關的材料。如果沒有找到答案,則會自動轉發給教師請求幫助解答。隨后,新的提問和答案將被增加到系統庫中。系統會記錄所有的問題和答案以及學生提問過程中的行為。在線答疑系統應用到大學計算機基礎教育中,解決了教師無法在課后對每位學生進行輔導答疑的問題。同時,利用大數據技術,答疑系統將學生提問和獲得解答的行為記錄下來,自動的分析這些數據,挖掘學習個體特征,為學生的后續學習提供個性化的推薦。
4結語
篇2
一、大數據下的計算機軟件技術
(一)云儲存服務
在大數據時代的背景下,云儲存服務是當今社會有效儲存海量數據信息、進行數據信息價值分析與利用的技術。與傳統的數據儲存技術相比,云儲存服務在大大提升自身儲存容量,并且能夠分類儲存不同領域數據的同時,還可以拋棄固定化的儲存設備,通過快捷、方便的儲存來發揮出該技術協同性、綜合性的功能。云儲存技術幫助系統利用對數據資源的有效整合來實現提升信息存儲效率的目的,同時數據儲存較高的安全性也能夠為人們日常的工作、生活提供良好的保障。
(二)信息安全技術
由于互聯網是大數據處理的基礎,其中互聯網平臺開放度比較高、不同領域數據信息聯系緊密,一旦外來病毒、木馬攻擊互聯網平臺,部分數據就會受到病毒的感染,并且對其他存在一定關聯的數據信息造成不利的連帶影響。因此,在大數據時代中需要有互聯網信息安全技術來發揮出防護病毒、木馬的作用。并且我國還要積極學習發達國家的信息安全技術,通過不斷的研究與經驗積累來彌補差距,從而也為大數據背景下海量數據信息準確性、安全性的提升作出貢獻。
(三)虛擬化技術
虛擬化技術作為資源管理技術的一個分類,能夠對各類數據資源進行優化配置,不僅可以為各類不同的場景提供需求,降低了生產管理、資源管理的生產成本,還有效提升了數據資源的利用率。擴展性、可行性、綜合性較高的虛擬化技術成為了許多企業與研究機構重點關注的對象,使其在大大降低人力、財力、物力的同時,有利于社會經濟效益的可持續發展。因此,在大數據時代背景下,企業要分析自身的發展情況與發展需求,從而順應時代潮流,做好對虛擬化技術的創新研究,通過較高的科技水平來發揮出虛擬化技術的特點。>>>>推薦閱讀:研究高職計算機專業網絡教育平臺現狀
二、大數據下計算機軟件技術的具體應用
(一)商業通信領域的應用
由目前情況可知,計算機軟件技術在商業通信行業的快速發展中起著十分重要的作用,許多通信工作人員能夠通過各類計算機軟件技術,來有效分析與記憶所有消費者的不同消費習慣與需求,從而實現用戶滿意度的提升以及通信企業的良好發展發展。例如,IBMSPSS作為一款測預分析軟件,它能夠實時掌握用戶的信息,通過精準的分析來對用戶提供個性化的需求;而功能更加豐富的XO分析軟件以通信用戶的消費行為基礎進行合理的評估報告,不斷發掘用戶潛在的消費心理,同時它還可以借助網絡分析加速器,來檢測自身系統存在的問題,并且快速、開心的制定出解決方案。
(二)商業領域的應用
計算機軟件技術在商業領域的應用,不僅可以幫助工作人員優化工作結構,做好企業各部門作職責的分配,同時電子商務企業能夠借助計算機軟件技術來實現數據信息的匯總、處理,從而通過線上或者是線下多種方式促進消費者的消費行為,有利于企業核心競爭力的提高。而在用戶信息的管理方面,工作人員可以通過Gognos技術在設備上建立起即時功能平臺,用于用戶信息的查詢。例如,景區里的管理人員能夠利用電腦、手機等實時共享設備實現對進出游客的實時控制。
(三)企業信息解決方案方面的應用
在大數據背景下,計算機軟件技術還可以用于解決企業在發展過程中容易出現的信息安全問題,管理人員能夠通過對數據資料的深入挖掘來掌握準確、有效的市場信息以及風險評估。首先是數據取樣環節,企業人員需要在所銷售的產品之中隨機抽取代表性強的產品,其次是信息收集整合環節,借助計算機軟件技術的計算分析來提高結果的可靠性,從而實現幫助企業有效在行業競爭的過程中規避市場風險的目的。
三、結論
結合本文,隨著大數據時代的不斷發展,計算機軟件技術漸漸的與社會上的各行各業有了緊密的聯系,在企業行業競爭力的提升中起到了至關重要的作用,并且為各個企業的生產發展提供十分重要的技術保障。因此,計算機軟件技術領域應當適應時展要求,以提供優質、安全的數據管理應用為目標,從而在海量數據信息的收集、分析、存儲環節中發揮出高效防護、管理的作用,同時還要對計算機信息系統采取有效的措施,充分保障數據信息的安全性。
【計算機碩士論文參考文獻】
[1]郝雅萍.基于大數據下計算機軟件技術的應用[J/OL].電子技術與軟件工程,2019(06):166[2019-04-22].
[2]盧凌.大數據時代下計算機軟件技術的應用探索[J].現代工業經濟和信息化,2019,9(01):85-86.
[3]王志國.大數據下計算機軟件技術的應用分析[J].信息與電腦(理論版),2019(03):103-104.
篇3
關鍵詞:大數據時代;網絡通信技術;分析
計算機網絡技術的發展與完善,Internet技術應用領域廣泛,并且現在人們生活、學習與工作已經離不開計算機網絡。現在人們的需要不斷變化,計算機遠程網絡通信技術需要不斷更新以適合現代人們的需要,同時保障計算機遠程網絡通信。在大數據時代,提高計算機遠程網絡通信的質量,滿足用戶的需求是迫切需要解決的問題,在大數據時代,如何提高計算機遠程網絡通信質量,更新計算機遠程網絡通信技術,保障用戶的需求,給計算機遠程網絡通信技術的專家和學者提供了機遇和挑戰,以適合現代社會發展需要。
1大數據時代計算機遠程網絡通信技術的優勢
計算機遠程網絡通信技術在應用過程中根據用戶的需求不斷更新,在大數據技術的應用到計算機遠程網絡通信技術有一定的優勢。首先抗干擾性強,計算機遠程通信技術在大數據技術的應用下,保障數據傳輸的有效性,提高了數據傳輸的抗干擾性,保障了數據傳輸的準確性。其次有利于與計算機結合,計算機是計算機遠程網絡通信的主要工具,在大數據技術的應用下,讓計算機與計算機遠程通信網絡能更好的兼容,能更加有效保障通信的質量與效果。最后具有多樣性特點,在大數據技術的應用下,根據用戶的不同需要,計算機網絡通信技術可以給用戶提供多種選擇方案,為用戶提供多樣化服務,滿足用戶的需要,符合現代社會發展,計算機遠程網絡通信技術改革為用戶需求服務。
2大數據時代計算機遠程網絡通信技術存在的問題
2.1計算機遠程網絡通信技術故障
大數據時代計算機遠程網絡通信在運行的過程中,出現計算機遠程網絡通信技術問題是一種常見問題。計算機遠程網絡通信技術故障主要表現其一是物理層出現問題,物理層出現問題一般是接口問題,一旦出現問題影響數據的發送與接收,同時也容易被黑客等進行攻擊。其二是網絡層出現問題,網絡層問題一般是路由器出現問題或網絡IP地址出現問題,在網絡運行的過程中容易出現網絡擁塞現象,對網絡通信產生一定的影響。當網絡層出現問題還有可能受到病毒的攻擊,這會給網絡通信起到阻礙作用,在網絡通信要注重網絡病毒的防治,減少網絡病毒對網絡通信的攻擊。
2.2計算機遠程網絡通信的速度問題
現在人們的生活、學習與工作離不開計算機網絡,計算機遠程網絡通信的速度是大家關心的問題,數據在網絡上傳輸視頻、圖片等都有傳輸失敗的現象,這都是計算機遠程網絡通信出現問題,多數都是由于網絡擁塞現象造成的,在計算機遠程網絡通信帶寬增加的過程中,但每年網絡用戶大量增加,這給網絡通信的速度帶來一定問題,阻礙了人們的正常網絡通信。
3大數據時代計算機遠程網絡通信技術的革新
3.1對計算機遠程網絡通信技術進行維護
計算機網絡遠程通信需要網絡設備,網絡設備需要進行維護保障計算機網絡正常通信。在維護的過程中,主要是根據每個企業的情況對其進行定期的檢測和維護,為了更好地對計算機進行維護可以讓相關人員每天對機器進行檢查,對通信的情況進行評價,每周可以做一次匯報總結,對于出現問題的機器要及時進行檢修,這樣能夠保證整個系統的運行。要保障計算機遠程網絡通信質量,需要對網絡通信設備定期進行檢測與維護,同時每臺設備最后建立檔案,同時每臺設備都需要有專人負責,建立一種維修維護責任制。
3.2革新計算機遠程網絡通信的速度
計算機遠程網絡通信速度是用戶最關心的問題,提高計算機遠程網絡通信速度是一個多元化因素,必須利用現代科學技術,科學有效的保障計算機遠程網絡通信速度提升。擴大帶寬是提高計算機遠程網絡通信速度提高的有效方法,但提高帶寬需要技術支持,同時也需要經濟的支持,網絡的基礎設施需要提升,網絡的硬件設備需要購買,這些都是提高網絡通信速度的基礎,為了保障網絡通信速度提升,必須加強網絡通信的基礎建立,完善網絡通信的擴大化,符合現代網絡通信的優化。提高計算機遠程網絡通信速度,需要在軟件和硬件方面都進行改變,以適合現代遠程網絡通信發展的需要,同時能進一步提高用戶的滿意度,符合現代計算機遠程網絡通信速度提升的需求。
篇4
1.1建立數學模型
工程上的計算是以函數,尤其是數值函數為基礎的。所謂數值函數就是說在函數的定義域中每一點x就可得位移的f{x}值,此值成為f在x處的值。例如,如何表示空氣的cp{T,P}函數?我們可以利用計算機,輸入程序,就會得到很精確的結果。除了上述問題,還有很多化學工程的數據處理的過程模擬,如:非線性方程求解、線性方程組的迭代求解、常微分方程數值解、偏微分方程數值解等等,都是先建立一個數學模型,然后帶入計算機,最終得出一系列結果的。
1.2Office軟件在化學工程中的應用
隨著計算機的普及,越來越多的人把原本紙上的工作轉移到計算機中去了。化學工程學科需要處理大批文檔工作。譬如,化工論文的書寫、化工文獻的編輯、化工產品的說明,這些文檔中常常會有大量的圖表、公式、特殊符號,會話費人們大量的精力和時間,進而影響新信息的及時傳播。有了Office中的Word軟件,處理上述問題就方便多了。Word軟件能夠比較輕松地輸入各種文檔,還可以對文檔進行多種編輯處理。編輯化工論文時經常用到的功能如:
(1)改變字體大小。
(2)隨意設定版面。
(3)利繪圖工具繪制實驗流程圖,并修改。
(4)利用公式編輯器編輯數學公式及化學反應式。
(5)可插入表格及頁碼。
(6)復制和刪除方便。Excel工具的強大的分析數據功能可以將數據進行統計,然后將其規律性地展示出來。在處理化工數據時,我們可以利用Excel工具進行求平均值、自編公式計算等。
1.3Origin在化學工程數據處理中的應用
Origin是具有較強功能的實驗數據處理軟件。可利用Origin進行圖形生成,我們可以在軟件中輸入實驗后得到的數據,通過軟件得到實驗數據曲線圖。為利用Origin工具繪制的實驗數據圖。通過圖形或曲線,可以清晰明了地把大數據展示給他人,并從中發現數據之間的規律,以便更好地進行實驗。
2結語
篇5
關鍵詞:大數據;Hadoop;分布式;k-means
中圖分類號:TP393.02
“大數據”時代已經降臨,在商業、經濟及其他領域中,決策將日益基于數據和分析而作出,而并非基于經驗和直覺[1]。隨著互聯網和信息行業的發展,在日常運營中生成、累積的用戶網絡行為數據的規模是非常龐大的,以至于不能用G或T來衡量。我們希望從這些結構化或半結構化的數據中學習到有趣的知識,但這些數據在下載到關系型數據庫用于分析時會花費過多時間和金錢。因此,并行化數據挖掘成為了當下的一個熱門研究課題,其主要編程模式包括:數據并行模式,消息傳遞模式,共享內存模式以及后兩種模式同時使用的混合模式[2][3]。
1 國內研究現狀
當前中國的云計算的發展正進入成長期,國內很多研究者正進入分布式的數據挖掘領域,利用國外的成熟平臺,例如Hadoop來實現大數據的聚類等算法。但是數據的多樣性,文本多格式,造成對數據的操作有很大的難度,而如今大多數論文都利用了標準化的mapreduce方法來進行代碼的編寫,具有一定的通用性,但是Hadoop下還有許多的工具,能夠簡化m/r過程,同樣對一定結構的數據具有很好的并行效果,但是這方面的研究比較少,因此本文引入了HIVE的運用,簡化了數據的操作過程,利用類似標準的SQL語句對數據集進行運算,在一定程度上提高了并行化計算的效率。
2 Hadoop并行化基礎
數據挖掘(Data Mining)是對海量數據進行分析和總結,得到有用信息的知識發現的過程[4]。其中的聚類是一個重要的研究課題,在面對如此的海量數據,現有的單機模式的挖掘算法在時間與空間上遇到了很大的限制,而并行化處理是一種比較好的解決模式。Hadoop是當下比較熱門的一個分布式計算的平臺,其中的一個數據倉庫工具HIVE簡單快捷地實現MapReduce方法,適用于結構化數據的存儲模式。
Hadoop是一個分布式系統的基礎架構,其平臺由兩部分組成,Hadoop分布式文件存儲系統(HDFS)和MapReduce計算模型[5]。
HDFS的架構是基于一組特定的節點構建的(參見圖1),這是由它自身的特點決定的。這些節點包括NameNode(僅一個),它在HDFS內部提供元數據服務;DataNode,它為HDFS提供存儲塊。由于僅存在一個NameNode,因此這是HDFS的一個缺點(單點失敗)。存儲在HDFS中的文件被分成塊,然后將這些塊復制到多個計算機中(DataNode)。這與傳統的RAID架構大不相同。塊的大小(通常為64MB)和復制的塊數量在創建文件時由客戶機決定。NameNode可以控制所有文件操作。HDFS內部的所有通信都基于標準的TCP/IP協議。
MapReduce是一種高效的分布式編程模型,用于海量數據(大于1TB)的并行運算[6],它的主要思想就是映射(Map)和化簡(Reduce)。一個任務(Job)需要實現基本的MapReduce過程主要包括三個部分:(1)輸入數據;(2)實現Map函數與Reduce函數;(3)實現此任務的配置項(JobConf)[7],圖1描述了實現MapReduce的基本原理:
圖1 MapReduce原理圖
3 基于HIVE的并行k-means聚類算法設計
3.1 Hive簡介
Hive是基于Hadoop的一個數據倉庫工具,是建立在Hadoop上的數據倉庫基礎構架,可以將結構化的數據文件映射為一張數據庫表,并提供完整的sql查詢功能,可以將sql語句轉換為MapReduce任務進行運行。其優點是可以通過類SQL語句快速實現簡單的MapReduce統計,不必開發專門的MapReduce應用,十分適合數據倉庫的統計分析。
3.2 Hive體系結構
圖2 HIVE體系結構圖
圖2顯示了HIVE的主要組件以及它和Hadoop的相互作用[8],其主要組件說明如下:
外部接口,Hive同時提供了用戶界面的命令行(CLI)和Web UI,以及應用程序編程接口(API),如JDBC和ODBC。
Hive Thrift服務器公開了一個簡單的客戶端API來執行HiveQL語句。Thrift[9]是一個用于跨語言服務的框架,框架內用一種語言(如Java)編寫,服務器也可以支持其他的語言的客戶端。Thrift Hive客戶端用不同語言生成用于構建常用的驅動程序,如JDBC(java),ODBC(c++),以及用php,perl,python等編寫的腳本驅動程序。
元數據存儲(metastore)是系統目錄。所有其他的Hive組件都和metastore有交互。
3.3 K-means算法介紹
k-means算法是最為經典的基于劃分的聚類方法,它的基本思想是:以空間中k個點作為中心進行聚類,對最靠近它們的對象進行分類。通過迭代的方法,逐次更新各聚類中心的值,直到有良好的收斂[10]。假設要把樣本集分為m個類別,算法描述如下:
(1)適當選擇m個類的初始中心;
(2)在第k次迭代中,對任意一個樣本,求其到m個中心的距離,將該樣本歸到距離最短的中心所在的類;
(3)利用歐式距離等方法更新每一個新類的中心值;
(4)對于所有的m個聚類中心,如果利用(2)(3)的迭代法更新后,值保持不變或者變化在可允許范圍內,則迭代結束,否則重復(2)(3)步驟。
參考文獻:
[1]杜鵑,沈銘思.大數據時代,讓子彈飛[J].中國制衣,2013-02-05:12.
[2]胡善杰.數據挖掘算法并行化研究[J].電子世界,2012(12):67-68.
[3]都志輝.高性能計算之并行編程技術——MPI并行程序設計[M].北京:清華大學出版社,2006.
[4]王超鵬.基于云計算分布式數據挖掘算法研究[J].技術研發,2012:92-104.
[5]Dean J,Ghemawat S.MapReduce:simplified data processing on large clusters[C].Proceedings of Operating Systems Design and Implementation. San Francisco,CA,2004:137-150.
[6]付東華.基于HDFS的海量分布式文件系統研究與優化[J].北京:北京郵電大學軟件工程,2012-05.
[7]江小平,李成華,向文,張新訪,顏海濤.k-means聚類算法的MapReduce并行化實現[J].華東科技大學學報,2011-06(39):120-124.
[8]葉文宸.基于HIVE性能優化方法的研究與實踐[J].南京:南京大學軟件工程學院,2011.
[9]劉書楠.Thrift入門簡介[J].YOUNG青年與社會,2013(1):228.
[10]崔丹丹.K-means聚類算法研究及改進[M].安徽:安徽大學計算機學院,2012-04.
[11]Xu X W,Jager J, Kriegel H P. A fast parallel clustering algorithm for large spaial databases[J].Data Mining aand knowledeg Discovery,1999,3(3):263-290.
篇6
谷歌有一個名為“谷歌流感趨勢”的工具,它通過跟蹤搜索詞相關數據來判斷全美地區的流感情況(比如患者會搜索“流感”兩個字)。近日,這個工具發出警告,全美的流感已經進入“緊張”級別。它對于健康服務產業和流行病專家來說是非常有用的,因為它的時效性極強,能夠很好地幫助到疾病暴發的跟蹤和處理。事實也證明,通過海量搜索詞的跟蹤獲得的趨勢報告是很有說服力的,僅波士頓地區就有700例流感得到確認,該地區目前已宣布進入公共健康緊急狀態。
這個工具工作的原理大致是這樣的:設計人員置入了一些關鍵詞(比如溫度計、流感癥狀、肌肉疼痛、胸悶等),只要用戶輸入這些關鍵詞,系統就會展開跟蹤分析,創建地區流感圖表和流感地圖。谷歌多次把測試結果與美國疾病控制和預防中心的報告做比對,發現兩者結論存在很大相關性。
但它比線下收集的報告強在“時效性”上,因為患者只要一旦覺察有流感癥狀,在搜索和去醫院就診這兩件事上,前者通常是他首先會去做的。就醫很麻煩而且價格不菲,如果能通過搜索來尋找到一些自我救助的方案,人們就會第一時間使用搜索引擎。故而,還存在一種可能是,醫院或官方收集到的病例只能說明一小部分重病患者,輕度患者是不會去醫院成為它們的樣本的。
這就是一個典型的“大數據”的應用例子,舍恩伯格的這本《大數據時代》受到了廣泛的贊譽,他本人也因此書被視為大數據領域中的領軍人物。大數據起源于數據的充裕,舍恩伯格在他的另外一本書《刪除》中提到了這些源頭:首先,信息的數字化,使得所有信息都可以得到一個完美的副本;其次,存儲器越來越廉價,大規模存儲這些數字信息成本極低;再次,數據庫技術的完善使得這些存儲的信息能夠被輕易按照一定的條件搜索出來;最后,全球性覆蓋,網絡是無國界的,A地的數字信息可以讓遠在天邊的B地調用。
當我們掌握有大量的數據后,便可以開始進行所謂“大數據”的操作。大數據在舍恩伯格看來一共具有三個特征:全樣而非抽樣,效率而非精確,相關而非因果。
第一個特征非常好理解。在過去,由于缺乏獲取全體樣本的手段,人們發明了“隨機調研數據”的方法。理論上,抽取樣本越隨機,就越能代表整體樣本。但問題是獲取一個隨機樣本代價極高,而且很費時。人口調查就是典型一例,一個稍大一點的國家甚至做不到每年都一次人口調查,因為隨機調研實在是太耗時耗力了。但有了云計算和數據庫以后,獲取足夠大的樣本數據乃至全體數據就變得非常容易了。谷歌可以提供谷歌流感趨勢的原因就在于它幾乎覆蓋了七成以上的北美搜索市場,而在這些數據中,已經完全沒有必要去抽樣調查這些數據,數據倉庫里所有的記錄都在那里躺著等待人們的挖掘和分析。
第二點其實建立在第一點的基礎上。過去使用抽樣的方法,就需要在具體運算上非常精確,因為所謂“差之毫厘便失之千里”。設想一下,在一個總樣本為一億人口的范圍中隨機抽取1000人,如果在1000人上的運算出現錯誤的話,那么放大到一億中會有多大的偏差。但全樣本時,有多少偏差就是多少偏差,不會被放大。諾維格,谷歌人工智能專家,在他的論文中寫道:大數據基礎上的簡單算法比小數據基礎上的復雜算法更加有效。精確的計算是以時間消耗為代價的,但在小數據時代,追求精確是為了避免放大的偏差而不得已為之。但在“樣本=總體”的大數據時代,“快速獲得一個大概的輪廓和發展脈絡,就要比嚴格的精確性要重要得多”。
第三個特征則非常有趣。相關性表明變量A和變量B有關,或者說A變量的變化和B變量的變化之間存在一定的正比(或反比)關系。但相關性并不一定是因果關系(A未必是B的因)。亞馬遜的推薦算法非常有名,它能夠根據消費記錄來告訴用戶你可能會喜歡什么,這些消費記錄有可能是別人的,也有可能是該用戶歷史上的。但它不能說出你為什么會喜歡的原因。難道大家都喜歡購買A和B,就一定等于你買了A之后就要買B嗎?未必,但的確需要承認,相關性很高——或者說,概率很大。
舍恩伯格認為,大數據時代只需要知道是什么,而無需知道為什么,就像亞馬遜推薦算法一樣,知道喜歡A的人很可能喜歡B,但卻不知道其中的原因。這本書的譯者周濤教授則有不同的看法,他認為,“放棄對因果性的追求,就是放棄了人類凌駕于計算機之上的智力優勢,是人類自身的放縱和墮落”。
在筆者看來,雙方討論的可能不是一回事。合恩伯格在這本書中完全不像他在《刪除》一書中表現得那么有人文關懷,這是一本純商業的書籍,商業本來就是以結果為導向的。但周濤談論的卻和“人工智能”有關。
騰訊公司副總裁吳軍在他的《數學之美》中曾經提到,人工智能領域曾經走過一個很大的彎路,即人們總是試圖讓計算機理解人類的指令——注意,是理解,不是知道。但折騰了很多年發現計算機的理解力實在得比三歲小孩還要弱。最終人工智能放棄了這條途徑,而改為數據傳輸和匹配。舉個例子說,你在進行語音輸入的時候,事實上計算機完全不知道你在說什么,但不妨礙它能夠準確地把你說的話盡可能地用字符表達出來。蘋果的Siri是很神奇,但它其實并不懂你的意思,而只是你的語音數據和它的后臺數據一次匹配而已。
篇7
【關鍵詞】人工智能;計算機網絡技術;應用;優化
【中圖分類號】TP393【文獻標志碼】A【文章編號】1673-1069(2020)08-0180-02
1引言
人工智能技術與大數據技術是新時期計算機網絡技術快速發展的產物,在這一背景下,人工智能技術、大數據技術應用水平得到了很大提升,各個行業都需要將人工智能技術、大數據技術、計算機技術進行有效融合,積極探索先進技術的應用形式,明確計算機網絡技術發展趨勢,為技術研發控制工作的開展提供支持,滿足計算機網絡技術的科學發展需求。基于此,文章闡述了人工智能技術的相關內容,介紹了人工智能在計算機網絡技術中的應用,總結了實踐應用及優化措施。
2人工智能技術概述
人工智能技術將計算機科學、心理學、生理學、語言學等進行了有效融合,這項技術賦予了機器人工智能功能,機器可以針對復雜、危險的工作進行有效處理,既能夠提升工作效率,又可以保障人身安全[1]。目前,人工智能技術呈現出綜合性特點,為計算機科學技術的進步、發展提供了技術支持,技術人員需要將人工智能技術作為核心,針對數值計算、問題求解進行優化,可以將其發展成知識處理,人工智能還可以處理各項不確定信息,加深對系統資源狀態的實時了解、追蹤,以獲取更多有效的信息內容,向用戶提供更多的信息。人工智能技術的寫作能力比較強,能夠針對很多資源、信息進行整合,用戶可以共享、傳輸各項信息,根據多寫作的分布式人工智能思想、網絡管理,提高網絡管理工作效率、效益。在網絡智能化管理過程中,人工智能具有很大優勢,具備很強的學習能力、推理能力,其在網絡管理中的應用能夠快速、準確處理各項信息,還具備記憶功能,可以存儲更多信息,構建信息庫,針對信息進行總結,產生高級的信息。
3計算機網絡技術中人工智能應用現狀
在科學技術的快速發展中,計算機網絡涉及范圍日益擴大,人工智能技術和計算機網絡進行有效融合,人民群眾越來越關注人工智能技術優勢及發展。在日常工作、生活過程中,人們可以利用人工智能技術,有效地處理模糊信息,改善了傳統計算機網絡技術局限性的影響,人工智能技術還能夠根據網絡環境強化信息監控力度,提高工作的準確性。同時,人工智能技術能夠確保各項管理工作的協調性,利用人工智能技術可以制定信息約束管理系統,配合人工智能技術全面監測各項網絡信息,突出各個管理層相互協作的特征。現階段,人工智能技術的應用范圍更加廣泛,并處于快速發展時期,在未來社會的發展中人工智能技術水平也將提升,為人民群眾的生活、工作提供更多便利。
4人工智能在計算機網絡技術中的應用
4.1網絡安全管理
在信息技術的快速發展中,網絡安全管理是完善、探索過程中的關鍵管理工作,網絡安全管理工作為提升網絡技術應用提供了基礎保障,通過確保網絡技術應用安全,可以為生產工作的有效性提供支持。在這一背景下,技術人員利用大數據技術、人工智能技術,可以有效地規劃網絡安全管理工作要點,滿足網絡安全管理中的各項技術應用需求,其主要原因是大數據技術、人工智能技術的應用,有效地提升了網絡安全管理系統的防護能力,為網絡安全管理提供了防護保障。例如,在大數據時代,為了滿足計算機網絡技術、人工智能技術應用需求,應建立網絡安全防護中的人工智能防護體系,可以將智能攔截防護技術、人工智能技術進行融合,組建技術控制中的核心防護網絡體系,將其作為計算機網絡技術傳輸的信息防護形式。另外,在網絡安全管理過程中,利用人工智能技術、大數據技術,可以有效地整合網絡安全防護體系,提升網絡安全防護技術水平。
4.2數據采集與分析
現階段,在數據采集分析過程中,技術人員需要強化人工智能技術的應用,工作人員在應用計算機技術的過程中,會產生龐大的數據量,需要挖掘更多的數據,大數據時代信息逐漸呈現出多樣性、數據總量大等特點,單純地依賴傳統技術采集數據壓力相對較大,而利用人工智能技術可以有效地解決數據采集問題,科學、合理地采集、分析更多數據,有效地提升數據分析效率。
4.3計算機網絡系統管理及評價
為了滿足大數據時代的多元化功能、服務需求,需要將計算機網絡技術、人工智能技術進行融合。在計算機網絡安全管理過程中,技術人員需要將人工智能滲透到計算機網絡技術中,確保網絡管理的安全性,其具備的問題求解技術、專家知識庫能夠促使計算機網絡綜合管理。現階段,計算機網絡呈現出瞬變性、動態性、復雜性特點,人工智能技術的應用可以將復雜的計算機網絡綜合管理進行簡單化處理,為綜合管理提供便利[2]。同時,以人工智能技術基礎發展的專家決策、支持方法,已在信息系統管理中得到了有效應用,并取得了很大效果,專家系統可以自主吸收、總結專家的經驗、知識,將更多的經驗、知識錄入系統中,針對系統知識進行完善,能夠利用匯集的專家經驗自主解決、處理更多相似問題。另外,人工智能技術在計算機網絡管理、系統評價中的應用,可以有效地解決復雜工作。
5人工智能在計算機網絡技術中的優化措施
5.1提升人工智能的智能化程度
現階段,技術人員需要強化人工智能技術研究力度,不斷提升智能化水平,充分發揮出人工智能在計算機網絡中的作用,為了提升人工智能技術的智能水平,需要針對場景、數據模擬效果進行強化,如人工智能技術的應用可以根據計算機網絡技術特點,創新、優化人工智能系統。
5.2政府與企業參與技術創新
人工智能技術屬于高新技術,在應用、推廣過程中,工作人員需要進行改革創新,政府、企業是人工智能技術的創新主體,對于政府部門來說,企業創新具有很大優勢。政府部門需要根據人工智能技術研發相應的政策支持,營造良好的環境,在人工智能技術創新過程中,需要大量資金、優秀人才作為支持,政府部門需要發揮領導作用,鼓勵企業進行創新,還需要加大資金投入力度,促使人工智能技術向高層次進行發展。
5.3強化網絡安全維護人工智能應用環境
人工智能在計算機網絡技術中的應用,需要強化網絡安全維護工作,促使人工智能技術更好地應用到計算機網絡技術中,相關部門需要強化網絡安全維護工作,營造良好的人工智能技術應用環境,重視信息泄露問題,確保各個部門放心使用人工智能技術,實現人工智能技術應用的預期效果[3]。
6結語
篇8
關鍵詞:大數據 云存儲 Hadoop HDFS
中圖分類號:TP3 文獻標識碼:A 文章編號:1007-9416(2014)02-0172-01
1 引言
隨著移動互聯網以及物聯網的發展,“大數據”漸漸成為發展的一種趨勢,如何有效存儲數據成為我們面臨的一個問題,云存儲技術成為首要選擇。因為用戶不需要進行硬件的管理和維護,它本身能夠根據所需容量大小對用戶數據進行定制,從而大大縮減了用戶的成本和人力的投入。另外云存儲技術具有易擴充、價格低、易管理等優點,同時它也可以通過對外提供數據的存儲以及業務的訪問功能,以降低數據管理和運維成本。Hadoop分布式文件系統(HDFS)是一個運行在普通的硬件之上的分布式文件系統,具有高傳輸率、高容錯性等特點,來滿足當前海量數據的存儲管理問題。
本文主要提出了一種在大數據場景下基于HDFS的云存儲服務系統設計方案,滿足對大數據進行高效存儲的需求。
2 HDFS數據管理機制分析
Hadoop是一個分布式系統基礎架構,由Apache基金會開發。它實現了一個分布式文件系統,簡稱HDFS。
由圖1可知, HDFS是主從式的分布式系統,對于數據的操作集中在名稱節點(NameNode)以及數據節點(DataNode)。NameNode上保存著控制信息的元數據,DataNode上保存的是實際數據,因此客戶端可以通過NameNode對元數據進行相關操作。
3 系統分析與設計
3.1 系統分析
目前許多企業面臨空前的海量數據管理難題,存儲數據的成本也居高不下,并且信息存儲的安全性也有待加強。因此,結合云存儲的特點,要設計一個成功的云存儲服務系統案例,可以從以下幾個方面考慮:
(1)大容量。通過對連接的普通PC機上的存儲文件類型進行設置,從而合理分配數據。
(2)高效性。將客戶端對文件數據的請求盡可能分散,提高其并發性。
(3)安全性。通過Hadoop集群的副本策略提高安全性,同時也可以兼顧Hadoop平臺的容錯技術。
(4)可擴展性。當請求增加時,系統可以通過增加PC機節點來擴展系統存儲容量和計算性能。
3.2 系統設計
本文將設計的基于HDFS的云存儲系統命名為“望遠鏡”云平臺系統,實現用戶對存儲在本地的文件數據進行管理和維護,并可通過客戶端將指定文件上傳到集群系統中,或實現下載功能。
本系統的功能需求分為管理員的功能需求和普通用戶的功能需求。共分為三個模塊:管理員、普通用戶和平臺管理。圖2所示為系統功能模塊圖。
4 結語
本系統的主要任務是對來自用戶的大容量數據進行存儲,所以系統滿意度最重要的判斷標準是對于用戶作業的處理時間的響應,由于本系統在實現中,因此這部分工作后續完成,另外可以在用戶的存儲空間管理方面以及信息安全等方面可以進行進一步的優化和改進。
參考文獻
[1]http:///.
[2]OtisGosvodnetie,ErikHateher.Lueeneinaetion.London:Manning,2005.
[3]趙文輝,徐俊,周加林,李晨.網絡存儲技術.北京:清華大學出版社,2005.
[4]黃曉云.基于HDFS的云存儲服務系統研究:(碩士學位論文).大連:大連海事大學,2010.
[5]李武.面向現代服務業的大規模分布式文件存儲系統設計和實現:(碩士學位論文).杭州:浙江大學,2008.
[6]李學干,徐甲同.并行處理技術.北京:北京理工大學出版社,1994.
篇9
【 關鍵詞 】 計算機;網絡技術;應用;發展趨勢
1 引言
計算機網絡技術的發展推動了社會的進步,計算機網絡技術的興起與發展給社會生活與生產帶來了質的飛越。當前,計算機網絡技術的應用十分廣闊,其具體應用主要局域網技術、國際互聯網技術以及無線網絡技術等。
2 計算機網絡技術
2.1 計算機網絡技術的內涵及優勢
作為電子計算機技術與通信技術結合的產物,計算機網絡技術能夠充分發揮兩者的優勢。一般來說,利用光纖、光纜或者雙絞線、通信衛星等就可以將分散各處的獨立計算機按照網絡協議連接組成網絡。計算機網絡技術的優點是顯而易見的,它因為結合了通信技術與計算機技術,不僅能夠以高效、便捷的方式進行運算,還能夠實現數據資源的存儲、傳輸與共享。
2.2 計算機網絡技術的分類
根據劃分類型的不同,計算機網絡可以分為諸多種類。比如以拓撲結構分類的話,可以細分為環形、星形、樹形、復合型、總線型等網絡結構;按照連接范圍又可分為局域網(LAN)、城域網(MAN)廣域網和無線網絡(WAN)。當然,計算機網絡技術發展迅速,新興技術還包括搜索引擎、云計算等類型。這些技術特色與優點不同,在各領域有著不同的應用,不僅方便了人們的生活與工作,還進一步推動了科技與社會的發展。
2.3 計算機網絡技術的主要功能
計算機網絡技術的主要功能可以具體分為幾個方面。第一,計算機網絡技術的共享功能,也就是能夠實現資源的共享。一些重要的數據、參數等資源,可以被計算機利用計算機網絡技術進行相互連接,實現數據的復制、傳輸。第二,計算機網絡技術具有協同功能,可以相互協作完成工作。比如網絡內部某一臺計算機功能受限,無法完成該項工作,就可以借助計算機網絡技術將其分配到其他計算機上,從而保障計算機的工作效率。第三,計算機網絡技術具備通信功能,也就是數據通信。計算機網絡技術可以實現人與人、計算機與計算機、人機之間的相互通信。
3 計算機網絡技術的具體應用
3.1 局域網(LAN)技術的應用
局域網技術具有其他計算機網絡技術所沒有的特點,即低成本、高效益,雖然覆蓋范圍小,但是也因此而更加方便、快捷,其傳輸速度快,更加安全可靠。局域網技術在的應用主要分為三類產品。第一,城域網(MAN)。城域網傳播速度非常快,目前在城市中的應用多為寬帶局域網。因為用戶端設備價格低廉,操作簡單,因而普及率較高。并且隨著城域網技術的不斷發展,其傳輸速率、質量與安全性得到了有效的保證。城域網涉及的技術包括光纖值接入與多業務傳送平臺等。第二,以太網(Ethernet)。在局域網的發展中,以太網地位尊崇,是發展的主流。以太網主要包括三種結構――10BAST-T、10BASE2、10BASE5。這三種結構各有特點,10BAST-T在上世紀90年代應用較廣。隨著時代的發展,現如今已出現了傳輸速率高達100Mps的以太網組網結構。第三,令牌環網(Token-Ring)。該技術有幾個優勢:優先訪問控制權、令牌傳輸媒體訪問以及可以極大的滿足用戶對網絡系統的要求。
3.2 大數據及云計算等新技術的應用
大數據技術在交通、商業、農業、醫療和科研領域應用較廣。而云計算主要依托于Internet服務,從而將充分利用網絡資源,提高效率。目前來說該兩項技術都得到了較多的關注,尤其是云計算技術的受關注程度更高。一些科研人員甚至將其運用到醫療領域,以便其能為人們提供廣泛的醫療信息。在教育領域,云計算為教科研工作提供了廣闊的平臺。電子領域中,云計算提供了高效的運營技術。除此以外,搜索引擎、云技術等計算機網絡技術能夠對有用資源作自動處理,展現了不同技術相互融合所帶來的好處。
3.3 無線網絡技術的應用
無線網絡技術受到人們的喜愛,尤其是在個人通信領域、家用無線網絡等。無線網絡技術細分的話又可分為紅外技術與射頻無線網絡技術。前者抗干擾性強,傳輸速度快且成本低,但是使用范圍較窄,因為它無法穿透過厚的水泥板或者墻壁。
4 計算機網絡技術的未來發展趨勢
4.1 IP協議技術的發展與應用
隨著時代的發展以及人們對計算機網絡技術需求的激增,IP協議已經不再滿足人們的需求。尤其是IPv4的缺陷也暴露出來,其安全性與實時性受到人們的質疑。在這樣的背景下IPv6協議產生了。相較于IPv4協議,IPv6有著更加明顯的優勢,不僅其安全性得到了顯著的改善,能夠應對IP欺騙、連接截獲以及信息報探測等網絡攻擊行為,還具備一定的自動化特點,可以實現自動配置。將會逐步取代IPv4,成為新一代主流IP協議。
4.2 三網合一技術的全面推進
所謂三網合一技術,指的就是計算機網絡、電信網以及有線電視網的相互結合。三網合一的優勢就是建設成本降低,并且降低了使用的難度,與社會發展節奏更加契合。總的來說,三網合一技術將帶動眾多領域的進一步發展,比如遠程教育、在線咨詢、電子商務以及視頻會議等。
5 結束語
可以說,現代社會根本離不開計算機網絡技術。目前的電子計算機網絡技術應用主要集中在LAN技術、Internet技術以及大數據及云計算技術上。相信隨著計算機技術的不斷進步以及人們對通信技術的進一步探索,未來的計算機網絡技術將得到充足的發展,其前景十分廣闊。
參考文獻
[1] .新時期計算機網絡通信現狀及發展趨勢研究[J].中國新通信,2015(03).
[2] 岳政燃.淺談現有計算機網絡技術的應用和發展[J].電子制作,2015(02).
[3] 張沖.淺談計算機網絡技術在項目信息管理中的運用與發展[J].電子制作,2015(01).
[4] 左明慧.計算機網絡安全技術的應用與發展研究[J].企業導報,2015(11).
[5] 劉艷,葛麗萍.淺析計算機網絡技術在我國郵政企業中的應用與發展[J].信息通信,2015(01).
篇10
關鍵詞:大數據;統計學;教學改革
中圖分類號:C829.29 文獻識別碼:A 文章編號:1001-828X(2015)024-000-01
一、引言
最早提出“大數據”時代到來的是全球知名咨詢公司麥肯錫,現在的社會是一個高速發展的社會,科技發達,信息流通,人們之間的交流越來越密切,生活也越來越方便,大數據就是這個高科技時代的產物。大數據具有以下的鮮明特點:第一個特征是數據量大。第二個特征是數據類型繁多,多類型的數據對數據的處理能力提出了更高的要求。第三個特征是數據價值密度相對較低,如何通過強大的機器算法更迅速地完成數據的價值“提純”,是大數據時代亟待解決的難題。第四個特征是處理速度快,時效性要求高,這是大數據區分于傳統數據挖掘最顯著的特征。
統計學專業是與數據分析處理聯系最為緊密的學科之一。大數據時代的到來不僅為統計學專業的發展帶來的前所未有的機遇,同時也帶來了巨大挑戰。傳統的統計學專業已不再適應大數據時代的信息爆發式增長的要求,這就要求我們應該對統計學專業進行重新定位,并在此基礎上調整相關課程,改革傳統的教學手段以及完善教學評價體系,以適應大數據時代的到來。
二、統計學專業改革的建議
(一)人才培養目標的重新定位
如果說以往的統計學專業是以培養簡單的“應用型”人才為目標,那么隨著大數據時代的到來,社會不僅僅需要會應用基礎統計知識處理相關領域的問題的單一的應用型人才,而是對人才提出了更高的要求:大數據時代下的統計學專業的人才除了應該具備基礎的數據收集,處理和分析的能力之外,還應該了解相關應用領域的背景知識,而且應具備很強的自我學習能力,以適應大數據時代數據量大,總類繁多,時效性高等發展特點。因此,統計學人才培養目標應該重新作出調整,應該以培養全新的“復合型”統計人才為新的目標。
(二)課程設置的調整
隨著人才培養目標的重新定位,隨之而來的就是應該對不再適應時展要求的課程進行必要的調整。
首先,大數據的分析和處理與以往的經典分析方法有很大不同,以往的統計分析方法主要是建立在抽樣基礎之上,而大數據時代信息處理迅速,信息獲得途徑廣泛,而且信息價值密度低,這就要求數據處理時,可以以全體作為樣本,而不是進行抽樣;分析時必須考慮所有數據而不是剔除所謂的異常數據。因此,以往的經典統計分析方法已不再適應大數據的處理和分析,必須適當的調整經典分析方法的課程設置,增加新的適用于大數據分析的課程。
其次,隨著數據量的爆發式增長,所有的統計工作對計算機的依賴程度越來越高,這就要求統計學專業的學生不僅掌握統計學專業的基礎知識,同時應該熟練掌握計算機專業知識相關知識,因此,在課程安排時,應注意計算機相關課程的適當增加。
基于上述原因,可以考慮增加如下課程:機器學習,模擬算法,數據挖掘,R語言軟件分析等課程,同時適當降低傳統分析方法課程的學時比重。此外,為了使學生能夠對相關應用領域的背景知識有所了解,可適當增設與應用領域相關的通識課程。
(三)教學模式與手段的創新
以往的教學模式,通常是以課堂教學,掌握書本經典理論為主。雖然,傳統教學手段有著學生理論基礎扎實等諸多優點,但是同時也存才學生過于偏重理論知識的掌握,動手能力不足,理論與實踐脫節等缺點。隨著社會的發展,尤其統計學專業自身具有鮮明的應用專業特點。只采用傳統的教學模式和手段顯然不再適合大數據時代的需要;同時,隨著大數據時代的到來,多媒體手段日益豐富多彩,為傳統教學的創新提供了必要的支持。因此,為了適應大數據時代人才的要求,必須改革傳統的教學手段和模式,在傳統教學基礎上,加大實驗教學的比重,在傳統教學外,增加社會實踐環節,引入微課慕課,翻轉課堂等全新教學模式,以提高學生的學習興趣,鍛煉學生理論應用于實踐的能力,從而為以后使用大數據時代的工作打下堅實的基礎。
(四)教學評價體系的完善
傳統的教學評價體系,通常是采用書面考核的方式對學生的學習進行評價,隨著時代的發著,單純的筆試評價不足以衡量學生的全面能力,最后導致出現高分低能的情況的出現。
為了適應大數據時代對人才多方面能力的需求,必須對傳統的考核評價體系做出適當的調整,以評價學生的多方面能力,尤其是動手能力,學習能力和應用相關理論處理實際問題的能力。具體可以采用多種考核方法相結合的方式。如:增加平時的考核力度,增加實踐項目的考核,通過布置適當的項目論文,采用答辯的形式,以鍛煉學生適應以后工作,獨立分析解決問題的能力。
此外,傳統教學評價體系通常是單方面的,只有對學生成績的評價,為了適應大數據時代的到來,全面提高教學質量,可采取雙向教學評價體系,如:增加學生對教學環節的評價體系。以及教師間同行間的評價體系等。