數據分析方向范文
時間:2023-05-30 16:11:30
導語:如何才能寫好一篇數據分析方向,這就需要搜集整理更多的資料和文獻,歡迎閱讀由公務員之家整理的十篇范文,供你借鑒。
篇1
關鍵詞:大數據 統計專業 核心
中圖分類號:G632 文獻標識碼:A 文章編號:1674-2117(2014)10-0008-02
1 大數據的統計涵義
通常來說,凡是數據量超過一定大小,導致常規軟件無法在一個可接受的時間范圍內完成對其進行抓取、管理和處理工作的數據即可稱為大數據。業界通常用4個V(即Volume、Variety、Value、Velocity)來概括大數據的特征:數據體量巨大、數據類型繁多、價值密度低、處理速度快。
大數據潮流讓我們獲得了海量的數據,數據已經成為相關行業創造價值的重要資源。因此,許多IT企業和互聯網企業都已將業務范圍延伸至大數據產業,探索大數據驅動的業務模式。2012年,美國政府投資2億美元啟動的“大數據研究和發展計劃”,更是將大數據的研究上升到國家戰略層面。然而,大數據的真正意義不在于數據量的巨大,而在于對數據信息進行專業化的處理,核心是對數據進行分析。面對大數據,越來越多的領域都開始運用數學特別是統計學的工具,挖掘大數據中真正蘊藏的價值。正如西內啟在《看穿一切數字的統計學》書中所指出的,“從數據中得出有意義的結果,關鍵在于控制和減少誤差,得出因果關系,單純收集數據并加以全部量化分析在很多情況下會得出謬誤結果,”而科學的統計學方法是得出因果關系的最佳方法。
從統計學角度看,一方面,大數據具有類型繁多、結構復雜、體量巨大等特點,海量數據以分布式方式進行存儲,特別是圖片、音頻、視頻等非結構化數據的廣泛存在,傳統的統計方法和統計分析工具已無法滿足大數據分析的需要,亟需統計方法的革新。另一方面,數據分析結果需要用生動、直觀、容易被接受的方式展示給讀者,可視化分析能夠直觀地呈現大數據的特點,闡釋數據與數據之間的聯系。因此,統計學要挺立大數據潮頭,創新統計分析工具、可視化分析方法,以大數據的挖掘和應用為核心,將傳統文本、圖像的統計、分析向數據分析轉變,以適應大數據時代的發展及其對統計學帶來的挑戰。
2 大數據時代統計學教育面臨的挑戰與應對
據互聯網數據中心(Internet Data Center)預測,中國大數據技術與服務市場將會從2011年的7760萬美元快速增長到2016年的6.16億美元,而據業界專家估算,中國大數據市場的人才需求量至少為100萬人,其中統計人才、技術更是捉襟見肘。傳統數據收集和分析技術的知識結構已不能滿足大數據時代對“數據科學家”的要求,多家企業在面對大數據發展時遭遇人才瓶頸。大數據相關人才供給不足將會成為影響大數據市場發展的一個重要因素。
當前,全世界范圍內已有數百個高校開設了大數據分析專業。卡內基梅隆大學和新澤西州立大學在培養目標和課程設置上項目設置偏重于計算機方向。課程設置偏重統計學與運籌學(包括決策科學)的典型學校有田納西大學和約克大學。2013年,北京航空航天大學與慧科教育合作開辦了國內首個“大數據技術與應用”軟件工程碩士項目研究生班,這是目前國內唯一一個培養大數據行業專業型人才的項目,但其培養目標、知識體系是面向計算機領域,而立足統計學基礎的大數據分析人才培養項目,在國內可謂是鳳毛麟角。
知者隨事而制。高等院校統計學專業要通過有效利用和整合人才培養資源,承擔大學人才培養的責任,駕馭大數據的浪潮,占領大數據發展人才培養的制高點,體現高等院校向社會、企業提供智力支撐,輸送企業亟需的復合型、實用性大數據分析人才的載體作用,確保產業科學、持續、高速的發展。一是教育資源的整合,走在前列的首都經濟貿易大學、北京大學、中國人民大學、中國科學院大學、中央財經大學五所應用統計專業碩士培養單位在北京成立了“中國大數據教育協同創新體”,在高校之間實現學科融合、優勢互補、強強聯合,通過共享優質資源平臺、共同建立課程體系、共同建設案例資源庫、聯合搭建實踐實訓平臺等多種形式,創新人才培養體制機制。二是高等院校教育資源與業界資源的整合,通過與國有超大型企業、互聯網翹楚的協同培養,立足應用統計專業碩士教育,建立人才培養基地,進行協同創新,探索構建應用統計(大數據分析)專業碩士人才協同培養模式。以緩解當前大數據人才供需矛盾為目的,建立“校校協同、校企協同、院系協同”的大數據分析方向人才協同培養模式,最終實現協同培養“數據科學家”的目標。[5]
3 面向大數據分析方向的應用統計專業碩士培養模式的構建
本研究認為,可以將大數據分析及相關的案例教學模式融入應用統計專業碩士學位研究生的培養過程,進而打破統計學傳統的以闡述統計理論、公式推導、數學計算為主的教學模式。以情境浸潤為基礎,為學生呈現統計學在大數據領域應用為核心的教學模式,可以培養學生對大數據的挖掘、整合、分析價值的能力,以期更好、更快地適應企業對數據分析師、數據科學家的需求。
3.1 科學構建課程體系,突出大數據分析特點
大數據具有強烈的行業特點,在充分借鑒國外大學成功經驗的基礎上,大數據分析專業碩士的課程設置,強化數據分析能力和數據挖掘能力,注重上述技術在金融等領域的應用。必修課在講授統計基礎理論(描述、多元、時序、空間、可視化等)課程的基礎上,為增強學生的大規模分布式計算技能,引入主流的大數據計算平臺,如Hadoop分布式平臺、MapReduce并行編程算法。與此同時,為提高學生動手能力,構建數據模型思維,開設《大數據分析案例》等多門課程。選修課方面,考慮到學生二次開發的需要,設置大數據開發基礎課程,如C++、Java等。為突出應用統計專業碩士側重應用的特點,開設面向數據的編程語言,如R、SAS、Python等課程。這些課程模塊的設置并非體現某一學科知識的縱深發展,而是將相關學科的知識融合,有利于突出大數據分析的特點。
3.2 創新教學培養模式,注重培用結合
以“編組”方式開展教學活動。授課教師和學生均采用團隊編組模式,多名教師協同工作,共同完成一門課程的授課任務。打破原有學科思維、教材的束縛。采用導師指導與集體培養相結合的方式。教師不可照搬舊有的教學大綱、課程內容,要學習和熟悉大數據相關知識體系與技術新進展,充分結合大數據分析需求和實際案例,使課程內容緊貼實際需求,注重培養學生對模型的理解,對數據的想象力,真正實現學以致用、培用結合。
采取“訂制化”培養模式,突出培養與應用相結合的特點,力爭做到人、崗的高度匹配。“訂制化”培養模式打破了目前應用統計專業碩士統一培養、與市場需求脫節的模式壁壘,教學實踐以市場需求為導向,依照企業的崗位標準、用人要求,強調以崗位需求制定培養方案,更好地滿足用人單位對大數據分析人才的需求。
3.3 開展校企協同培養,構建問題導向、項目牽引的實踐教學模式
根據國務院學位委員會的規定,應用統計學專業碩士學位研究生教育的目的是培養具有良好的統計學背景,系統掌握數據采集、處理、分析和開發的知識與技能,具備熟練應用計算機處理和分析數據的能力,能夠并適應行業或職業實際工作需要的應用型高層次人才。因此,要摒棄普遍存在的重理論輕實踐、重知識輕技能的教學方式。
協同創新培養在實踐教學中建立了以問題為導向,以項目為牽引的運作機制,強調實踐教學內容的呈現方式要面向企業需求,讓學生參與到企業的項目運行過程中,引導學生建立業務建模能力,培養學生的數據資源整合能力,激發學生參與項目的積極性和自覺性。學生不拘泥于學校的實驗實訓基地和各類實驗室,在第二學年中安排一定時間走出校門,進入到企業的實際環境中,參與企業的項目組織、實施過程,在實踐過程中提升自我認知能力,在實踐過程應用知識和理論研究實際問題的能力,培養和鍛煉數據資源整合能力、溝通協調能力、IT支撐能力、業務建模能力,真正實現面向能力培養的目的。指導教師方面,在案例教學和實習階段引進業務素質高、項目經驗豐富、對大數據發展有敏銳洞察力的企業高級數據分析人員,指導學生在實習實踐中提出問題、建立模型、解決問題的能力。
4 結語
應用統計(大數據分析)專業碩士人才協同培養模式,是一項可持續發展的應用統計專業碩士人才培養的新模式,是專業碩士教學實踐的創新舉措,也是在全國率先建立起來的立足統計學,在大數據分析人才層面建立的校校協同、校企系統辦學體。體現了面向能力培養、面向社會需求培養、面向人才價值培養的“三個面向”的培養目標,著重培養學生分析數據、處理數據、展示數據的能力,對于培養“高層次、實用性、復合型、國際化”大數據分析人才意義重大,同時也是順應大數據技術革命的浪潮,必將對大數據等新興技術產業的發展注入活力。
(首都經濟貿易大學,北京 100070)
參考文獻:
[1]劉軍.Hodoop大數據處理[M].人民郵電出版社,2013.
[2]大數據的四個典型特征[N].中國電子報、電子信息產業網,2012(12).
[3]CCF大數據專家委員會.2014年大數據發展趨勢預測[J].中國計算機學會通訊,2014(1):32-36.
篇2
1.1 索引對象的概念
數據庫對象是一種邏輯結構的集合,索引是供用戶快速查找到記錄的數據庫結構,在邏輯上和物理上都獨立于表的數據。索引可以在表內創建一個或多個列的組合,當建立索引以后表中數據會按照索引創建語句所定義的排序方式返回給用戶。索引有多種類型,除了標準索引外,還包括唯一索引、位圖索引、組合索引、基于函數的索引、反向鍵索引等。
建立索引能夠提高 SQL 語句執行的性能,減少磁盤I/O。無索引查詢,通常是全表搜索后才會得到結果,全表搜索會讓數據庫服務程序遍歷表中的所有記錄然后返回結果;而建立索引后查詢,可以讓數據庫服務程序快速地定位到表中的確定行。當表被刪除時所有與表相關的索引也將被刪除。
索引可以被創建、重建和刪除,索引建立語句:CREATE INDEX item_index ON itemfile (itemcode) TABLESPACE index_tbs;索引重建語句:ALTER INDEX item_index REBUILD;索引刪除語句:DROP INDEX item_index。
創建索引是為了提升數據庫查詢性能,在使用索引時需要注意以下情況:
1) 對于小表來說,使用索引對于性能不會有任何提高;
2) 當索引列中有極多的不同的數據和空值時索引會使性能有極大的提高;
3) 經常執行更新、修改操作的字段需要謹慎創建索引,因為更新索引的開銷會降低創建索引所期望獲得的性能;
4) 不要將索引與表存儲在同一個驅動器上,分開存儲會去掉訪問的沖突從而使結果返回得更快。
1.2 索引對象優化方法
在業務系統中針對索引對象的優化,主要包括三種方式:一是重建過高的索引層次;二是清除無效的索引;三是對索引碎片的清理。
2.2 風險防范措施
針對數據庫對象的優化,總體應該遵循如下的風險防范原則:
1) 確保數據庫備份完整可用;
2) 所有操作和檢查環節都使用事前完成并預演通過的腳本,避免臨時修改腳本;
3) 每部分完成,通過檢查確認無誤,再進行其它部分,避免互相干擾;
4) 專家現場支持,及時處理突發問題。
在遵循上述原則的基礎之上,對索引對象的優化需要注意以下風險:
1) 監測時間不夠,在一個監測周期內未操作過表,監測過后又用到了這個表,需要索引,但此時此索引已被列為被優化的對象;
2) 監控過后,需要取消在用索引的監控;
3) 監控時如果rebuild index ,會取消監控,同時索引標記為已使用,這種情況下會影響監控效果;
4) 監控時如果在做統計分析時涉及到此索引,索引也會標記為已使用,同樣影響監控效果。
為避免上述風險發生,通常采用的措施是在監控期間停止database、schema、table、index等級別的索引收集,避免影響監控效果。
2.3 優化效果分析
數據庫級別的性能數據主要是以下關鍵指標:響應時間、CPU時間、等待時間、物理讀,這些指標可以看出目前平均每事務的反應速度、每事務需要消耗的CPU與IO量。為了得到優化的效果,還需要保證進行數據對比的時間內,數據庫的負載基本相同。數據庫的負載指標一般以執行的事務數、Redo size等指標來表示。表1是某業務系統的這些指標在索引對象優化前后的對比數據。
通過索引對象的優化,可以從對比表中明顯看出性能得到了大幅提升,影響較大的數據庫操作瓶頸主要集中在大表的查詢操作、關聯表的更新操作、大業務數據的統計分析操作等,在優化后其操作響應時間已經能夠滿足用戶的業務需求。這些數據對比符合數據庫索引優化方案的預期成效,也說明索引對象對數據庫性能的重要影響。
3 總結
企業的業務系統經過長期的運作,積累了大量的業務數據,同時隨著業務增長、流程優化、人員變動等因素,會造成系統性能瓶頸。此時,需要運維和管理人員根據實際需求,按照系統優化原則,制定詳細、多番論證的優化方案,對系統實施優化,這樣才能滿足用戶不斷變化、業務不斷增長的需求。該文通過詳述數據庫索引對象的優化方法、應用案例,闡述了索引對象對系統性能影響的范圍和程度,并就優化方案給出了應遵循的原則和風險防范措施。在性能優化中,針對數據庫性能瓶頸,索引對象優化只是其中最常見的一種方案,具體優化還需要根據對系統長時間監測情況的分析,做出正確選擇。
參考文獻:
[1] 羅海濱,范玉順,吳澄.工作流技術綜述[J].北京;軟件學報,2000,11 (7).
[2] 蓋國強.深入淺出Oracle數據庫——DBA入門、進階與診斷案例[M].北京:人民郵電出版社,2006.
篇3
關鍵詞:數據包絡分析;技術效率有效;競爭力
醫療技術效率是考核醫院醫療服務水平和質量的重要依據之一,但往往是一項較為復雜的系統工作,需要多種科學有效的分析方法共同完成[1]。由運籌學家Charnes等人提出的數據包絡分析方法(DEA)可以有效應用于多投入、多產出的"相對效率評價"模型中[2],本文旨在通過DEA模型對某綜合醫院專業相近的科室進行相對效率實證,從而為合理配置醫院資源提供有效信息。
1資料與方法
1.1一般資料 以某三甲綜合醫院8個相對穩定的外科專業為評價對象,經該8個科室負責人和醫院相關職能共同討論選取科室醫生數和床位數作為投入指標,以2014年上述8個科室門診人次、出院人次、手術人次和病床周轉次數作為產出指標。數據來源于醫院人力資源部和信息科,真實可靠。
1.2評價方法 DEA方法主要有CCR和BCC等模型。CCR主要用于判斷各科室在技術和規模兩方面是否同時有效;BCC模型主要是判斷各科室在現有規模下的單純技術有效。由于醫院的特殊性,在人員聘用、床位規模等方面有局限性,即使科室規模不有效,也不能通過擴張規模或縮小規模來進行優化,所以采用技術效率的模型(BCC模型)來評價醫院臨床科室的相對效率更符合實際情況[3]。
在既定投入的情況下,醫院更傾向于如何擴大產出,因此在選定BCC模型下,本文主要采用面向產出的BCC模型對醫院臨床科室工作效率進行實證。
2結果
2.1效率評價 在被評價的科室中,有三個科室達到總體有效,占全部被評價科室37.5%,相比于顧曉東等人的評價結果高8個百分點[3]。這三個科室在人力資源、規模配置等方面都達到合理水平,門診住院管理都較合理,產出均衡。另外的五個科室沒有同時達到技術效率和規模效率有效,還存在產能不足問題,或是有規模偏大或偏小等問題,見表1。
在技術效率未達到有效的科室中,外4科處于規模收益遞減,資源配置過剩,而另外四個科室均是產能增加,在門診人次或住院、手術人次或病床周轉率等方面仍有可提升空間。對于這些科室,可通過改善運營管理,改進病床管理手段提高周轉率,通過合理績效分配,有效質量考核等手段來提升科室產能,從而達到技術效率有效。
2.2投影分析 對于未達到有效的科室可以借助投影分析,使其達到相應的有效標準[4]。要達到技術有效,對于資源過剩的外4科可以減少2名醫生或使相應的產出值增加相應比例,在醫院無法對投入規模進行影響的情況下,應通過管理手段提高門診、住院、手術人次的產出,另外也應加強科室人才力量的培養,提高醫生隊伍的業務能力和技術水平。
對于另外4個無效科室,產出尚有不足,外5科和外6科無論是門診還是住院產出值均較低,特別是外6科,門診人次離最優尚有較大差距,可以通過聘用退休老專家等方式來加強門診力量,另外門診部的監管也有待加強,同樣的問題在外7科也有體現,雖然住院相差不大,但門診人次達到技術有效還有很大差距。外8科則是較均衡,進一步加強管理,很快就能達到門診住院產出最優,見表2。
3結論
數據包絡分析方法是一種先進的評價資源利用效率的方法,適合性質相近的綜合醫院臨床科室之間的橫向比較。當然,有效性是相對的,管理者可以根據DEA分析結果來調整投入規模,也可以此為依據,在管理層面上加強對臨床科室的監管和合理配置。本次實證采用性質相近的臨床科室進行橫向間的比較,既能清晰地看出目標科室的運行情況,又能較為準確的指出相對產出不足,對于優秀的科室應當更注重技術效率,從而做到"少投入,多產出",避免系統過于龐大,人員冗余,使得資源浪費,不能得倒最優化管理。對于技術效率尚未達到有效的科室應更新管理理念,科學的利用有限的醫療資源,為患者和家屬提供高效、優質的服務,從而不斷提升自己的核心競爭力。
參考文獻:
[1]張航,趙臨,張馨予,等.三級綜合醫院技術效率與影響因素實證分析與評價[J].中華醫院管理雜志.2015,31(3):195-197.
[2]陸瑤,許鋒.基于DEA模型構建醫院臨床科室績效評價體系的研究[J].中國醫學裝備,2013,10(9):18-20.
篇4
關鍵詞:房地產價格 股票價格 財富效應 擠出效應 替代效應
一、中國股票市場與房地產市場發展的現狀
(一)股票市場發展現狀
我國股票市場建立只有短短的二十幾年,但在經歷了初期制度探索階段,我國股票市場已形成了與我國經濟發展相適應的特色道路,相關市場機制與法律法規逐步健全完善。隨著我國股權分置改革工作的一步步落實,一些長期限制我國股票市場發展的歷史遺留問題也逐步得到解決。
(二)房地產市場發展現狀
1998年國家停止福利分房實行住房貨幣化后,房地產業開始真正發展起來。在國家積極的財政政策刺激下,房地產市場持續快速繁榮發展,甚至局部地區出現投資增長過快,房價迅速上漲等問題。
二、中國股票市場與房地產市場的聯動性分析
為了更好的分析我國股票市場和房地產市場的關系,本文選取了1998年至2012年上證綜合指數和全國國房景氣指數的月度數據作為股票市場和房地產市場發展狀態的變量來具體分析。從數據來看,股票市場與房地產市場之間呈現顯著的階段性特征(圖一)。
1.階段一:1 998年-2001年上半年,二者總體呈上升式波動。
受自然災害和經濟危機的影響,我國股市持續了兩年的整理行情。后期,在宏觀經濟好轉和支持股市發展的政策措施等利好因素影響下,上證綜合指數慢慢啟動上漲行情至2001年到達2245的頂峰,持續了在此階段的小牛市。而1998年以來,在城市化和市場化大背景下,我國房地產業投資與銷售增長均出現穩步上揚,我國房地產市場整體出現了飛躍。
2.階段二:2001年下半年至2005年,二者走勢呈現蹺蹺板現象。
由于中國證券市場發展不成熟,公司治理結構不完善和上市公司業績作假等重重因素困擾著市場,導致指數逆經濟增長態勢而動,股票市場陷入漫長而低靡的熊市。與此同時,房地產市場卻出現與股票市場截然相反的走勢。國房景氣指數持續上升,房地產市場發展空前繁榮,甚至出現局部發展過熱的現象。
3.階段三:2005年至2012年上半年,二者波動復雜,呈現大起大落,但相對于股票市場,房地產市場的發展存在明顯的相對滯后的特征。
上證綜合指數從2005年的1000點左右的低谷一路飆升,股市總體呈現飛毛腿式的發展,更創下了6124.04的歷史最高點,我國股票市場出現了空前的繁榮局面。同時,在中國股票市場一路高歌猛進的背景下,房地產市場發展勢頭強勁,一掃近年來市場受到壓抑的觀望氣氛,投資性需求出現反彈,國房景氣指數不斷上揚。
隨后,在一系列國內外利空因素的沖擊下,股市持續走弱,一度跌破了3000點,甚至出現了腰斬式的暴跌,跌至最低點1664.9點,股市幾乎崩盤。但伴隨著寬松貨幣政策和巨額的資金推動,股市開始了新一輪的反彈,至2010年上證指數又重新回到3000點。然而在不樂觀的國際經濟環境下,上證綜合指數走勢疲軟,一直在2200點徘徊。與股票市場發展有幾分相似,我國房地產市場的發展軌跡也呈現出曲折性。在多重壓力之下,房地產市場由“沸點”狀態急速降溫,步入下行通道。國房景氣指數持續走低,有價無市的現象明顯。雖然在中央政府出臺的關于“保增長”方針政策的影響下,迎來新一波的飆升。可好景不長,緊縮的貨幣政策以及國家對房地產行業的政策約束又嚴重打擊了房地產市場,國房景氣指數出現調整。
三、聯動性的原因分析
(一)股價指數和國房景氣指數總體呈上升式波動主要是由于寬松政策和正財富效應一起作用導致的
1998年,我國經濟受外部環境和自然災害的影響,出現國內經濟不景氣現象,股市與房市雙雙遇冷。為刺激經濟,我國實施了擴張性財政政策與貨幣政策,資金紛紛涌入股票市場和房地產市場。同時,為了能夠拉動經濟,我國開始實施比較猛烈的啟動內需的政策,加大了對房地產的資金投入。這些導致兩市相繼進入繁榮期。
此外,隨著股票價格上漲產生了正財富效應,增加了企業和投資者的財富,從而提升了對房地產市場的消費需求和投資需求。
(二)股價指數和國房景氣指數之間的此消彼長主要是由以下因素導致的
首先,股票與房地產作為風險投資品,它們之間存在替代效應。2001年下半年開始至2005年上半年,經濟不景氣,導致股市慘淡,股票價格一路滑坡,投資者信心嚴重不足,難以形成回漲止跌的預期,資產在股票市場承受巨大的風險壓力。而在中國,投資渠道的匱乏又導致從股市撤離的資金大量流向了收益率高的房地產市場,由此在兩個市場之間形成了一種自我強化的反饋機制:股價從高點迅速下跌導致投資者恐慌拋售,大量資金撤離股市。而房地產相對收益的持續增加而風險卻沒有明顯的增加,導致這些資金很大一部分流入房地產市場,推動了房市的繁榮。房市的繁榮又吸引了部分短線預期為特點的投資者進入市場,由于羊群效應的存在,導致大量非理性投資行為的出現,最終使股市與房市之間的替代效應被成倍放大,造成了房市的虛假繁榮。
其次由于政策因素、制度因素、行政干預、和市場收益分配格局不合理等各方面原因,股票投資者大多以短線投資為主,而長期投資行為由于較低的收益和較大的不確定性而十分匱乏,從而造成股價波動對房地產市場的財富效應十分微弱。即在相對封閉的資金市場上,受資金有限的約束,難以推動房地產市場的發展。
(三)股價指數和國房景氣指數變動復雜,呈現大起大落的原因分析
股市與房市的大漲聯動關系主要是由宏觀經濟環境繁榮、人民幣持續升值、流動性過剩和直接財富效應共同作用的結果。中國經濟大繁榮、人民幣持續升值預期和流動性過剩促使資金流入兩市,促進了兩個市場的繁榮。另外,2005年下半年至2007年,股市繁榮導致投資者的賬目資產迅速膨脹,個人財富增加,這不但提高了社會的實際購買力,促進了房地產的消費,也為地產開發公司提供源源不斷的大量廉價資金,這也造就了房地產市場的繁榮。
兩市的大跌主要是由于資金緊張和負財富效應造成的。2007年以來,政府采取一系列從緊的貨幣政策。這時,房地產公司籌集資金的渠道變得更加狹小,導致房地產業上市公司通過資本市場進行股權融資的規模大打折扣。而股市的暴跌,增加了經濟形勢的不確定性,悲觀的市場預期導致兩個市場急劇下滑。
而房地產市場的發展變動滯后于股票市場,主要是由于房地產和股票的不同特點引起的。二者投資周期和套現能力的不同特點導致了面對同樣的外部沖擊,股票市場能夠迅速甚至提前反映外部>中擊的影響,房地產市場則需要一段時間才會顯現出來,這是股市與房市存在明顯滯后效應的根本原因。
四、根據兩者的相關性得出的結論及提出的政策建議
鑒于上述分析,我們可以知道樓市與股市是唇齒相依的關系。所以我們必須以此為依據來促進樓市與股市這兩個市場的共同穩健發展。
(一)投融資渠道多元化,健全金融體系
目前我國投融資渠道過于狹窄,主要以股票和房地產為主,而股市與樓市的聯動性易導致二者的暴漲暴跌,加之股票和房地產之間的財富效應會隨著金融深化而上升。因此,我們需要積極推進金融市場的建設,努力建立和完善我國的金融體系,構建多元化的投融資渠道,以促進兩市的健康發展。
(二)理性投資,防止投機
由于股市與房市的共生性,二者很容易成為風險的載體。所以,必須弱化它們之間的替代效應,及時疏導緩和局部經濟壓力,扭轉非理性投資行為的擴大化傾向,健全完善市場機制,嚴厲打擊市場投機和炒作行為。另外,要改善股市結構,把理性投資者培養成市場上的主要力量,減少股市的投機行為。同時建立公正、公開的信息披露制度,減少居民在信息不對稱過程中做出的不理智行為和市場投機行為,并有效防止操縱市場行為。
(三)加強對金融市場與房地產市場的監管,建立預警機制
股市與房市是兩個主要的風險累積市場,兩市相關指數的變動會導致風險互相傳導。因此,要建立預警機制,及時敏銳地把握兩個市場的發展動向,特別要深刻洞察影響輻射面大市場異動傾向,科學預測市場的未來走向。
(四)市場調控與行政干預相互配合
頻繁的行政干預容易導致市場機制的扭曲,不利于樓市與股市的健康發展。因此,盡量減少政府對市場的干預行為,消除政府越位、錯位、缺位現象。同時,在市場化前提下規范股市行為和調控房地產市場時,要系統考慮樓市與股市的內在聯動,特別是二者變動的時滯效應,統籌規劃兩個市場,充分考慮到政策調控對另一個市場的影響。
參考文獻:
[1]高曉暉,李婧怡,房地產價格與股票價格關系的研究綜述[J],上海房地,2009(10)
[2]王皖君,中國股票市場與房地產市場關系[J],現代企業,2012(8)
[3]中國股市與房地產市場的關系分析[J],財經界,2007(07)
[4]洪濤,高波,中國股價與房價關系分析:2001—2006[J],價格理論與實踐,2007(1)
[5]汪偉全,試析房價與股價間關系[J],商業現代化,2008(1):343-344
[6]張躍龍,吳江,中國房地產市場與股市波動的階段相關性研究[J],房地產市場,2008(1)
[7]皮舜,武康平,中國房地產市場與金融市場發展關系的研究[J],管理工程學報,2006,20(2):1—6
[8]沈悅,盧文兵,中國股票市場價格與房地產市場價格關聯性研究[J],當代經濟科學,2008(7)
篇5
(首都經濟貿易大學,北京100070)
[摘要]本文以北京市商品房價格為研究對象,從供需兩個角度分析影響房價的主要因素,運用計量經濟學理論和建模思路,提出相關建議。
[
關鍵詞 ]北京市;商品房價格;計量經濟模型;回歸分析
[DOI]10.13939/j.cnki.zgsc.2015.22.225
1計量分析
1.1影響因素
一是需求方面影響因素。北京市商品房價格需求因素主要包括:常住人口(X1)。一個城市的人口數量直接影響著這個城市的商品房消費總量。人均可支配收入(X2)。居民收入水平的高低直接影響了消費者對商品房的購買能力。商品房銷售總面積(X3)。據北京市統計局對外公布統計信息顯示,1998—2013年的商品房銷售總面積是先上升后下降,而商品房銷售均價卻在波動攀升。
二是供給方面影響因素。商品房價格供給因素主要包括:建造成本(X4)。本文這一指標是指竣工房屋造價。土地價格(X5)。筆者認為地價與房價相互影響。竣工面積(X6)。房地產竣工面積在競爭激烈的房地產市場中不僅嚴重影響著房地產的價格,還對住房市場的買賣雙方帶來影響。房地產開發投資額(X7)。
1.2計量分析
(1)模型設定。把以上的七個指標變量作為自變量,把商品房銷售價格作為被解釋變量,以取自《北京市統計年鑒》的1998—2013年各個指標數據為樣本來構建模型。根據樣本數據的散點圖可以判斷被解釋變量和變量之間存在線性關系,于是把模型的形式設定為:
(其中μ——隨機誤差項)
其中:Y——商品房銷售價格(元/m2);X1——常住人口(萬人);X2——人均可支配收入(元);X3——銷售總面積(萬m2);X4——建造成本(元/m2);X5——土地價格(元/m2);X6——竣工面積(萬m2);X7——房地產開發投資額(億元)。
運用Eviews7.2軟件,利用 OLS 回歸得到如下結果:
(2)經濟意義檢驗:從回歸模型中可以看出,需求因素中,北京市常住人口、人均可支配收入、商品房建造成本的增加都將伴隨北京市商品房平均價格的減少,這與現實不符合。北京市商品房銷售總面積、土地價格的增加都將伴隨北京市商品房平均價格的上升,而竣工面積與房地產開發投資額的增加都將伴隨北京市商品房平均價格的減少,這都與現實相符合。
(3)統計檢驗:
①擬合優度檢驗:R2=0.998083,擬合程度較好,說明北京市商品房需求因素的 99.80%可由以上因素來解釋。
②F檢驗:從回歸模型的F檢驗值來看,F統計量的值為446.3776。伴隨概率為0.000000 小于0.05,拒絕原假設β1=β2=β3=0,回歸方程顯著,即以上七個因素對商品房價格均有顯著影響。
③t檢驗:X1、X2、X3、X4、X5、X6、X7的t統計量的伴隨概率分別為0.1572、0.9315、0.00216、0.1705、0.0004、0.0211、0.1630。可知,解釋變量X1 、X2、X4、X7沒有通過t檢驗,即對商品房價格的影響不顯著。
(4)多重共線性檢驗:從t檢驗及其伴隨概率來看,變量X1 、X2、X4、X7均不顯著;并且方程擬合優度R2為0.998083,方程整體的F檢驗很顯著。利用相關系數表判斷出X1、X2、X4和X7之間確實存在嚴重多重共線性,所以采用Eviews自動逐步回歸的方法修正模型。
修正后的模型如下所示:
修正后的X1 、X2、X5的t統計量的伴隨概率分別為0.0000、 0.0198和0.0000。可知,解釋變量X1 、X2、X5通過t檢驗,這說明多重共線性已被消除。
(5)異方差檢驗:對修正后的模型Y=-3.260336X1-0.189422X2+3.361794X5進行懷特檢驗,取顯著水平α=0.05,nR2=6.668134,查表得臨界值χ20.05(8)=15.51,nR2=6.668134<χ20.05=26.3,所以接受原假設,就可以認為不存在異方差。
(6)自相關檢驗:若給定顯著水平0.05,查DW統計表可知,k=3,n=16,dL=0.98,dU=1.54,模型 中DW=2.417021,dU<DW<4-dU,表明模型中不存在自相關。
2結論與建議
2.1主要結論
(1)需求方面結論。從修正后的模型:InY=-18976.32+19.26663InX1-1.582425InX3可得出結論:北京市商品房價格居高不下與其不斷增加的常住人口(X1)有著密不可分的聯系。隨著人口的增加,供不應求,商品房的價格增加也是情理之中的事。由于北京市已經是特大城市,人口已經眾多,所以每增加一個單位的常住人口,會帶來19.26663個單位的商品房價格的增加。北京市商品房銷售總面積(X2)對其商品房價格也有影響,隨著銷售總面積的增加,其單位商品房價格將減少。
(2)供給方面結論。從修正后的模型:InY=1.968923InX5-0.479899InX7可以得出以下結論:開發商都是無利不起早的,隨著土地價格(X5)的增加會帶來房價的上升,這些成本的增加自然會被轉嫁至消費者身上,所以推高北京市商品房價格是理所應當的。土地成本的上升會直接推高了房價,但不是地價決定了房價,因為商品房價格是還受其他因素影響。房地產開發投資額(X7)。房地產投資開發額占全社會固定資產投資的比重與商品房價格之間有一定的聯系。但房地產開發投資額對商品房平均價格的影響又是不定的。本文研究的北京市商品房的房地產開發投資額的總增加并未帶來商品房價格的增加,而是減少了0.479899個單位,這說明北京市房地產開發投資額的增加極有可能被用來改善供給住房的質量、檔次及環境。
2.2主要建議
(1)合理疏解北京市人口。光靠嚴格的戶籍制度和行政制度不行,還是應該合理疏解公共服務,以此吸引更多的人向津冀兩地疏散,如此方能實現地區的資源合理配置。
(2)穩定土地的供應量。土地供應量直接影響相關建造成本,所以政府可以從控制土地供應量著手,使市場上房屋的相關建造成本在長期內處于一個合理的水平,這樣就可以將房價的增長控制在一個合理的水平。
參考文獻:
陳秋宇,羅茹月.商品房價格影響因素分析——基于M2供應量的實證研究[J].經營管理者,2011(1).
篇6
大數據的蓬勃發展為統計學專業人才培養模式的創新提供了有效途徑,引領了統計學專業人才培養模式的改革方向,融入了統計學專業人才培養模式的各個環節。本文系統明確了統計學專業人才培養模式的改革方向,探討如何利用大數據完善人才培養模式的各個環節。
關鍵詞:
大數據;人才培養模式;教學模式
2015年9月5日,我國政府公開《國務院關于印發促進大數據發展行動綱要的通知》,大數據逐步走上我國經濟社會發展的大舞臺,在社會各個領域中發揮著巨大的促進作用。高等教育作為我國培養高素質人才的主要陣地,避免不了受到大數據的沖擊和影響。有效利用大數據是化解沖擊并促進高等教育改革的明智之舉。高等教育改革的關鍵是改革人才培養模式,將大數據融入人才培養模式改革的各個環節會達到事半功倍的效果。
一、大數據引領統計學專業人才培養模式的改革方向
1.大數據引領培養目標的改革方向。隨著大數據的迅猛發展,大數據分析公司不斷涌現,傳統的調查公司、數據分析公司紛紛轉型,社會急需大量的大數據分析人才。統計學專業按以往培養目標培養的數據分析人才已經不能滿足社會需要,因此必須對人才培養目標進行改革,培養目標應從培養專門的統計人才轉換為培養精通統計學知識、計算機技術(大數據分析技術),了解相關行業背景的復合型統計人才,保障統計學專業能夠為社會經濟發展輸送高質量的大數據分析人才。2.大數據引領課程設置的改革方向。課程設置是實現培養目標的關鍵環節,為實現培養大數據分析人才的目標,課程設置應該與培養目標相配套。課程設置的核心課程中應該引入大數據技術相關的計算機軟件、語言及算法課程,選修課程中應該增設一些輔助大數據分析的數據挖掘類相關課程及不同行業的相關專業背景課程。3.大數據引領實踐教學的改革方向。實踐教學環節設計的基本原則是能夠有效檢驗理論教學環節的學習效果,同時鍛煉學生的分析問題,解決問題的能力。因此,相應于培養目標和課程設置的改革,實踐教學環節的改革應注重學生大數據分析能力的檢驗和鍛煉,積極為學生創造豐富的大數據分析實踐機會。例如,在調查分析課程中引導學生改變傳統的調查方法,盡量通過數據挖掘揭示某一類現象背后的發展規律,積極開展與大數據分析公司或者相關行業的企業的合作,為學生進行大數據分析實踐提供數據及技術支持。4.大數據引領教學方法和手段的改革方向。MOOC、翻轉課堂和大量的在線資源的出現為統計學專業教學方法和手段的改革提供了豐富的資源基礎,有效構建充分利用各種資源的混合教學模式將成為統計學專業人才培養模式改革的一個重要組成部分。5.大數據引領評價方法的改革方向。傳統的評價方法主要注重期末時的總結性評價,忽略過程評價,因此應廣泛和合理利用教學各個環節留下的痕跡,即形式各樣的數據,創新教育教學評價方法,以此達到對學生、教師及教學效果的科學評價。
二、大數據融入統計學專業人才培養模式的構建
1.大數據融入人才培養目標的制定。人才培養目標的制定一方面要適應經濟社會發展的需要,另一方面要從生源質量,辦學條件出發,不能盲目追求高目標,因此適當對本校統計學專業歷屆生源質量和辦學軟硬件條件等相關數據進行挖掘和分析,有利于制定切實可行的人才培養目標。當然這需要人才培養目標制定者有一定的數據挖掘和分析的能力,需要學校各個相關部門的配合,實際操作起來存在一定困難。2.大數據融入教學方法和手段的選擇。教學方法和手段的選擇一方面依靠豐富的資源,打破傳統的大客廳式的封閉教學模式,另一方面要注重以學生為本和因材施教,這就需要對每個學生的基本素質有客觀的把握,僅靠教師的力量很難做到這一點,因此應適當引入相關技術和設備幫助收集課堂教學,課后作業等教學各個環節的實時數據,利用大數據技術全方位綜合考量每一位學生的基本素質,為教學方法和手段的選擇提供客觀的依據,真正意義上做到因材施教。對于一些利用計算機或其他電子設備完成的環節,收集數據的同時,應適當建立針對不同學生的教學策略,以此實現個性化教育。3.大數據融入實踐教學環節的設置。統計學專業的實踐環節設置應充分考慮利用學習分析和數據挖掘技術分析學生的學習心理,學習行為及學習能力,充分了解學生的前期學習情況,分析教師課堂教學水平和教學能力,充分挖掘教師的特長,以此為基礎打造實踐教學環節師生的完美匹配,不再拘泥于一個班級或一個專業的學生同時進行相同的實踐項目,可以有效提高實踐教學的水平和學生的實踐能力。4.大數據融入教學評價體系的完善。傳統的教學評價體系不能夠客觀評價人才培養的各個環節的效果,通常是對結果的評價。因此,學校需要利用大數據技術全面分析和挖掘每一個環節的相關數據,包括學生的學習過程,教師的教學過程等,有效利用數據說話,避免對學習效果及教學效果的片面評價,完善統計學專業的教學評價體系。大數據為統計學專業人才培養模式的構建帶來了機遇的同時也提出了挑戰,我們不能盲目跟風,應認真結合統計學專業學科特點及各方面的條件,合理利用大數據,構建切實可行的人才培養模式。
參考文獻:
[1]陳樹良.統計學專業創新型人才培養模式的研究[J].遼寧工業大學學報(社會科學版),2012
篇7
[關鍵詞] 大數據分析;信息管理;實踐教學體系
doi : 10 . 3969 / j . issn . 1673 - 0194 . 2016. 21. 117
[中圖分類號] G642.0 [文獻標識碼] A [文章編號] 1673 - 0194(2016)21- 0219- 04
0 引 言
2015年8月,國務院印發了《促進大數據發展行動綱要》,同年,貴州省啟動了我國首個大數據綜合試驗區的建設工作,標志著大數據發展已經上升到國家戰略。同時,越來越多的企業,尤其是互聯網、電子商務、金融、物流等數據驅動型企業,迫切地需要利用大數據分析的結果,輔助公司決策,以提高自身的競爭力。客戶分群、客戶行為分析、客戶關系管理、市場營銷、廣告投放等企業核心業務越來越依賴于對大數據的有效分析。如何從海量業務數據中挖掘有價值的信息和知識,從而指導商業運營與決策、提高企業運營效率和盈利能力,成為每個企業都將面臨的重要挑戰。由于信管專業與社會需求緊密結合,信息管理專業的人才培養具有明顯的應用型導向,強調學生的實踐和應用能力。為了適應市場對人才需求的變化,培養大學生與大數據分析相關的實踐能力,已經成為信管專業人才培養轉型的重要方向。本文先通過職友集網針對信息管理專業大學生就業行業的統計分析,表明與數據分析相關的職位需求正在上升,梳理了Facebook、Twitter、Baidu、Alibaba、Tencent等五家國內外知名公司對大數據人才的能力要求,厘清了我校信息管理專業與相關能力要求對應的實驗課程,以此構建了面向大數據分析的信息管理實踐教學體系。通過近幾屆畢業生的就業、考研情況來看,基于這套信息管理實踐教學體系培養的畢業生具有較強的大數據分析的動手能力和崗位適應能力。
1 社會環境和社會需求的變化
自1998 年,教育部高等教育司將分別來自工學、管理學等不同門類的管理信息系統、科技信息專業、經濟信息管理專業、林業信息管理專業、信息學專業等5個專業進行資源整合,組成信息管理與信息系統專業以來,至今已有18 年。社會環境已經從PC 互聯網到移動互聯網再到大數據時代,市場對于人才的需求已經發生了深刻的變化。美國市場研究公司IDC2013年的研究報告稱,全球大數據技術和服務市場將在未來幾年保持31.7%的年復合增長率,2016年的總規模有望達到238億美元。而根據麥肯錫報告,僅僅在美國市場,2018年大數據人才和高級分析專家的人才缺口將高達19萬。此外美國企業還需要150萬位能夠提出正確問題、運用大數據分析結果的大數據相關管理人才。同時,市場催生出ETL開發者、Hadoop開發者、大數據可視化工具開發者、數據科學家、OLAP開發者、數據倉庫一體機專家、預測分析開發者等與大數據分析相關的新型職業。
職友集網站針對信息管理專業大學生就業行業的統計分析如圖1所示。其中從事計算機軟件行業的占23%;從事互聯網/電子商務行業的占17%;從事計算機服務(系統、數據服務、維修) 行業的占11%,這三個行業占到了畢業生總數的51%。而其他與IT非直接相關的行業或多或少地與大數據分析有關,比如:金融、快速消費品等。
2 大數據專業崗位對人才能力的要求
筆者通過網絡收集了Facebook、Twitter、Baidu、Alibaba、Tencent等國內外幾家主要公司招聘大數據人才時對大數據人才能力的要求,如表1所示。
從表1可以看出,大數據人才應該具備以下基本能力:
(1)具備基本的編程能力,熟練運用C/C++/Java等開發語言一種及以上,精通Shell/Perl/Python等腳本語言一種及以上;
(2)具備基本的數據庫設計、開發能力,精通MySql/SQL Server等DBMS一種及以上;
(3)具備數學、統計學等方面的基本素養,同時還應該熟練使用SPSS等主流統計分析軟件、面向統計分析的開源編程R語言;
(4)了解Hadoop/Hive大數據平臺,具備處理大數據所必需的Hadoop、Hive、Storm、Spark等大規模并行處理技術。
3 面向大數據分析的實踐教學體系的構建
3.1 面向大數據分析人才培養的教學實踐
根據市場對信管專業人才的需求,以及本專業的實際情況,我們適時地調整了專業培養方向,并根據大數據分析的能力要求,重新梳理了專業課及其實驗內容,如表2所示,使實驗內容與大數據分析人才的能力要求相一致。
3.2 教學效果
面向大數據分析的信息管理實踐教學體系為提升本專業人才培養質量提供了強有力的支撐。學生的就業能力和適應能力顯著提高。2010-2015屆本校信息管理專業就業行業、簽約率,如圖2所示。從簽約率來看,2010-2015年,畢業生簽約率平均達 96.48%,2011屆畢業生簽約率達 98.09%,2012屆畢業生簽約率達96.22%,而2015屆畢業生簽約率更是達到100%,表明畢業生在社會上具有較高的認可度。從就業單位來看,有多名學生被深圳華為、美的、格蘭仕、廣州珠江鋼琴集團、廣州寶潔有限公司、中國電信廣州分公司、中國工商銀行廣州分行、國泰君安證券股份有限公司、廣東電網公司等多家國內外知名企業錄用,表明畢業生的就業質量進一步增強。從考研學校來看,有多名同學被大連理工大學、重慶大學、中南大學、武漢理工大學、中南財經政法大學等多所985、211高校錄取為研究生,表明畢業生的培養質量進一步增強。從就業行業來看,近6屆就業的畢業生中,從事系統/移動開發、系統維護、ERP實施與二次開發的同學占47.1%;從事數據分析、信息咨詢的同學占10.1%。2013年,三峽大學委托麥可思公司對學校所有專業的調查中,信管專業的畢業生對專業的認可度達到97%。
4 結 語
通過本校近幾年面向大數據分析的信息管理教學實踐可以看出:具備了大數據分析能力的同學受到了市場的普遍歡迎,具有較強的崗位適應能力,并且他們對專業具有非常高專業的認可度。
主要參考文獻
[1]馬費成,宋恩梅. 信息管理“專業課程鏈”的建設與實踐[J]. 圖書情報知識,2014(2):4-10.
[2]IDC:2016年大數據市場規模將達238億美元[EB/OL]. http:///content/2013/07/204163.shtml.
篇8
Keywords:big data of archive; data scientist; post requirements; post duties; quality demands
大數據時代,數據成為重要的戰略資源。在電子辦公深度與廣度不斷拓展的進程中,人類對數據“精、準、深”的要求日益突出。在基于數據決策、依賴數據管理等“以數據說話”的理念日益深入人心的大環境下,作為大數據的關鍵組成部分――檔案大數據的地位和作用也逐漸凸顯出來,它是大數據重要維度即歷史維度數據的核心,在各個領域都有很好的應用前景。但是,應該看到,受保密、檔案管理機制等因素的制約,檔案大數據的應有價值還沒有得到充分發揮,檔案大數據與其他數據的整合還有一段很長的路要走。為提升檔案資源建設與利用效益,對檔案大數據進行分析,優化檔案事業發展方案,更好地為領導決策和各領域工作的開展提供數據支撐,成為檔案工作的重要組成部分,這就需要檔案資源和檔案事業數據的鼎力支撐。雖然從國家主管部門到各級檔案館(室),都在開展檔案數據的統計和分析工作,但是,由于缺乏固定而專業的分析人員,從數據統計和分析的全面性、系統性、多維性、深入性和規范性等方面看,仍有待進一步增強。在此種形勢下,檔案大數據作用的發揮和檔案事業發展的科學性很大程度上取決于檔案部門自身結構的優化和管理資源使用效益的提升。
1 檔案領域數據分析師崗位設置的意義
大數據時代,數據分析在各領域有著十分重要的意義,各行業對數據分析師的需求與日俱增。與其他數據相比,檔案大數據很大一部分源于政府、軍隊等組織機構的活動,具有權威性和憑證性等不可替代的價值特點,雖然有著服務社會、服務百姓的義務,但又必須確保國家利益不受侵害。因此,在行業內部設立數據分析師崗位不僅是社會需求、也是檔案行業組織機構結構優化的內在需要。
1.1 優化檔案資源體系建設的需要。從局部看,各級檔案部門都不同程度地存在著檔案收集不齊全、著錄不規范等問題。從整體看,各檔案部門之間存在著檔案資源交叉重復、數據異構等問題。系統地設置統計項目,全面地對檔案資源建設現狀進行分析,就可以準確地發現檔案資源體系建設中的弱項和“瓶頸”。通信網絡和數字設備發展實踐告訴人們:當今,電子文件的增長幾乎達到了幾何級。例如,阿富漢戰爭期間,美軍為打擊一小股恐怖分子,其情報偵測、監視系統24小時產生的數據量就達53TB。在如此大的數據量面前,如何分類電子文件、確定保管期限?網站、微博、通訊交友軟件等產生的數據,哪些是需要作為電子文件保存的、又該如何保存?現有館(室)藏檔案資源,哪些方面需要豐富、哪些方面需要“瘦身”?如何從國家層面調控檔案資源體系建設?這些均有待于檔案領域數據分析師從“保存歷史、服務社會”視角、以可靠的數據和科學的分析給出建設性的解答。
1.2 分析和把握檔案利用規律的需要。檔案資源的利用是有規律可循的,掌握了這個規律對于提升檔案資源利用率是十分有益的。有的檔案資源,其利用具有擴展效應,即一次成功利用可能會激發人數更多、范圍更廣、程度更深的利用,例如名人檔案、著名戰役檔案、歷史典故檔案等;有的檔案資源,其利用具有遞減效應,即一次成功利用之后可能很長時間內不會再有第二次利用,例如事關普通百姓的個人檔案。如果機械地根據其前段時間的關注熱點推薦檔案信息服務產品,則不僅達不到理想效果甚至還會引起用戶反感。依托數據分析師的科學分析,有助于檔案部門聚焦服務熱點,提前做好檔案信息服務預案,根據用戶需求方向準確提供檔案資源及其編研產品服務。
1.3 推動檔案管理科學發展的需要。近年來,檔案事業出現了一派欣欣向榮的景象,尤其是檔案信息化建設、民生檔案的收集與管理等得到了長足發展。但是,無論是硬件建設、還是軟件建設,離精細式、集約化科學發展尚有一定距離,這就需要發揮檔案大數據的決策助手作用。對于不同學識背景、不同工作經歷、不同職業精神的數據分析人員來說,同樣的統計數據得出的結論也是不盡相同的。設置固定的數據分析師崗位,則有益于提升數據統計和分析工作的科學性。通過數據分析師對檔案事業分門別類的統計和分析,可以有效地沖破經驗主義思維的“籬笆”,發現和把握新形勢下檔案管理工作的發展規律,更加統籌、協調和集約化地利用管理資源,構建檔案事業發展的良好生態。
1.4 更好地服務社會發展的需要。如果說“讀史可以明智”只能模糊地形容檔案的作用,檔案大數據在金融、醫藥、衛生、交通、安全和軍事等領域的成功應用,已經很好地量化和解釋了檔案大數據的價值。它是轉換思維方式、科學決策的直接支撐,是引領社會更快、更好發展的“催化劑”。設置檔案大數據分析師,無疑會有助于提升檔案信息服務于社會的廣度與深度。同時,也有助于檔案部門把握契機創新服務社會的模式與內容。
2 檔案領域數據分析師的崗位職責
檔案領域數據分析師,可以依據各級主管部門、檔案館(室)的編制和事業發展狀況合理配置,其職責主要是從檔案資源建設、檔案利用、檔案事業綜合發展以及檔案文件內容等方面進行數據統計和分析,并制定優化方案和提出發展規劃建議。
2.1 檔案資源數據統計和分析。檔案資源數量統計和分析,主要是對館(室)藏或者主管范圍內的檔案資源數量情況進行統計和分析,包括對各全宗文件數量的分類統計和分析、同類全宗文件數量的對比分析、現行全宗文件產生量與歸檔量的對比分析、永久檔案與定期檔案數量的對比分析、不同類型載體檔案數量的對比分析、不同地域不同系統檔案移交數量對比分析、不同時期檔案數量對比分析、不同密級檔案數量對比分析等。
檔案資源質量統計和分析。主要是對館(室)藏或者主管范圍內的檔案質量情況進行統計和分析,包括檔案資源載體和信息完好度分析、檔案資源結構分析、檔案著錄情況分析、檔案信息化建設情況分析、檔案目錄數據庫質量分析、檔案全文數據質量分析、檔案縮微情況分析、檔案修復情況分析等。
檔案資源優化方案的制定。基于館(室)功能,在科學分析的基礎上,提出一定范圍內檔案資源體系建設優化方案。主要是從檔案資源結構和數量視角,有重點地對現有檔案資源進行豐富、再鑒定工作。對明顯存在缺失的館(室)藏方向,分析檔案資源可能的分布點,為收(征)集工作提供指導。具體分析檔案著錄、目錄數據庫構建情形,提供檔案著錄尤其是電子文件著錄以及檔案目錄數據庫優化方案。必要時,對全文數據質量進行優化。根據檔案完好度統計,制定檔案修復計劃。
2.2 檔案利用數據統計和分析。檔案利用人群統計和分析。主要是對用戶基本情況進行統計和分析,包括用戶職業、單位、年齡、學歷、檔案專業知識、興趣點、檔案意識等,從共性和個性等方面進行分析和研究。
檔案利用目的、利用效益統計和分析。主要是對檔案利用目標和用戶所獲得的收益進行分析。從編史修志、工作查考、解決個人問題等方面對檔案利用目的作進一步細分,分別進行統計和分析,并關注其利用效益。同時,分析一定時期內得到用戶關注和利用的檔案資源,尤其是得到用戶重點關注或利用的檔案資源。
檔案檢索效率統計和分析。主要是對檔案目錄和全文的檢索效率進行分析,與圖書情報資源等相關領域的檢索效率進行對比,考慮其是否滿足用戶需要,有無改進策略。密切跟蹤信息和知識領域的發展前沿,將先進的技術和工具應用到檔案檢索效率的提升上來,主要是對檔案信息組織和檢索模式提出創新方案。
檔案利用發展趨勢預測。由于社會和國家發展的需要,人們會在一定時期內有重點地開展某個或某些方面的工作。數據分析師應密切關注某個系統、國家乃至整個人類社會的發展形勢,科學地統計和分析用戶的潛在需求,準確地預測出檔案利用的重點方向,從而有針對性地做好檔案利用準備工作。例如,編史修志工作往往在國家層面、某一系統或行業層面進行統一行動,有的又會與編制體制調整、大型紀念活動、大項任務開展等時機緊密結合;個人利用檔案,往往會與國家出臺某項政策、某一年齡段人群的成長經歷、某些文化活動的開展等密切關聯。根據檔案利用歷史數據的分析、當前社會熱點、用戶關注方向等,引導檔案信息資源的開發,借助大數據工具,利用檔案信息資源整合平臺,充分地進行知識挖掘,高效地構建專題數據庫,向用戶推送檔案信息資源。
2.3 檔案事業數據綜合統計和分析。檔案人才隊伍建設情況統計和分析。當今時代,不僅要求檔案工作者具有較高的信息素養,而且需要檔案工作者轉變理念,從知識管理視角出發,為用戶提供問題解決方案。檔案領域數據分析師應該對檔案工作者個體素質和整個隊伍建設情況進行統計和分析,要重點關注專業學歷、知識儲備、年齡結構、管理能力、信息素養和職業精神等方面。
檔案事業組織領導形勢統計和分析。組織領導是檔案事業發展的關鍵。檔案領域數據分析師,應可以系統地設置檔案事業各類統計表格,并根據形勢發展創新地設置統計項目和衡量指標。不僅要分析檔案主管部門對檔案工作的組織領導情況,還要分析各級組織機構對檔案事業的組織領導形勢,包括工作規劃、經費投入和對檔案事業的關注度等。
檔案專業硬件、軟件建設情況統計和分析。在國家大力倡導檔案信息共享平臺建設的情形下,對行業內硬件、軟件建設情況進行統計和分析,要重點對檔案館(室)庫房建設、檔案安全體系建設、業務設備建設、檔案軟件系統建設等方面進行統計和分析,避免低水平重復建設、提升管理資源利用效益。
制定檔案事業科學發展方案。檔案領域數據分析師要適應大環境的需要,從檔案工作者個體出發,提出人才培養和培訓方案。從檔案人才隊伍整體建設出發,合理提出編制調整、人才配備和人才發展等建議。在硬件建設方面,從檔案事業整體發展視角提供指導意見,合理配置各類設備設施。在應用系統開發方面,針對技術發展形勢及時提供建議,為頒布軟件系統需求標準、協調資源做出貢獻。
2.4 檔案文件內容大數據的分析和知識挖掘。無論是科技檔案、專門檔案,還是文書檔案,其利用都是圍繞著組織機構(或個人)的業務行為開展的。因此,從業務層面對檔案內容大數據進行分析,是檔案大數據分析的重要內容。根據各專業發展的需要,利用高效、可視化的圖形分析工具,對檔案文件內容大數據進行分析,挖掘出其中蘊含的知識點,以指導各領域業務工作的科學開展。
3 檔案領域數據分析師的基本素質要求
數據分析師肩負著對檔案事業各類數據進行統計和分析的職責,并且要根據分析結果制定出推動各行業科學發展的、切實可行的方案,這就要求其具有高度的事業心和責任感,具備檔案、計算機、數學和管理等領域專業知識和技能。
3.1 思維開闊,開拓精神強。無論是統計項目的設置、還是優化方案的制定,都要求檔案領域數據分析師關注相關領域前沿發展形勢,具有開闊的思維和較強的創新意識,能夠敏銳地捕捉到檔案事業發展中的主要矛盾,打破舊的思維和工作運行模式,為建立起切合實際的、具有前瞻性的檔案工作機制貢獻力量。
3.2 檔案專業功底扎實。檔案領域的數據分析,其出發點和落腳點均在檔案收集、管理和利用。因而,數據分析師應具備系統的檔案專業理論知識。不僅要熟知檔案領域基本理論,而且要掌握領域前沿發展和理論創新情況,密切跟蹤行業發展實踐,能夠科學地設計好統計與衡量指標、優化和促進檔案事業的綜合發展。
3.3 掌握計算機應用專業知識。數據分析師經常要與計算機網絡、多種軟件工具打交道,必須具備較高的信息素養和扎實的計算機應用專業知識。檔案領域數據分析師,應了解機器學習、人工智能和自然語言知識,能夠結合領域實際,提出具體的統計、分析軟件系統需求;能夠熟練操作基本分析軟件,掌握大數據分析工具的使用(如R軟件、SPSS、MATLAB),準確地采集、處理數據,必要時進行數據遷移;能夠在看似無關的數據中挖掘出蘊含的關聯、發現檔案資源建設和檔案事業發展內在規律。
3.4 熟悉管理學基本理論。無論是檔案資源管理、還是檔案事業的綜合管理,都離不開管理學基本理論的運用。因此,檔案領域數據分析師應熟悉現代管理學基本理論,具有嚴謹的邏輯思維能力和較好的文字表述能力,能夠運用管理學前沿理論來指導檔案資源建設和檔案事業科學發展方案的制定。
篇9
關鍵詞:類;DataLine;Translator;DataDrawer
航空設備數據分析一直是一個難題,因為數據按ICD協議上傳,需要轉化為可讀數據才能分析設備的運行狀態。但是設備的上傳速率一般在毫秒級,所以設備運行一個小時可以輸出上百兆的數據,人工分析這些數據費時費力且錯誤率高,容易錯過關鍵數據。
針對這種情況,作者設計了一種專門分析設備上傳數據的軟件(簡稱數據分析軟件)。使用數據分析軟件處理百萬行的數據只需要不到一分鐘的時間,而且該軟件可以將數據制成曲線,可以更容易地捕捉到關鍵數據。
1 數據分析軟件
數據分析軟件包含兩個模塊:數據轉換模塊和數據繪制模塊。
1.1 數據轉換模塊
1.1.1 時間類
航空設備上傳的數據一般以時間為基準,因此數據轉換時需要保留原始數據的時間信息,這樣才能將數據繪制成以時間為X軸的曲線。時間類的定義如圖1:
基類Time繼承了IComparable接口,所以Time類重載了 “!=”,” ”,”==”四個操作符,這樣Time類的對象之間可以比較大小,所以轉換后的數據可以按時間前后排序。
1.1.2 數據類
在數據分析軟件中,數據是以行為單位的,每一行數據有多個域,不同行數據的域名相同,域內的數據不同。數據行類定義如圖2。
DataLine的對象代表一行轉換后的數據,ToString接口可以將DataLine里存儲的數據以文本的形式輸出。DataLine是一個抽象類,需要用他的子類實例化對象。由圖可見,MLSData集成了DataLine類,在成員變量中加入了一個MLSTime的對象_time用以表示該行數據的上傳時間,并且可以用CompareTo接口比較兩個MLSData對象的時間先后。其實MLSData的CompareTo接口只是調用了成員變量_time的CompareTo,如圖3。
1.1.3 翻譯器類
翻譯器實現的功能是將一行原始數據轉換為可讀數據,翻譯器定義如圖4。
Translator是一個抽象類,其中定義了一個抽象函數Translate,這個函數有一個類型為String的形式參數data,并返回一個DataLine類(或其子類)的對象。其中data表示一行文本格式的原始數據,返回值DataLine表示轉換后的數據。當需要分析按新版本ICD協議上傳的數據時,只需創建一個新的Translator子類,并按ICD協議重寫Translate函數即可。
1.2 數據繪制模塊
數據繪制模塊類關系圖如圖5:
父類DataDrawer是一個抽象函數,他實現了繪制曲線的一些基本功能。子類MLSDrawer集成了DataDrawer的基本功能,并添加了數據段放大功能。MD_WarningLine添加了告警線的顯示功能,分析人員可以清晰地看到數據告警的位置,并針對該段數據進行分析。MultiLineDawer添加了多曲線繪制弄能,可以將多組數據的曲線繪制在同一坐標系內,讓分析人員可以進行多組數據間的交叉比對。
2 實際應用
如圖6,設備上傳數據經數據轉換模塊處理后輸出可讀數據。
數據繪制模塊讀取分析結果數據后,可以將結果中的一組或多組數據繪制成曲線。
在曲線繪制區域內拖動鼠標可已放大局部數據,如圖9。
3 結語
篇10
北京永洪商智科技發展公司高級副總裁王桐表示,通過數據都能做出怎樣的事情,產生怎樣的價值,同時應該怎樣更好地去運用數據……成為關鍵的幾個問題。除此之外,通過數據化的運營,將改變以往決定戰略和決策的思維模式。以前經常是通過業務經驗來做相應的決策,不管是宏觀的、戰略的,還是和具體的某些執行相關。
數據本身通過這種客觀,如實的證據幫我們提供了一個量化決策支持的基礎。通過這樣的基礎支持,幫助更好地完成決策的事情。所以,對于企業戰略的定義,還是未來的走向,具備數據的支撐是非常重要的。在存量的時代,數據資產化、決策數據化才是整體的趨勢。
運營數據難題多
過去幾年大數據領域的熱門話題多是集中在基礎架構方面,近年來伴隨著相關底層技術的逐漸成熟與豐富,在數據的底層的基礎建設的問題上不再困難。“如今大家都不約而同地思考更進一步的問題,這些保存下來的數據,其價值產出如何,怎么在業務場景中體現價值,如何對外輸出和變現……這些都成了用戶乃至企業的管理者們共同思考的問題。”王桐對《中國信息化周報》記者說。在這個過程中,同樣產生了很多有創意的業務形態與想法,現在數據的價值在于如何通過數據達到更精準的運營、更有效的管理以及更加全面的集團企業監控,才是數據價值所主要遵循的三個方向。
在每一個方向中,實際有很多具體的細分場景。例如更精準的運營,可能會與用戶畫像、用戶活躍度等密切相關,其中更有效的管理可能偏向內部執行層面,更全面的監控是指偏財務審計與管理層面。在這些不同的業務層面,其實數據都能夠切入每一個具體的業務場景中,通過數據化的指標幫助完成監控。不管是運營還是管理,還是業務,成效如何主要通過數據化的KPI來監控。很多時候,業務本身就是通過數據進行包裝組合的利用,最后構成了服務的一部分,甚至是產品的一部分。
但在今天,所有的運營商,包括所有的行業企業都會在運營方面遇到各種各樣的難題。例如,我們經常會發現運營商的報告,在內容和數據分析等菜單項,實際上存在大量的重復。看數據的過程其實是感知業務、發現問題,并且思考邏輯、找到答案、采取行動的過程。如果所看的分析內容,實際有很多冗余,這就會對分析與思考的過程帶來很糟糕的用戶體驗,耽誤效率的同時還造成成本的浪費。
在探討運營難題時,王桐說:“現在絕大部分的數據分析系統,或者是VI系統,底層還是上一代的傳統架構,是基于立方體的技術底層,它的特點是相對比較零散和固定,往往是一個需求對應一個數據模型,模型中的分析和計算方式只滿足了一次的需求的實現。和客戶交流的過程中,會發現有的客戶的數據倉庫中有幾百個模型,甚至多達上萬個,后果是數據倉庫復雜到不可維護,性能的損耗相當嚴重,不但帶來了不可維護性,而且也給用戶非常差的體驗。”
通過觀察多家企業的數據分析系統,我們總結出其中的統計數據依然占比很高,明晰偏少。實際上,對于數據分析的操作過程相對比較復雜,而且數據的目錄結構也很難梳理,最終表現出來的問題看起來很零散,問題表現的背后實際上還是過去做數據分析的思路與邏輯的詬病。
探究其問題的本質,IT資源往往是有限的,如果負擔過重,資源會變成瓶頸。數據分析雖然只是一個詞,但實際上卻涉及了一個完整的鏈條,從數據的整合、清洗、加工、建模、分析、展現,輸出,還有挖掘和深度分析,整個鏈條涉及到了很多方面,管理難度非常大。目前很多場景對大數據的應用還不夠靈活高效,往往以固定報表為主,數據的展示只是起點,而不是終點,所以對數據的分析和利用絕對不是做一個靜態報告就結束了,后續還有很多工作要做。
如今大多數情況下大數據的價值產出與預期可能并不匹配。如何讓數據真正促進業務,真正產生價值的變現,并且讓產生價值的過程高效,是值得探討的問題。
敏捷BI+探索式分析
大顯神通
業界權威的IT機構Gartner撰寫了商業報告,證明敏捷型BI以及探索式的分析已成為大勢所趨。許多企業中,無論是信息部門,還是業務部門,兩者都在呼吁能不能成為數據分析過程中的協作角色,使IT部門可以充分完成底層的數據模型建設后,將剩下90%的常用需求讓業務部門“上手”,這樣可以讓業務部門自己進行服務分析。
“無論是國外還是國內,實際上越來越多傳統的、完全以IT為中心的BI平臺正在逐漸被新型平臺所補充,甚至被取代。最新的BI的報告中,這種敏捷型,探索式的BI也是不夠的。眾所周知,數據分析是一個完整的鏈條,必須要移動到一站式的大數據平臺,這將會是未來各個企業的標配。”王桐補充道。
探索式分析可以讓業務部門也能輕松做數據分析,實際上只做BI類偏描述型的分析也是不夠的。如果需要做用戶畫像,收入預測,或者是電子商城商品的關聯交易分析,以及其它機器學習等相關分析的話,還是需要深度分析的,所以深度分析與企業級的管控等四部分有機融合在一起就構成了一站式的大數據分析平臺。敏捷型數據分析,會進一步釋放數據價值。數據分析做到更敏捷,需要提供更好的洞察力,如今很多行業的客戶已經開始采用一站式大數據平臺來完善、提升大數據運營能力。
王桐在交談中提出:“現在是存量的競爭時代,以用戶畫像舉例。用戶畫像歸根結底是要對用戶有更深刻的了解,因為大多時候電子商城也有第三方的產品和自由服務,邏輯過程比較類似。做用戶畫像,更深地了解用戶和C端的消費者,對研發設計人員,或者電子商城的選品,以及產品和服務的設計人員來講,會有很關鍵的指向作用。以前是基于自己的經驗去設計新產品和服務,設計好后,再推銷出去,這是過去閉門造車的做法;好的做法是先調查用戶的需求與喜好,再結合需求與喜好來設計套餐和選品。”