導語：大數據技術證券行業分析一文來源于網友上傳，不代表本站觀點，若需要原創文章可咨詢客服老師，歡迎參考。

摘要：大數據技術是證券行業主要研究的科技創新方向之一，文章對大數據技術在國內證券行業的研究現狀進行介紹，并對大數據技術研究方向進行劃分，對建設大數據平臺面臨的困難進行分析，對平臺框架構建進行了深入介紹。從而可以使證券公司結合情況，選擇最適用于自己的大數據技術策略，并提高困難解決能力，構建出適用自己的大數據技術框架。

關鍵詞：大數據技術；證券行業；大數據技術框架

近幾年在金融行業，“金融科技”、“監管科技”等詞匯總是會被人們頻繁提起，這是因為科技對證券行業的服務模式起到了極為深刻的變革創新。隨著金融科技中的新興技術的蓬勃發展，證券行業如何正確使用這類新興技術，如何將自身發展同這類技術綁定，這些問題都留給了證券行業很多的選擇。

1大數據技術的國內現狀

隨著大數據技術進入國內的證券行業，越來越多的證券公司都開始覺察到大數據的價值，逐漸開始啟動大數據的相關研究和分析工作，試圖通過大數據技術挖掘海量數據的實際價值?，F介紹三則證券公司的使用實例。交易日志監控分析系統，是包含了手機端和網頁端日志的存儲，并對服務器性能，用戶交易行為和支撐系統運營狀況進行監控分析。交易日志監控分析系統支持海量的日志存儲和分析，提高了現有系統的管理和運營水平。異常交易預警系統是基于大數據平臺中的相關用戶信息，對異常交易行為進行提前預警，比如高買低賣利益傳送預警，長期閑置賬戶頻繁異動預警，大量委托查詢請求預警等?？蛻舢嬒裣到y是將通過自由源數據和第三方數據收集的客戶信息傳送到大數據平臺中，對數據進行計算后將結果放入到用戶畫像系統和模型管理系統中，得到的最終輸出結果作為業務應用。用戶畫像系統是對客戶進行計算分析后，添加各類描述標簽，構建出一個嚴格的標簽體系，并把結果推送給業務進行使用。畫像系統和模型系統得到的最終分析結果，可以一起發送給上層應用，實現金融產品推薦，精準廣告投放，線下客服溝通，風險防控等服務。

2大數據平臺的構建

2.1大數據技術的分類劃分。針對大數據技術的數據實時性特點和計算復雜程度的特征，可以對大數據技術的使用情況進行復雜程度和實時性分類，根據這樣的劃分，得以結合證券公司本身的研發特點和實力，制定出相應的研發方向，建立起自身的競爭優勢。研發的方向可以歸納為四個類型——描述型、診斷型、預測型和指導型。傳統企業都比較擅長使用描述型數據和診斷型數據，所以真正把數據運用得當，取決于預測型數據和指導型數據的使用。描述型數據主要體現在報表類業務，其讓事件反映的具體、清晰；診斷型數據是針對所出現的問題進行判斷分析，比如根據財務數據的指標，發現企業的財務運行情況等；預測型數據是由數據來預測將來事物發展的趨勢，可以提前發現事物的潛在問題再進行糾正，也可以預測行情變換進行投資交易獲利；指導型數據可以根據客戶的行為習慣來挖掘客戶的潛在需求，幫助證券公司做出更好的產品或者對應服務，指定針對性營銷方案從而獲得更好的投資回報。2.2大數據平臺構建的困難。證券公司在構建真正的大數據平臺時，應該結合自身的實際情況，分析將要面臨的困難挑戰。證券公司所面臨的困難可以分為五大方面，分別是：性能、海量、實時、精準、共享。性能問題是指客觀硬件上性能不足，導致數據運行時間長，復雜查詢或者過高頻率的并發查詢的效果過差。海量問題是客觀存在的多樣性大量數據所導致的問題，這是因為數據的格式過于多樣，而承載數據量總是有限的，不可能存儲全部的海量數據。實時性是指獲取和處理數據的能力，實時性的局限會對實施事件、動態營銷、智能服務等造成影響。精準性困難是指缺乏對投資者資產臺賬清算的思維，僅僅依靠傳統的技術手段是無法全面掌握客戶的需求和偏好。共享性困難是指數據難以提取和使用，訪問的方式過于單一，對不同業務系統或者專項統一數據的支撐能力的有限性。在面對這些數據的同時，應該以數據為起點，應用為核心，而整個過程是重復著“去解決數據問題”和“數據去解決問題”的反饋機制，在這個機制中，證券公司應該不斷加強數據應用能力、數據運算能力和數據融合能力。2.3大數據平臺框架構建。大數據平臺的總體框架是由平臺、引擎和行業數據模型三者構建。其中平臺包含數據整合平臺（ETL工具集）、數據管控平臺（數據標準管理、數據質量管理、元數據管理、運維監控）和數據服務平臺（數據資源管理、數據服務總線、安全監控等）；數據流引擎包含計算引擎和數據流引擎；最后的模塊是行業數據模型。如下將對個組成模塊進行講解。數據整合平臺需要采取不同業務系統的數據，平臺為了適應據中心多類型數據源采集的需要，需要支持多種類型的數據采集方式，其中主要包括：第三方工具集成（Kettle/Infor-matica、Flume、Kafka）、消息隊列接口(點對點模式、與訂閱模式、實時消息隊列)、API接口（接口封裝技術、API多調用方式、API可擴展設計）、和FTP/SFTP接口（接口信息配置、采集觸發設置、裝載規則設置）等。數據管控平臺是對數據質量或者系統運行進行監控。在運維監控功能上，主要分析ETL日歷、數據分布、變化趨勢、存儲情況和大表；元數據管理上針對的是數據字典、數據標準、調度關系、數據表登記和映射；元數據分析包含了血統分析、影響分析等；數據質量管理是針對數據監控報告、閥值檢測、字典異動、清洗結果和檢測配置管理等；系統管理則是對系統參數和系統資源進行統一管理。數據服務平臺的定位是為數據服務的提供開發能力和數據支持，并且提供滿足證券公司內外部客戶需求的能力。平臺需要對服務進行監控和管理，保證數據的安全。服務監控是要對配合進行控制、對流量進行控制、對日志進行控制；服務管理，是要做好服務的、服務編排、服務目錄管理和服務結算；在數據安全方面，要對數據進行脫敏處理，對數據進行加密，保證接入安全，事后進行審計。數據服務平臺的構建，首先是對大數據進行存儲，并且分配好數據服務層、功能服務層和基礎服務層[1]。數據服務層包含了業務數據、客戶數據、風險數據、產品資源數據、渠道解除數據等；功能服務層，包含了分析服務、展示服務、日志服務、事件通知服務、數據查詢服務、數據處理服務、數據交換服務等；基礎服務層包含了位置服務、用戶畫像服務、價值洞察服務等等。服務開放總線提供對業務的支持，總線需要滿足接入功能（HTTP、JDBC、消息等）、路由功能（服務查找、服務路由）、負載功能（負載均衡、服務緩存）和適配功能（SQL、MR、Hbase等）。計算引擎需要實現的目標是精益化計算，對多年沉淀積累的行業數據進行計算。計算引擎可自行定義運算流程，使用豐富的運算組件并靈活調度，達到流程節點可視化，整個流程達到可調可用可改。同時也要求計算引擎實現多模式計算，根據業務設計運算模式，支持復雜業務的定義，達到隨時可用，隨時可取的要求，并且全面支持基礎業務組件。計算引擎是由分析引擎、批量計算引擎和實時計算引擎三者構建，其中分析引擎主要含有MPP組、OLAP、Smlib和ES；批量計算引擎有Spark等；實時計算引擎有SparkStreaming和Rddis組成。數據流引擎的流程是從組建涉及、流程設計、作業管理到作業日志進行分部處理。行業數據模型按照數據倉庫模型的層次劃分，依次分為業務建模、領域建模、邏輯建模和物理建模。業務建模中的模型為業務模型，將業務層面的分解和程序化；領域建模中的模型為領域模型，是對業務模型進行抽象處理，生成領域模型；邏輯建模中的模型為邏輯模型，是將領域模型的概念實體以及實體之間的關系進行數據庫層次的邏輯化。物理建模中的模型為物理模型，解決邏輯模型針對不同關系型數據庫的物理化，以及服務器性能等具體的技術問題[2]。構建一個完整的行業數據模型，需要對業務進行全面梳理，對業務流程加以改進。要建立全方位的數據視角，消滅信息孤島和數據差異，致力于解決業務的變動性和數據倉庫的靈活性帶來的問題，幫助數據倉庫系統進行自我建設。

3結語

本文對大數據技術的分析和框架搭建的介紹和建議，可以在證券行業進行大數據技術實踐中得以學習借鑒和技術參考，為企業提供更多的創新思路，得以結合證券企業自身情況和特點找到符合公司本身的發展之路。相信本文可以對證券行業進行大數據技術探索的工程師，學數據技術的愛好者起到良好的指導作用，也對證券公司如何進行金融創新變革有著很好的方向指引意義。

參考文獻：

[1]馬彥圖.云計算技術在農業信息共享服務平臺中的應用[J].西安工程大學學報,2016(4):494-497

[2]賀曉鋒.基于Teradata的銀行數據倉庫模型研究與優化[D].軟件工程,2008.

作者:徐天譽 單位:南京證券股份有限公司