網絡流量分析的方法范文

時間:2023-06-04 10:03:58

導語:如何才能寫好一篇網絡流量分析的方法,這就需要搜集整理更多的資料和文獻,歡迎閱讀由公務員之家整理的十篇范文,供你借鑒。

網絡流量分析的方法

篇1

【關鍵詞】IP網絡流量分析;互聯網;技術的應用

網絡流量分析是一個有助于網絡管理者進行網絡優化、網絡監控、流量趨勢分析等工作的工具,進而挖掘網絡資源潛力,控制網絡互聯成本,并為網絡規劃、優化調整和業務發展提供基礎依據,企業需要及時了解到網絡中承載的業務,及時掌握網絡流量特征,及時解決網絡性能問題。從這些企業管理網絡中所經常遇到的問題來看,需要有一種解決方案能讓網絡管理人員及時了解到詳細的網絡使用情形,使網絡管理人員及時了解網絡運行狀況,及時清楚網內應用的執行情況。隨著網絡的發展,流量分析工作將在網絡管理中起到越來越重要的作用。

1.網絡流量分析方法

網絡流量是單位時間內通過網絡設備或傳輸介質的信息量。網絡流量分析根據不同的方法可以從不同的側面展開,目前,主要的分析方法有流量的統計分析和流量的粒度分析等。

1.1 網絡流量的統計分析

(1)基于軟件的流量統計

這種統計分析一般通過修改安裝于主機上的操作系統的網絡接口模塊,使之具有捕獲數據包的功能,以實現流量信息的收集和分析?;谟布牧髁拷y計效率很高,專用性強,但是價格昂貴對人員要求高,而基于軟件的流量統計有價格便宜,實現靈活,擴展性強的優點,但其性能要低于基于硬件的統計技術。因此,流量統計方法有待進一步的提高,以適應網絡快速發展的需求。

(2)基于硬件的流量統計

此類分析通常采用硬件測量設備,是一種為特定目的設計的用于收藏和分析流量數據的硬件設備。

1.2 網絡流量的粒度分析

網絡流量行為特征的分析還可以在不同測量粒度或者不同的層面上展開。

比特級(Bit-level)的流量分析,這種分析主要關注網絡流量的數據特征,如網絡線路的傳輸速率,吞吐量的變化等等。

分組級(Packet-level)的流量分析,此類分析主要關注的是IP分組的到達過程、延遲、抖動和丟包率等。

流級(Flow-level)的流量分析,Flow的劃分主要依據地址和應用協議而展開的,它主要關注流的到達過程、到達間隔及其局部的特征。

上面流量的粒度由小到大遞增,時間尺度也逐漸增大,不同時間尺度網絡流量往往表現出不同的行為規律。通常,網絡設備本身都提供基于IP分組頭的分析功能,因此,Flow-level的流量分析成為發展趨勢。

2.網絡流量分析常用技術

隨著計算機技術的發展,網絡流量分析技術也與時俱進。既有傳統的數據庫的網絡管理技術,也有面向開放式互聯網的網絡分析技術。目前,在網絡流量分析中占據主流的常用分析技術主要有:

2.1 RMON技術

RMON(遠程監控),是由IETF定義的一種遠程監控標準,RMON是對SNMP標準的擴展,它定義了標準功能以及網管站和遠程監控器之間的接口,實現對一個網段乃至整個網絡的數據流量的監視功能。RMON監控器叮用兩種方法收集數據:一種是通過專用的RMON探針(Probe),流量探針安裝方便,但是流量探針價格昂貴,不適合大面積部署。另一種方法是將RMON直接植入網絡設備(路由器、交換機、HUB等),但這種方式受網絡設備資源限制,一般不能獲取RMONMIB的所有數據,大多數只收集統計量、歷史、告警、事件等四個組的信息。

2.2 SNMP技術

SNMP是用標準化方法定義的,通常一個標準的網管系統包括三個組成部分:SNMP協議,這包括理解SNMP操作、SNMP消息的格式以及如何在應用程序和設備之間交換信息;管理信息結構,它是用于指定一個設備維護的管理信息的規則集;管理信息庫,它是設備所維護的全部被管理對象的結構集合。基于SNMP的流量分析就是通過SNMP協議訪問設備獲取MIB庫中的端口流量信息,典型工具有MRTG,MRTG是一個使用的免費軟件,通過SNMP協議從設備得到流量信息,將流量負載情況繪制成PNG格式圖片,并以WEB形式顯示給用戶。由于M RTG使用起來很方便,能夠直觀顯示端口流量負載,所以是各類網管人員常用的網絡監視工具。但MRTG的功能比較單一,其收集到的流量信息僅是簡單的端口出、入流量統計信息,不能深入分析包的類型、流向等信息。

2.3 s Flow技術

s Flow是由InMon﹑HP和Foundry Networks于2001年聯合開發的一種網絡監測技術,它采用數據流隨機采樣技術,可提供完整的第一層到第四層,甚至全網絡范圍內的流量信息,可以適應超大網絡流量(如人于10Gbit/s)環境下的流量分析,讓用戶詳細、實時地分析網絡傳輸流的性能、趨勢和存在的問題。sFlow技術有很多優點:成本低廉;在不斷發展升級當中,能在沒有消耗額外資源的環境監測萬兆網絡,不會帶來新的網絡沖突;有自己的一套準確可靠的計量方式;數據信息量人。sFlow已經成為一項線速運行的“永遠在線”技術,可以將sFlow技術嵌入到網絡路由器和交換機ASIC芯片中。與使用鏡像端口、探針和旁路監測技術的傳統網絡監視解決方案相比,sFlow能夠明顯地降低實施費用,同時可以使實現而向每一個端口的全企業網絡監視解決方案成為可能。

3.網絡流量分析技術的應用

網絡流量分析起著一個銜接的作用,主要利用網絡流量測量部分收集到的各種流量信息,通過運用不同的方法對其進行分析和建模,以發現流量的特性,對網絡性能做出客觀的評價,并以此作為對網絡進行控制和優化的依據。網絡流量分析技術的應用主要包括以下兒個方面:

3.1 實施安全預警

網絡流量異常會嚴重影響網絡性能,造成網絡擁塞,嚴重的甚至會網絡中斷,使網絡設備利用率達到100%無法響應進一步的指令。通過對網絡內流量的實時分析,有助于及時發現網絡中出現的異常流量,迅速分析出異常流量的具體屬性,并向網絡管理者進行告警,判斷是否出現了入侵,并按照事先擬定的規則集進行處理,記錄異常情況發生時的詳細網絡狀況,使入侵得到及時發現和處理。

3.2 分析用戶行為

根據分析結果,進行相應網絡內容的建設!將用戶感興趣的熱點信息內容放到內部網絡,減輕互聯鏈路的壓力。

3.3 節省運營費用

通過對網絡出口流量和流向的分析,可以統計出業務類型、服務等級、通信時間和時長、通信數據量等參數,可以詳細了解網絡內部用戶對其他外部網絡的訪問情況,為基于IP的計費應用和SLA的校驗服務提供數據依據,從而有效地選擇與其他運營商的互聯方式,節省費用。

3.4 優化網絡結構

通過對網絡中一些特定流量的長期監控,獲得網絡流量數據后對其進行統計和計算。從而得到網絡及其主要成分的性能指標,定期形成性能報表,并維護網絡流量數據庫或日志存儲網絡及其主要成分的性能的歷史數據,可供網管人員正確分析網絡使用狀況,對網絡及其主要成分的性能進行性能管理。通過數據分析獲得性能的變化趨勢,分析制約網絡性能的瓶頸問題。

3.5 評估網絡價

通過對各個分支網絡出入流量的監控,分析流量的大小﹑去向及內容組成,了解各分支網絡占用帶寬的情況。從而反映其占用的網絡成本,也可以了解其業務開展情況,并作出價值評估。

3.6 確定重點客戶

通過對重要應用和大客戶的流量進行統計分析。掌握重要應用和大客戶的流量狀況,進行網絡帶寬的成本分析。有助于在網絡服務質量和網絡成本之間取得最佳平衡。

4.網絡流量分析的重要性

相對于網絡管理人員來說,理解用戶的網絡行為網絡流量的內容是網絡管理的重要內容,它為日常網絡管理﹑容量規劃與未來網絡升級等提供重要依據,通過網絡流量分析,可以提供大量詳盡的數據,供網管人員從很多方面進行更好地維護﹑優化網絡,并且提升網絡的性能;同時還能為業務應用層面提供數據依據,為特定客戶提供流量分析服務。比如網站流量統計分析等;也可作為網絡安全的輔助手段,處理網絡病毒等異常事件。在病毒分析時,網絡管理員需要知道哪些端口發送的數據發生了較大變化,因此,對網絡流量的分析可以為網絡的運行和維護提供重要信息和深層次的管理功能,很好地發揮網絡管理作用。對于網絡性能分析﹑異常監測﹑鏈路狀態監測﹑容量規劃等發揮著重要作用。為網絡發展和網絡優化提供更優質﹑更有效的技術支撐和技術服務,可以預見,隨著網絡的發展,流量分析工作將在網絡管理中起到越來越重要的作用。

參考文獻

[1]李萬鵬.網絡流量控制及流量分析[D].北京郵電大學,2011.

篇2

1網絡流量監測的必要性及意義

網絡管理中非常重要且非?;A的一個環節就是網絡流量監測,網絡流量監測即是通過對網絡數據的連續采集,以此來監測網絡的流量。網絡及其重要成分的性能指標也是對網絡流量數據的統計和計算得到的。網絡管理員根據當前的和歷史的存儲網絡及其重要成分的性能的數據數據,就可對網絡及其主要成分的性能進行性能管理,通過數據分析獲得性能的變化趨勢。分析制約網絡性能的瓶頸問題。在網絡流量監測的基礎上,管理員可對感興趣的網絡管理對象設置閾值范圍以配置網絡閾值對象,閾值對象監控實時輪詢網絡獲取定義對象的當前值。若超出閥值的上限和下限則報警,幫助管理員發現網絡瓶頸,這樣即可實現一定程度上的故障管理,而網絡流量監測本身也涉及到安全管理方面的內容。所以,研究網絡流量監測是非常有意義的。

2網絡流量的特性

2.1數據流是雙向的,但通常是非對稱的?;ヂ摼W上大部分的應用都是雙向交換數據的,因此網絡的流是雙向的。但是兩個方向上的數據率有很大的差異,這是因為從網站下載時會導致從網站到客戶端方向的數據量比另外一個方向多。

2.2大部分TCP會話是短期的。超過90%的TCP會話交換的數據量小于10K字節,會話持續時間不超過幾秒。雖然文件傳輸和遠程登陸這些TCP對話都不是短期的,但是由于80%的WWW文檔傳輸都小于10K字節,WWW的巨大增長使其在這方面產生了決定性的影響。1.3包的到達過程不是泊松過程大部分傳統的排隊理論和通信網絡設計都假設包的到達過程是泊松過程,即包到達的間斷時間的分布是獨立的指數分布。然而近年來對互聯網絡通信量的測量顯示包到達的過程不是泊松過程。包到達的間斷時間不僅不服從指數分布,而且不是獨立分布的。大部分時候是多個包連續到達,即包的到達是有突發性的。很明顯,泊松過程不足以精確地描述包的到達過程。造成這種非泊松結構的部分原因是數據傳輸所使用的協議。非泊松過程的現象迫使人們懷疑使用簡單的泊松模型研究網絡的可靠性,從而促進了網絡通信量模型的研究。

2.3網絡通信量具有局域性?;ヂ摼W流量的局域性包括時間局域性和空間局域性。用戶在應用層對互聯網的訪問反映在包的時間和源及目的地址上,從而顯示出基于時間的相關(時間局域性)和基于空間的相關(空間局域性)。

3網絡流量的監測技術與方法

3.1網絡流量的監測技術種類

(1)基于流量鏡像協議分析。流量鏡像(在線TAP)協議分析方式是把網絡設備的某個端口(鏈路)流量鏡像給協議分析儀,通過7層協議解碼對網絡流量進行監測。與其他3種方式相比,協議分析是網絡測試的最基本手段,特別適合網絡故障分析。缺點是流量鏡像(在線TAP)協議分析方式只針對單條鏈路,不適合全網監測。

(2)基于硬件探針的監測技術。硬件探針是一種用來獲取網絡流量的硬件設備,使用時將它串接在需要捕捉流量的鏈路中,通過分流鏈路上的數字信號而獲取流量信息。一個硬件探針監視一個子網(通常是一條鏈路)的流量信息。對于全網流量的監測需要采用分布式方案,在每條鏈路部署一個探針,再通過后臺服務器和數據庫,收集所有探針的數據,做全網的流量分析和長期報告。與其他的3種方式相比,基于硬件探針的最大特點是能夠提供豐富的從物理層到應用層的詳細信息。但是硬件探針的監測方式受限于探針的接口速率,一般只針對1000M以下的速率。而且探針方式重點是單條鏈路的流量分析,Netflow更偏重全網流量的分析。

(3)基于SNMP的流量監測技術。基于SNMP的流量信息采集,實質上是測試儀表通過提取網絡設備Agent提供的MIB(管理對象信息庫)中收集一些具體設備及流量信息有關的變量。相似的方式還包括RMON。與其他的方式相比,基于SNMP的流量監測技術受到設備廠家的廣泛支持,使用方便,缺點是信息不夠豐富和準確,分析集中在網絡的2、3層的信息和設備的消息。SNMP方式經常集成在其他的3種方案中,如果單純采用SNMP做長期的、大型的網絡流量監控,在測試儀表的基礎上,需要使用后臺數據庫。

(4)基于Netflow的流量監測技術。Netflow流量信息采集是基于網絡設備(Cisco)提供的Netflow機制實現的網絡流量信息采集。Netflow為Cisco之專屬協議,已經標準化,并且Juniper、extreme、華為等廠家也逐漸支持,Netflow由路由器、交換機自身對網絡流量進行統計,并且把結果發送到第3方流量報告生成器和長期數據庫。一旦收集到路由器、交換機上的詳細流量數據后,便可為網絡流量統計、網絡使用量計價、網絡規劃、病毒流量分析,網絡監測等應用提供計數根據。Netflow方式是網絡流量統計方式的發展趨勢。在綜合比較四種技術之后,不難得出以下結論:基于SNMP的流量監測技術能夠滿足網絡流量分析的需要,且信息采集效率高,適合在各類網絡中應用。

3.2網絡流量的監測方法

流量監測包括測量工具/系統的部署、流量數據的采集(包括數據包捕獲、歸并和采樣處理等)、數據包的解析和處理、測量實體量化數值的獲得與統計分析、流量特征化描述、流量存儲和查詢表示、流量建模等多個環節,具有相對復雜的處理和分析過程。目前存在有眾多種流量測量的實現方法,他們可適用不同的測量環境、滿足不同的測量要求,并且有著不同的實現方式。基于硬件的測量通常需要設計和應用特定的硬件設備來對流量數據進行采集和分析。被測量的流量并非由普通的商用計算機直接獲得,而是需要從服務器、交換機、路由器等特定的網絡設備上經過一定處理后導出,然后再由普通的商用計算機完成后續的流量處理和統計分析等工作。不同形式的數據,對應要求在普通的商用計算機上通過不同的程序或軟件實現相應的流量處理和統計分析功能。

篇3

關鍵詞:流量監測;winpcap;網絡數據流量分析

1 引言

隨著互聯網絡的迅速發展,網絡數據流量特征的研究近年來引起了人們廣泛關注。網絡數據流量分析系統的定位重點在對網絡流量的流量、流向、協議的細節監視和分析,網絡安全監視。在容量規劃、入侵檢測和路由優化時,網絡管理員需要知道網絡的數據流量情況和盡量多的測量信息。

2 關鍵技術

⑴數據流。數據流是指輸入數據a1,a2,..按順序到達。這些數據描述了一個信號A。A是一個一維函數A:[1...N]R2。模型取決于ai如何描述A。本文把數據流技術和傳統的網絡管理技術相結合, 取得了較好的應用效果。

⑵流量監測原理。網絡流量監測有主動監測和被動監測兩種不同的實現方法。主動測量方法是向被測網絡中注入附加的“探測流量”并進行返回數據的采集來實現監測的方法,該如果處理不當,也會給網絡增加額外的負荷,影響測量結果的客觀性,甚至使測量結果不準確,產生Heisenburg效應。而被動測量方法是在網絡的某點采集、記錄并且分析網絡的流量信息來實現測量的方法。被動測量可以完全消除附加的“探測流量”和Heisenbutg 效應,這是被動測量的優點,但存在可能會涉及隱私和安全問題的不足。由于Internet上大多數數據傳輸是不加密的,鑒于被動監測的優點,本系統采用基于數據包捕獲的被動監測技術。

⑶winpcap。在網絡管理與安全防護中,對網絡數據流量進行分析,是非常重要的一個任務,從防火墻到攻擊檢測系統,都會用到類似功能。開發此類軟件過程相當復雜。而winpcap (indows packet capture)是windows平臺下一個免費公共的網絡訪問系統。它提供了以下的各項功能:

1>捕獲原始數據報;2>按照自定義的規則將某些特殊的數據報過濾掉;3>在網絡上發送原始的數據報;4>收集網絡通信過程中的統計信息。

3 系統架構

無論是基于網絡安全,還是基于網絡計費系統的改進,網絡數據流量分析無疑是必要的,人們對網絡依賴很強。網絡數據流量系統的架構包括三層:數據層(瀏覽統計、數據庫管理)、訪問應用層、展現層(在線統計器、流量統計器、網絡速度監視器)。

4 系統設計

⑴網絡監視器。網絡監視器是監視網絡通信的,其主要工作有三項:winpcap捕捉包、包分析、記錄。

1)winpcap捕捉包。在網絡包捕獲系統的實現中,采用的是WINPCAP包捕獲應用系統框架。網絡監聽模塊將網絡接口設置為混亂模式,將網絡上傳輸的數據包截取下來,供協議分析模塊使用。由于效率的需要,有時要根據設置過濾網絡上的一些數據包,如特定IP,特定MAC地址、特定協議的數據包等。網絡監聽模塊的過濾功能的效率是該網絡監聽的關鍵,因為對于網絡上的每一數據包都會使用該模塊過濾,判斷是否符合過濾條件。

為提高效率,數據包過濾應該在系統內核里來實現。獲得數據包之后,如果在捕獲過程結束后創建了兩個線程實現對捕獲數據的實時性處理。

2)包分析。包分析指將捕捉來的數據報進行分析。由于要進行流量統計需要很多必要的信息,作為統計依據,如IP地址、協議類型等。其中,數據長度可由函數調用返回的內容得到而且此時得到的是實際在網上的包長度。

3)記錄。通過包的分析后,將有用的信息記錄到文件中去。其中包括目的IP、源IP,數據長度、協議類型、以及為了統計方便需要的時間信息。

⑵流量統計器。流量統計器,是對流量監視器的記錄結果進行統計,將網絡監視器的記錄文件內容讀出,并根據網址分割標準及源和目的地分別統計出流向網外的國內和國外流量,并將結果按照日期分別存儲在數據中。

5 系統實現

⑴捕捉包的實現。包捕捉作為一個獨立的應用程序運行,它從網上截獲包,并以文件形式將有用信息記錄下來,為流量統計準備統計的原始依據。

⑵在線統計的實現。ping利用了原始套接口技術發送ICMP回射請求,并接收工CMP回射應答。Socket是CP/IP編程的底層API(網絡編程接口)。在實現ping后可以將其作為一個函數調用,就很容易實現在線統計。

⑶圖形界面的實現。采用Visual C++.NET實現流量圖形化界面,主要是使用GDI函數畫圖,首先要得到一個設備描述句柄或一個可用的CDC設備描述表對象,WIN32API提供了BeginPaint()和GetDC兩個函數,用于獲得指定窗口的設備描述句柄。MFC的窗口類CWnd類也提供了兩個當前窗口的CDC對象的函數BeginPin()和GETDC();也可以在窗口處理函數中直接用CDC的派生類,最終實現流量圖形化。

篇4

關鍵詞:網絡流量;監測;網絡管理

1、網絡流量的特性

通過對互聯網通信量的測量,人們發現互聯網通信量的主要特性有:

1、數據流是雙向的,但通常是非對稱的

互聯網上大部分的應用都是雙向交換數據的,因此網絡的流是雙向的。但是兩個方向上的數據率有很大的差異,這是因為從網站下載時會導致從網站到客戶端方向的數據量比另外一個方向多。

2、大部分TCP會話是短期的

超過90%的TCP會話交換的數據量小于10K字節,會話持續時間不超過幾秒。雖然文件傳輸和遠程登陸這些TCP對話都不是短期的,但是由于80%的WWW文檔傳輸都小于10K字節,WWW的巨大增長使其在這方面產生了決定性的影響。

3、包的到達過程不是泊松過程

大部分傳統的排隊理論和通信網絡設計都假設包的到達過程是泊松過程,即包到達的間斷時間的分布是獨立的指數分布。簡單的說,泊松到達過程就是事件(例如地震,交通事故,電話等)按照一定的概率獨立的發生。泊松模型因為指數分布的無記憶性也就是事件之間的非相關性而使其在應用上要比其他模型更加簡單。然而近年來對互聯網絡通信量的測量顯示包到達的過程不是泊松過程。包到達的間斷時間不僅不服從指數分布,而且不是獨立分布的。大部分時候是多個包連續到達,即包的到達是有突發性的。很明顯,泊松過程不足以精確地描述包的到達過程。造成這種非泊松結構的部分原因是數據傳輸所使用的協議。非泊松過程的現象迫使人們懷疑使用簡單的泊松模型研究網絡的可靠性,從而促進了網絡通信量模型的研究。

4、網絡通信量具有局域性

互聯網流量的局域性包括時間局域性和空間局域性。用戶在應用層對互聯網的訪問反映在包的時間和源及目的地址上,從而顯示出基于時間的相關(時間局域性)和基于空間的相關(空間局域性)。

2、 網絡流量的測量

網絡流量的測量是人們研究互聯網絡的一個工具,通過采集和分析互聯網的數據流,我們可以設計出更加符合實際的網絡設備和更加合理的網絡協議。計算機網絡不是永遠不會出錯的,設備的一小點故障都有可能使整個網絡癱瘓,或者使網絡性能明顯下降。例如廣播風暴、非法包長、錯誤地址、安全攻擊等。對互聯網流量的測量可以為網絡管理者提供詳細的信息以幫助發現和解決問題。互聯網流量的測量從不同的方面可以分為:

1、基于硬件的測量和基于軟件的測量

基于硬件的測量通常指使用為采集和分析網絡數據而特別設計的專用硬件設備進行網絡流的測量,這些設備一般都比較昂貴,而且受網絡接口數量,網絡插件的類型,存儲能力和協議分析能力等諸多因素的限制?;谲浖臏y量通常依靠修改工作站的內核中的網絡接口部分,使其具備捕獲網絡數據包的功能。與基于硬件的方法比較,其費用比較低廉,但是性能比不上專用的網絡流量分析器。

2、主動測量和被動測量

被動測量只是記錄網絡的數據流,不向網絡流中注入任何數據。大部分網絡流量測量都是被動的測量。主動測量使用由測量設備產生的數據流來探測網絡而獲知網絡的信息。例如使用ping來估計到某個目的地址的網絡延時。

3、在線分析和離線分析

有的網絡流量分析器支持實時地收集和分析網絡數據,使用可視化手段在線地顯示流量數據和分析結果,大部分基于硬件的網絡分析器都具有這個能力。離線分析只是在線地收集網絡數據,把數據存儲下來,并不對數據進行實時的分析。

4、協議級分類

對于不同的協議,例如以太網(Ethernet ),幀中繼(Frame Relay ),異步傳輸模式( Asynchronous Transfer Mode ),需要使用不同的網絡插件來收集網絡數據,因此也就有了不同的通信量測試方法。

3、 網絡流量的監測技術

    根據對網絡流量的采集方式可將網絡流量監測技術分為:基于網絡流量全鏡像的監測技術、基于SNMP的監測技術和基于Netflow的監測技術三種常用技術。

1、基于網絡流量全鏡像的監測技術:網絡流量全鏡像采集是目前IDS主要采用的網絡流量采集模式。其原理是通過交換機等網絡設備的端口鏡像或者通過分光器、網絡探針等附加設備,實現網絡流量的無損復制和鏡像采集。和其它兩種流量采集方式相比,流量鏡像采集的最大特點是能夠提供豐富的應用層信息。

    2、基于Netflow的流量監測技術:Netflow流量信息采集是基于網絡設備提供的Netflow機制實現的網絡流量信息采集。

篇5

關鍵詞:網絡性能;網絡狀態監測;簡單網絡管理協議;NetFlow

中圖分類號:TP393文獻標識碼:A 文章編號:1009-3044(2008)22-670-03

A Survey and Analysis: Network State Monitoring Technology of Campus Network

ZHU Peng

(Computer Application Department,Research Institute of Petroleum Processing,Beijing 100083,China)

Abstract:The structure of Campus Network is becoming more and more complex together with its applications. New applications appear which are sensitive to network performance. Network state monitoring is becoming more and more important for network users and researchers. The article summarizes significance and analyzes the main theory,technology of network state monitoring.

Key words:network performance; network state monitoring; SNMP; NetFlow

1 園區網網絡監測的意義

近年來,隨著各單位計算機應用水平的整體提高、內部園區網網絡建設的日漸完善,以及實驗儀器設備的網絡自動化程度提高和發展,越來越多的日常學習、工作和科研、實驗活動依賴計算機和網絡來開展運行,這就要求各單位內部的園區網網絡環境有很高的穩定性和運行效率,并能針對不同網絡內部科研應用需求提供相應的網絡質量保障。園區網連接著各個計算機、服務器、網絡設備、存儲設備及系統設備、試驗裝置、儀器儀表,通過交換信息使之成為一個高效運行的有機整體,為確保各項依賴園區網的科研活動順利進行,必須保障園區網的正常運行和性能穩定。

同時,不斷進行的信息化建設使得各項商業、科研活動對園區網絡日漸依賴,這也帶來了新的信息安全隱患,如何保障網絡與信息系統的安全已經成為需要被高度重視的問題。隨著園區網內部網絡應用的迅速發展,越來越多的攻擊和安全隱患來自于園區網內部,使得傳統的基于網關的安全架構在新一代的攻擊手段面前顯得非常脆弱。而且這些傳統的安全防護手段多屬于被動形式,只能簡單過濾或丟棄攻擊數據,而無法在攻擊源發起攻擊時或之后的較短時間內即時響應,將內部網絡中可疑的攻擊源主機斷開,使其無法通過內網連接進行攻擊。在這種情況下,主動對園區網內部的網絡運行狀態進行監控,并根據網絡流量異常信息采取相應的質量控制和防范乃至隔離控制,將可以成為傳統計算機安全技術(如網關防火墻)的有益補充。

2 園區網網絡狀態監測技術

2.1 網絡監測技術概述

網絡狀態監測是網絡管理和系統管理的一個重要組成部分,網絡狀態數據為園區網的運行和維護提供了重要信息,這些數據對調控網絡資源分布、規劃網絡容量、網絡服務質量分析、網絡故障檢測與隔離、網絡安全管理都非常重要。目前,根據對網絡流量的采集方式可將網絡監測技術分為:基于網絡流量全鏡像的監測技術、基于SNMP的監測技術和基于NetFlow的監測技術三種常用技術。

2.2 基于網絡流量全鏡像的監測技術。

網絡流量全鏡像采集是目前IDS主要采用的網絡流量采集模式。其原理是通過交換機等網絡設備的端口鏡像或者通過分光器、網絡探針等附加設備,實現網絡流量的無損復制和鏡像采集。和其它兩種流量采集方式相比,流量鏡像采集的最大特點是能夠提供豐富的應用層信息。 但采用端口流量鏡像方式將增加網絡設備負擔,對網絡設備性能的影響較大。而若使用探針等附加設備實現流量鏡像,安裝時對網絡影響較大,安裝完成后雖對網絡設備的影響較小,但為網絡結構增加了新的單點失效點,在大型網絡環境下,可能會影響網絡的穩定性。故基于網絡流量全鏡像的監測技術較少用于園區網網絡監測中。

2.3 基于SNMP的流量監測技術

簡單網絡管理協議(SNMP)已經成為事實上的網絡管理標準,得到很大范圍的應用。SNMP首先是由Internet工程任務組織(Internet Engineering Task Force)(IETF)的研究小組為了解決Internet上的路由器管理問題而提出的。SNMP是基于TCP/IP協議的網絡管理標準,它簡單明了,占用系統資源少,已成為事實上的工業標準。SNMP提供了從網絡設備收集網絡管理信息的方法,并為設備提供了向網絡管理端報告故障和錯誤的途徑。SNMP是協議和規范族,包括MIB(管理對象信息庫)、SMI(管理信息結構)和SNM協議。同時,SNMP被設計成與協議無關,所以它可以在IP,IPX,AppleTalk,OSI以及其他傳輸協議上被使用。

基于SNMP的流量信息采集,實質上是通過提取網絡設備Agent提供的MIB(管理對象信息庫)中收集一些與具體設備及流量信息有關的變量?;赟NMP收集的網絡流量信息包括:輸入字節數、輸入非廣播包數、輸入廣播包數、輸入包丟棄數、輸入包錯誤數、輸入未知協議包數、輸出字節數、輸出非廣播包數、輸出廣播包數、輸出包丟棄數、輸出包錯誤數、輸出隊長等。 基于SNMP的網絡流量信息采集可以以極小的代價實現一定程度的網絡流量相關信息的收集,但其收集的信息多是出于網絡管理的需要,無法提供足夠豐富的網絡流量信息。利用其實現網絡總流量的定期監控、觀察網絡設備端口的流量和使用狀況可以滿足網絡管理的基本需求。

SNMP采用‘管理者―’模型來監測各種可管理的網絡設備,利用無連接的UDP協議在管理者和之間進行信息的傳遞。圖1勾畫出了SNMP管理者和SNMP間的通信關系。一個SNMP管理者可以向SNMP發送請求,讀?。℅et)或設置(Set)一個或多個MIB變量數值。SNMP可以應答這些請求。除了這種交互式通信方式,SNMP還可以主動向SNMP管理者發送通知(Trap或Inform Request)以提示管理者一個設備或網絡的狀態。

圖1 SNMP管理者與SNMP間的通信示意圖

在園區網網絡監測中采用SNMP機制有以下優勢:1)可以隨時隨地收集網絡流量信息,及時獲取當前園區網絡的運行情況;2)能夠即時收集到網絡中大量設備的同步流量信息;3)采用方法基于IP層,不受底層網絡物理類型的限制;4)能夠收集到網絡設備自身的工作信息、端口狀態。并可根據需要遠程配置修改網絡設備的相關參數;5)基于SNMP的流量監測所需費用較少,對現有的網絡性能影響較小,且易于集成到各種網管系統中去。

在此基礎上,如果配合后臺數據庫記錄收集到的網絡流量、性能數據,就可以實現對整個園區網絡進行有效的監視,并能在網絡發生故障時及時發現并通知相關人員處理,從而提高網絡可靠運轉的時間,減少因網絡故障造成的中斷時間。

2.1.基于NetFlow的流量監測技術

NetFlow是Cisco公司提出的一項網絡數據流統計標準,利用NetFlow技術,路由器可以輸出流經路由的包的統計信息,從而監測網絡上的IP 流( IP flow) 。采集到的NetFlow流量信息可以幫助進行網絡規劃、網絡管理、流量計費和病毒檢測等等,NetFlow流量信息采集是基于網絡設備提供的NetFlow機制實現的網絡流量信息采集,在此基礎上實現的流量信息采集效率和效果均能夠滿足網絡流量異常監測的需求。它可以實時提取大量流量的特征,實現對流量的宏觀統計分析。目前,NetFlow技術已經成為網絡設備流量信息采集事實上的標準,一些大型的網絡設備廠商均在其主流的路由設備中實現了對NetFlow主要版本的支持。

表1主流廠商網絡流技術對比

NetFlow的實現由路由器、數據采集設備和流量分析工具三部分構成,如圖2所示。

路由器啟動NetFlow功能,負責抓取路由器上發生的流量信息,當Cache表超時后,網絡設備中的NetFlow Agent 將通過規范的報文格式將表項數據以UDP方式向NetFlow數據采集設備發送。NetFlow數據采集設備可以是商業系統或是采用開放源代碼的工作站,它負責實時處理收到的報文,提取出流量數據,進行過濾和聚合后記錄在數據庫中。NetFlow流量分析工具根據數據采集設備數據庫中記錄的網絡流量信息進行網絡規劃、流量計費和各種網絡管理應用,并產生各類報表等。

圖2NetFlow的工作原理示意圖

由于NetFlow技術所產生的信息詳盡且趨近于即時,可讓網管人員深入地了解數據包中的信息,獲得很多網絡運行情況的細節。依據NetFlow信息進行網絡規劃,將大大提高規劃的效率,減少盲目性。

(上接第671頁)

在園區網網絡監測中采用NetFlow機制有以下優勢:

1) 對源及目的業務端口號的統計、分析,可以科學地估算出各種業務在網絡總流量中所占的比重和在各條鏈路上的分布,對網絡業務流量進行精細化分析,包括網絡間數據流中各個具體業務的流量及百分比;同時,也可以根據應用層數據參數Protocol、Port、Bytes對各個網絡業務進行排行,進而科學地預測各類業務流量的增長規律。

2) 通過對整網流量的長期監測,可以建立園區網流量基線,了解網絡內各節點的即時與歷史網絡流量狀態,掌握網絡應用及發展趨勢,從而提高網絡的管理維護能力。

3) 通過統計分析,我們還可以獲知那些業務是目前網絡上最受歡迎的業務,進而對相關網絡應用業務的建設和規劃提供準確的基礎數據;對于業務流量大的端點,分析其增長規律,可以指導對其合理及時的擴容,從而提高整個網絡的運行質量。

4) 利用NetFlow產生的流量記錄與統計分析系統配合,還可以記錄網絡平常在不同時間的流量或服務器連接使用情況,當發現網絡或某服務器流量異常,或是服務器連接情況異常大量增加或減少時,在第一時間發出警報,讓網絡管理員可以立即采取相應措施,盡快確定異常流量源地址及目的地址、端口號等多種信息,針對不同的情況,分別利用切斷連接、ACL過濾、靜態空路由過濾、異常流量限定等多種手段,對異常流量進行有效控制、處理,從而在最短時間內恢復網絡的正常運行。這在防范病毒,尤其是蠕蟲或木馬等造成的DoS與DDoS攻擊時尤為有效。

3 結束語

當前,隨著信息化建設步伐的加快,各單位都在不斷地建設和改造內部的園區網絡,園區網絡的不斷擴展使得網絡的拓撲變得越來越復雜和不規則。而網絡新應用的涌現和網絡用戶的快速增長也使得網絡流量不斷增大、網絡應用日益復雜。采用一種或混合使用多種技術監測園區網網絡狀態的重要性和迫切性越來越突出。園區網網絡監測技術已經成為計算機網絡研究中一個重要的課題方向。

參考文獻:

[1] Cisco. System , NetFlow Services Solutions Guide[S], 2003.

[2] Stewart A J. Network State Monitoring: A Network Security Assessment Concept[EB/OL]. /papers/nsm/network_state_monitoring.txt, 2000

[3] 陳秀蘭,吳軍華.通用網絡流量監測報警系統的設計與實現[J]. 微計算機應用, 2006(4):47-50.

[4] 何豐,靳娜.基于NetFlow的IP網絡狀態監測系統的設計與實現[J] . 通信技術, 2007(8):36-38.

篇6

作者:馬知也 單位:蘭州職業技術學院

網絡流量采集方法

對經過該鏈路的流量進行監聽和捕獲,按一定格式將流量數據進行編碼,或者將其匯聚為流數據,發送給后臺的接受存儲設備.IPFIX工作組[3]定義了采集設備將流量發送給后臺接受設備的協議及數據格式.數據存儲模塊對采集并初步處理后的數據在存儲設備中進行存儲以備進行下一步數據分析.小型測量系統存儲數據到本地采集系統的硬盤上,并實時的進行分析處理和應用.而在大型測量系統中一般有專用的中心存儲設備來存儲數據,通過專用或普通鏈路接受各個測量結點捕獲的數據.數據分析部分對流量特征進行分析,并將這些數據用于計費、異常檢測等應用.網絡設備支持的流量采集有些路由器或交換機本身具有流量采集的功能,在進行路由轉發等功能的同時,它們可以通過專用的硬件設備采集網絡流量數據,并進行初步處理,然后將其轉發到后臺專用流量接收設備.目前網絡設備中應用廣泛的Cisco公司的Netflow和基于網絡設備流量采集標準的sFlow兩種流量采集技術.Netflow通過采集數據分組,根據配置對其進行抽樣,并對具有相同“流關鍵字”的分組聚合形成為流信息,然后通過定義的格式把流信息發送到后臺的流量接收服務器,再由后臺服務器對流信息進行存儲、分析等工作,從而實現完整的流量測量.而sFlow流量采集技術是將sFlowAgent嵌入在交換機和路由器等網絡設備中,它負責對流量進行監視,并將采集的信息發送給后臺的接收服務器.sFlowAgent通過對數據進行抽樣而減少向后臺服務器發送數據量.基于網絡設備支持的流量采集技術一般被用于計費和流量分析等領域.隨著網絡速度的提高,流量采集功能的使用會對路由器、交換機本身的轉發性能產生一定程度的影響,另一方面這種粗粒度的信息對于某些需要詳細分組信息的應用也存在著不足.基于網卡采集在正常應用中,網卡從網絡接口接收數據分組,然后將它傳遞到上層應用.基于網卡的流量采集方法有正常應用模式和混雜模式兩種.在正常應用模式下,網卡只接收發送給自己的數據分組.而在混雜模式下,網卡可以接收所有到達的數據分組,硬件不對分組進行過濾,所有分組都會進入系統的內核.因此,當一個網卡專門用于流量數據采集時,一般應設置為混雜模式.專用設備進行采集雖然通過一系列技術改進措施,普通網卡結合計算機的網絡流量采集技術可以對普通鏈路進行流量數據采集.但對于高帶寬的鏈路,應該采用專用的硬件設備進行流量數據采集.一些公司推出了專用的流量采集設備,如Endace公司的DAG卡[4],NetScout公司的nGeniusProbes、nGeniusInfiniS-tream產品[5],以及一些基于網絡處理器的流量采集方案等.這些專用設備使用高性能專用硬件實現數據采集工作,性能上較前兩種采集方法有了很大的提高.并行采集隨著網絡速度的高速發展,單個設備的采集能力已經很難適應流量數據的采集.因此,利用多個采集設備并行完成流量采集任務成為一個較好的選擇.但為了保證各個采集設備的負載均衡,必須對分流設備的分流策略進行仔細設計.如果分組被分到多個流量采集設備,那么將會給后續的匯總處理程序帶來一定的困難.為了使多個采集系統在數據采集上一致,并保證數據集的完整性,多個采集系統之間必須解決時間同步等問題.

網絡流量測量模型

在現實中許多比較難以解決的問題,一般解決方法是先建立問題模型,模擬一定的場景和條件,然后在這些場景和條件下對問題進行模擬解決.由于互聯網絡的異構型和網絡高突發性業務量使得網絡呈現復雜的非線性,為了有效的對網絡流量進行測量,就需要建立一定的網絡流量測量模型,而且這種模型的建立也是非常有必要的.首先建立仿真模型對真實網絡流量進行描述,這種模型還能夠對網絡流量將來的行為趨勢有效地進行預測.傳統的網絡流量模型多以泊松過程為基礎,其中有泊松模型、馬爾科夫模型、自回歸模型、自回歸移動平均模型和自回歸合成移動平均模型等,這些模型同屬于短期相關性模型,即若測量時間的間隔足夠大的時候,當前時刻所采集到的業務流量與過去時間所采集到的業務流量不具有相關性.從時間的角度來看,這些模型所采集的數據流量具有短相關性,隨著測量時間間隔的變大,網絡流量會趨于一個恒定的常量,也就是說,網絡流量突發性得到了一定的緩和,因此,傳統網絡流量測量模型并不能描述網絡性能的長相關性.對網絡流量自相似性進行深入研究后發現,自相似網絡中業務流量在較大的時間間隔具有突發性,并且這種業務流量的長相關性比較明顯.因此,傳統流量模型一般不適合用來進行自相似流量的模型建立.所以,目前對網絡流量的描述逐漸采用自相似模型,這種模型能夠表征長相關性與突發性.自相似性網絡流量模型以自相似過程為基礎而建立,模型在精度和靈活性方面與統計特性下建立的模型比較并沒有什么優勢,甚至沒有統計特性下建立的模型好,但其具有明確的物理意義,有助于理解網絡流量產生自相似的原理.在自相似性網絡流量模型中流疊加算法使用較多.ON/OFF流疊加模型定義疊加大量的ON/OFF源,每個源都有兩個周期交替的ON和OFF狀態.在ON狀態時,數據源通過連續的速率發送數據包;在OFF狀態時,數據源不發送任何數據包.在這一過程中,所有發送源都出于ON或OFF狀態的時長獨立地附和重尾分布.對于網絡流量統計模型是以其統計特性下表現出的性質為基礎而建立模型,這一類模型相比其它模型雖然在靈活性和精確方面占有一定優勢,但其并沒有具體明確的物理意義.分形布朗運動、分形ARIMA過程、多重分形小波模型和小波域獨立高斯模型都屬于這一類模型.雖然自相似性測量模型以網絡特征為基礎而建立的模型,它可以對業務流量的自相似特性和流量突發性與長相關性進行描述,可以全面認識網絡業務流各個方面的內在規律,在一定條件下能夠取得較好的預測效果.但實際的網絡業務流中,既有短相關特性,又有長相關特性,這種短相關特性與長相關特性并存的多種特性給網絡業務流量精確預測帶來很大的挑戰.因此,自相似網絡流量模型對網絡流量的所有特性也不能完全描述.

篇7

【關鍵詞】云計算技術;大數據;網絡異常流量檢測

隨著互聯網的發展,網絡技術廣泛應用于生活中,許多公共場所布設移動WiFi接入點,為人們獲取信息提供便捷條件。人們應用網絡服務時將個人信息、銀行賬戶等敏感數據存儲到網絡中,重要數據傳遞帶來安全隱患造成網絡安全問題突出。本文利用云計算技術對大數據下網絡異常流量進行檢測,并測試檢測效果。

1大數據下網絡異常流量檢測方法研究

光纖網絡利用光在玻璃纖維實現光波通信,大數據集成調度,然后通過交換機分配IP。光纖通信傳輸距離遠,云計算環境通過波分復用技術使光強度變化,通信中受到干擾導致通信信道配置失衡,需要對云計算光纖網絡大數據異常負載優化檢測,提高網絡通信的輸出保真性[1]。云計算光纖網絡中大數據異常負載檢測模型研究需要提取大數據負載異常特征,實現異常負載檢測。

2網絡異常數據檢測大數據分析平臺

網絡異常流量分為DDoS、NetworkScan等類型,異常流量類型可從目的IP地址、源IP地址、字節數等特征區分[2]。DDos異常流量可通過特征二四五七檢測;NetworkScan異常流量可采用多個網絡地址對主機端口掃描動作;FlashCrowd異常流量由異常用戶對訪問資源申請動作。本文以影響網絡安全異常流量檢測為研究內容,運用現有數據樣本對建立檢測模型訓練,對訓練后識別分析模型檢驗[3]。研究異常流量類型包括U2R攻擊類型、Probing攻擊類型等,需要對數據特征提取分析,對入侵事件進行分類[4]。應用多種入侵事件特征數據,包括離散不間斷協議、離散常規行為、離散接點狀態、不間斷數據源到目標數據比特數、持續創建新文件個數等。為避免兩種衡量標準相互干擾,需對離散數據采用連續化操作。云計算平臺迅速占領市場,目前應用廣泛的是Apache開源分布式平臺Hadoop,Hadoop云計算平臺由文件系統、分布式并行計算等部分組成[5]。MapReduce將傳統數據處理任務分為多個任務,提高計算效率(見圖1)。MapReduce編程核心內容是對Map函數進行特定動作定義,Map核心任務是對數據值讀取,InputFormat類將輸入樣本轉換為key/value對。發現tasktracker模塊處于空閑狀態,平臺把相應數據Split分配到Map動作中,采用createRecordReader法讀取數據信息,tasktracker處于工作狀態程序進入等待。

3大數據分析模型

隨著待處理數據規模劇增,單臺計算機處理數據速度過于緩慢,云計算系統以Hadoop為平臺基礎,提高計算效率?;贖adoop平臺對網絡異常流量操作,向平臺提交網絡流量檢測請求,工程JAR包運行,通過JobClient指令把作業發送到JobTracker中,從HDFS中獲取作業分類情況。JobTracker模塊執行任務初始化操作,運用作業調度器可實現對任務調度動作。任務分配后進入Map階段,所需數據在本地磁盤中進行存儲,依靠計算機Java虛擬機執行實現JAR文件加載,TaskTracker對作業任務處理,需要對文件庫網絡流量特征測試,Map動作結果在本地計算機磁盤中存儲。系統獲得Map動作階段計算結果后對網絡流量分類,中間結果鍵值相同會與對應網絡流量特征向量整合,ReduceTask模塊對MapTask輸出結果排序。Reduce動作完成后,操作者通過JobTracker模塊獲取任務運行結果參數,刪除Map動作產生相應中間數據。BP神經網絡用于建立網絡流量檢測模型,MapReduce平臺具有高效計算優勢,最優參數結果獲得需多次反復計算優化,MapReduce平臺單詞不能實現神經網絡計算任務,采用BP神經網絡算法建立網絡流量檢測模型會加長計算時間。本文采用支持向量機算法建立網絡流量檢測模型。支持向量機以統計學理論為基礎,達到經驗風險最小目的,算法可實現從少數樣本中獲得最優統計規律。設定使用向量機泛化能力訓練樣本為(xi,yi),i=1,2,…,I,最優分類平面為wx+b=0,簡化為s.t.yi(w?xi+b)-1≥0,求解問題最優決策函數f(x)=sgn[∑i=1lyiai(x?xi)+b],支持向量SVM把樣本x轉化到特定高維空間H,對應最優決策函數處理為f(x)=sgn[∑i=1lyiaiK(x?xi)+b]。云計算Hadoop平臺為建立網絡異常流量檢測模型提供便捷。MapReduce模型通過Reduce獲得整體支持向量AIISVs,通過Reduce操作對SVs收集,測試操作流量先運用Map操作對測試數據子集計算,運用Reduce操作對分量結果Rs統計。

4仿真實驗分析

為測試實現云計算光纖網絡大數據異常負載檢測應用性能,采用MATLAB7進行負載檢測算法設計進行云計算光纖網絡中大數據異常負載檢測,數據樣本長度為1024,網絡傳輸信道均衡器階數為24,迭代步長為0.01。采用時頻分析法提取異常負載統計特征量進行大數據異常負載檢測,重疊干擾得到有效抑制。采用不同方法進行負載異常檢測,隨著干擾信噪比增大,檢測的準確性提高。所以設計的方法可以有效檢測大數據中異常負載,并且輸出誤碼率比傳統方法降低。單機網絡異常流量檢測平臺使用相同配置計算機,調取實測數據為檢驗訓練源數據,選取典型異常流量200條數據樣本用于測試訓練。采用反饋率參量衡量方法好壞,表達式為precision=TP/FP+FN×100%,其中,FN為未識別動作A特征樣本數量;TP為準確識別動作A特征樣本數量;FP為錯誤識別動作A特征樣本數量。提出檢測方法平均準確率提高17.08%,具有較好檢測性能。對提出網絡異常流量檢測方法進行檢測耗時對比,使用提出網絡異常流量檢測方法耗時為常規方法的8.81%,由于使用檢測方法建立在大數據云計算平臺,將檢測任務分配給多個子任務計算平臺。使用KDDCUP99集中的數據進行網絡異常流量檢測分析,選取R2L攻擊,Probing攻擊異常流量數據用于檢測分析,采用準確率參數衡量檢測方法宏觀評價網絡流量檢測識別方法:r=TP/FP+FN×100%。使用單機平臺下SVM算法建立網絡異常檢測模型對比分析,本文研究檢測模型平均識別率為68.5%,研究網絡異常流量檢測模型檢測準確率提高28.3%。多次試驗對比檢測耗時,使用本文提出網絡異常流量檢測耗時較短。

【參考文獻】

[1]林昕,呂峰,姜亞光,等.網絡異常流量智能感知模型構建[J].工業技術創新,2021(3):7-14.

[2]武海龍,武海艷.云計算光纖網絡中大數據異常負載檢測模型[J].激光雜志,2019(6):207-211.

[3]農婷.大數據環境下的網絡流量異常檢測研究[J].科技風,2019(17):84.

[4]馬曉亮.基于Hadoop的網絡異常流量分布式檢測研究[D].重慶:西南大學,2019.

篇8

關鍵詞:公用機房;網絡帶寬;流量控制

中圖分類號:TP393.18

機房網絡應用中,占用帶寬較大的常見應用是網絡視頻和基于P2P的下載軟件,特別是隨著P2P技術的迅速發展,使得P2P技術的應用越來越多,網絡視頻播放軟件、BT下載軟件和其他各類軟件的更新與升級等大部分軟件都通過P2P技術進行,特別是網絡視頻播放軟件的發展,越來越趨向于傳統的BT下載軟件,采用P2P技術,在大流量下載網絡視頻的同時也進行著大流量的上傳,使得校園網的出口通道中充斥著大量的P2P流量,機房的出口帶寬被這些P2P流量大量占用,網絡出現擁擠現象,嚴重時核心設備負擔過重無法處理過多的數據包,設備的轉發速度迅速下降,甚至出現設備死機而導致網絡中斷。

P2P技術的分布式特性使得P2P應用的控制難以被監管和控制,如何對P2P流量進行有效的管理已經成為網絡管理人員的重要任務,本文通過分析學校機房網絡流量的應用分布,主要通過部署Panabit流量控制系統,針對占用網絡帶寬較大的基于P2P技術的網絡視頻和BT下載軟件進行監控和管理,通過限速或者阻斷基于P2P技術應用的方法來實現降低P2P流量在教學時間中對網絡出口帶寬的占用,以達到控制非教學業務流量,合理利用網絡出口帶寬和保證機房網絡使用順暢的效果。

1機房網絡帶寬管理難點

1.1上網行為的多樣化:機房內計算機數量眾多,導致機房用戶上網行為的多樣化,BT/電驢下載、在線游戲、在線視頻和在線歌曲、IM聊天等,這些上網行為大部分都會對帶寬占用要求特別高,特別是BT/電驢下載、在線視頻和在線音頻。

1.2網絡應用的多樣化:除了傳統的迅雷、電驢等BT下載軟件采用P2P技術之外,越來越多的網絡應用軟件也采用了P2P技術。例如各大視頻網站開發的網絡播放器、各大音樂網站開發的播放器以及大部分傳統的應用軟件(例如安全軟件、輸入法軟件等)的更新模塊都采用了P2P應用。這些采用P2P技術的軟件運行時不僅占用下行帶寬,還不斷地通過P2P特有的上傳機制占用上行帶寬,使得網絡的出口帶寬可以在很快的時間內被迅速無限地占用。

1.3P2P流量應用的多樣化:P2P應用流量主要的特點表現為:搶占空閑帶寬、上下行流量對稱、一對多點鏈接、大部分端口可變、協議相對固定、流量特征不明顯。這些特征導致P2P在采集分析、識別和管理方面比較困難。

1.4P2P技術的多樣化:P2P特有的點對點傳輸機制使得P2P的監控和管理越來越難,以傳統的迅雷、網際快車為首的BT軟件不斷地更新其P2P技術,甚至在現有P2P技術的基礎上自主開發新的私有P2P協議(例如迅雷自主開發的PS2P技術),這些自主的P2P有的還采用了加密技術,使得這軟件產生的應用流量更加難以被監控和管理。

2Panabit流量控制系統

Panabit是基于X86硬件構架的協議識別和管理平臺,協議識別精確,流量控制精準,具有強大的協議識別和控制功能,自主研發的國內最專業的網絡應用層流量監控和管理引擎,實現基于應用層的流量管理或帶寬分配。采用雙OS主備機制保障了在X86平臺上具有高性能和高穩定性。Panabit有專業版、標準版和網吧版本,標準版為免費提供版本(本文所部署的Panabit為標準版本)。

3部署Panaibit流控系統

Panabit可以安裝在普通的X86電腦上,安裝Panabit的電腦需要有三張網卡,Panabit的部署主要采用網橋模式,部署結構如下圖所示:

4Panabit的管理和配置

Panabit的管理配置:安裝Panabit的計算機必須安裝有三張網卡,在三張網卡中選擇一個網卡接口作為管理借口,其余兩張網卡配置為網橋的內網接口與外網接口,并為管理接口配置IP地址(例如本文將IP地址配置為192.168.2.24),可以通過瀏覽器或者通過HTTPS方式直接訪問該管理IP地址進入Panabit的登錄管理界面。

Panabit的策略配置:

4.1定義限速對象??稍贗P群組里添加要限速或者放行的IP地址或者IP地址段,也可在編輯策略時直接添加。

4.2創建策略組并自定義策略組的名稱。

4.3在策略組添加相應的策略并編輯策略。在策略編輯頁面選擇相關的參數,例如下圖

其中執行動作主要分為:允許、阻斷、數據通道

4.4在策略調度中添加計劃調用策略組的時間段。

4.5在計劃的時間段,Panabit開始調用策略組并使之開始監控或者管理網絡帶寬。

5Panabit流量控制系統的應用

5.1調用策略組限速前―系統流量圖分析圖。通過Panabit流控的系統流量圖(圖5-1)可以看到,在沒有調用限速策略組的時候,機房從8:10開放開始,整個機房網絡流量的基本情況。

圖 5-1調用策略組前的系統流量圖

流量趨勢分析:機房網絡的下行流量迅猛飆升到60Mbps,并穩定在60Mbps左右。

協議組流量分析:HTTP協議的下行流量最大,達到了49.37Mbps,在HTTP協議中包含HTTP分塊傳輸、偽IE下載、其他下載、Web音樂、網頁瀏覽、WEB視頻,其中WEB視頻所占的速率最大;P2P下載速度為8.21Mbps,網絡電視的下載速度為4.9Mbps。

10分鐘流量分布分析:HTTP協議下行流量分布中的比例為70.91%,所占的比例是最大的;P2P下載流量分布中的比例為10.98%,網絡電視所占比例為11.15%;

機房帶寬使用情況:機房網絡帶寬使用已接近出口帶寬上限,網絡出口出現嚴重擁擠,機房內的電腦瀏覽網頁緩慢。

5.2調用策略組限速后―系統流量圖分析。通過建立相關的策略組,并在教學時間內調用策略組,策略組開始生效并對定義的機房IP群組進行帶寬使用監控和限制,圖5-2為調用策略組進行帶寬限制后的系統流量分析圖。

圖5-2調用策略組后的系統流量圖

(1)流量趨勢分析:網絡下行流量從限速前的66Mbps左右迅速降低到了20Mbps左右。

(2)協議組流量分析:HTTP協議的流量降到了16.3Mbps,P2P、網絡電視的流量排名已經跌落到流量排名后面,并且流量速度為非常低,甚至P2P流量的速度已經降到0

(3)10分鐘流量分布:HTTP協議的比例不變,但是HTTP協議的流量已經大大地降低了,P2P、網絡電視的流量比例已經明顯降低,甚至P2P流量的比例已經處于忽略不計的程度。

機房帶寬使用情況:機房網絡帶寬使用已迅速回落,網絡出口的嚴重擁擠得到了非常大的緩解,機房內的電腦瀏覽網頁迅速。

6結語

針對難以監控和管理的P2P應用,通過采用Panabit流量控制系統的精準監控和可視化管理,對機房網絡用戶的上網行為進行引導、管理和規范,減少了機房網絡出口帶寬的壓力,使非教學和學習業務的網絡流量得到有效的限制,使得機房網絡的互聯網流量的得到有效的監控和管理,提高了機房網絡流量帶寬的有效利用,使得學校在網絡帶寬租用方面的支出得到有效的利用,節省了學校在網絡帶寬方面的無限制投入。同時,通過采用X86構架的Panabit,節省了采用其他專業硬件的流量控制系統的購買與軟件授權費用,大大地節省了學校在流量控制設備方面的支出,采用流量控制系統只是學校對網絡行為進行管理和規范的一個手段,主要的目的是通過流量控制系統規范機房網絡用戶的上網行為,從而引導合理地利用網絡帶寬,創建良好的網絡環境。

參考文獻:

[1]劉文超,陳琳.P2P流量檢測技術與分析[J].現代電子技術,2011,22.

[2]張巖.使用Panabit管理校園網[J].科技信息,2011,16.

[3]趙更強.Panabit在校園網中的應用[J].中國電子商務,2011,2.

篇9

[關鍵詞]信息計量學 網絡計量學 文獻計量學

[分類號]G350

1 引言

“信息計量學(Informetrie)”這一學科名稱首次由德國學者O.Nacke在1979年提出,與之對應的英文術語“Informetrics”則最早見于1980年美國科學基金會公布的年度研究項目的標題中,并隨后得到了國際文獻聯合會的認可。1984年,B.C.Brookes撰文提出要大力發展信息計量學,并就信息計量學的一些基本理論問題進行了較詳細的論述。1987年,在第一屆“文獻計量學與信息檢索理論”國際研討會上,布魯克斯又提議將術語“Informetrics”補充到第二屆會議的名稱中去,得到了與會學者的普遍贊同,自此每兩年舉辦一屆的國際學術會議及其出版的會議論文集都在名稱中使用了“信息計量學”。1995年起,會議名稱被正式確定為“科學計量學與信息計量學國際會議”,由“國際科學計量學和信息計量學學會”(ISSI)負責主辦。1997年,T.C.Almind和P.Ingwersen首次提出用“Webometrics”一詞來描述將傳統文獻與信息計量學方法應用于WWW信息計量研究,使信息計量學的研究活動拓展到了網絡空間。2007年1月,由L.Egg―he擔任主編的《Journal of Informetrics》創刊,為新世紀更趨繁榮的學術研究提供了獨立和更加專業化的國際學術交流平臺。

從1979年學科名詞的提出,到1987年成為國際學術會議的主題、奠定自身的學科地位,再到1997年“Webometrics”的出現,信息計量學終于從早期對文獻計量學和科學計量學的依賴、繼承與交流中獲得了長足的進步,并在21世紀的網絡化環境中開辟出更為廣闊的學科發展空間。本文試圖對新世紀以來信息計量學的研究活動進行較為全面的概括和評述,但限于篇幅,重點討論的內容主要包括信息計量學在理論、方法和應用方面取得的重要研究進展,以及當前所面臨的問題與挑戰。

2 理論研究進展

2.1網絡信息計量學研究的全面推進

自1997年“Webometrics”被提出后,基于Web的網絡信息計量問題即廣受關注。根據作者對中國期刊網全文數據庫(2000―2008年)的文獻調查,在以“信息計量學”為標題關鍵詞的檢索結果中,超過90%的中文文獻都是關于網絡信息計量的內容。而在2007年4月對Web of Science數據庫進行的國外文獻調研中發現,網絡信息計量主題的核心文獻數量呈現逐年激增趨勢,其中高品質的學術文獻約占18.5%,被同行引用的次數普遍超過了30次??梢哉f,網絡信息計量領域的確立及各項研究活動的全面推進,已成為新世紀以來信息計量學理論研究取得的一個最令人矚目的重要成就。

目前,大量的網絡信息計量研究活動又以“網絡鏈接分析”為中心議題。由于網絡鏈接與傳統學術期刊文獻之間的引用關系具有某種天然的相似性,研究人員不僅將文獻計量學的引文分析思想廣泛移植、應用到了網絡信息計量研究中,而且賦予了相應的研究工作和成果以極其鮮明的引文分析“烙印”。這種“烙印”從以下網絡計量指標的設計和使用上即可得到充分的印證,例如“Sitation”、“Web Impact Factor”、“Webcoupling”、“Co-citation”、“Co-link”、“Co-authorship”、“Self-linking”、“Self-linked”等。另外,在具體的研究成果方面,例如網絡鏈接分析與引文分析的異同、網絡鏈接的目的與類型、網絡影響因子的定義與應用、核心網站測定等,也都表現出了與傳統引文分析的緊密映射關系。

除借用引文分析法外,近年來網絡鏈接分析開始采用另一種重要研究方法――來自社會學的社會網絡分析(SNA),并在具體應用中取得了一定進展。

隨著研究活動的深入,Web環境下更多更具挑戰性的信息計量問題正在不斷被提出,并賦予信息計量學新的研究使命。例如,(具商業價值的)網絡流量分析及其軟件工具的研制;各種網絡用戶行為(例如瀏覽、查詢、下載、標注、訂閱等)的跟蹤、計量與分析;虛擬社區(包括成員角色、社區結構、主題/話題及其態度/傾向性等)的發展、監測和演變趨勢分析;網絡空間的知識結構及相關站點群落的識別等。面對這些問題與挑戰,信息計量學的研究內容將更具交叉性和豐富性。

2.2“信息基本循環圖式”的構建及對信息計量學理論基礎的探討

1967年,布魯克斯曾將情報學的研究任務抽象為如下的基本知識方程:K[S]+I=K[S+S]。2005年,國內學者王宏鑫基于該知識方程,提出“信息基本循環圖式”的構建:

圖式中各元素含義分別是:W表示人們認識和改造的對象;K’[S]表示社會/他人的主觀/客觀的知識結構;K[S]表示個人/團體的知識結構;I表示個人/團體從社會實踐活動中得到的信息;而K[S+S]則表示吸收I后形成的新的知識結構;“+”表示作用與聯系。

這一“信息基本循環圖式”的提出,不僅具有較為完善的哲學基礎和情報學理論基礎,而且為研究人員對信息計量學邏輯起點的認知與理解以及規范、定義、預測信息計量學的研究內容、研究方法、發展方向、學科增長點等提供了較為有效的觀察視角。此外,該信息基本循環圖式對于形成信息計量學更加多元化的研究范式也很具啟發性。例如,可據此分別從傳播學、認知科學、經濟學、決策學等不同視角展開相應的研究工作。

3 研究方法/工具的集成與創新

在長期的發展過程中,信息計量學逐漸建立了三大核心研究方法:指標計量法、引文分析法和數學模型法。其中,指標計量法簡單實用,通過統計某一項或多項指標的數量(累積)值,經數學處理后即可得出不同指標值的關系或指標值的頻率、時間等分布規律;引文分析法形成于20世紀50年代,它通過對科學文獻之間存在的引用與被引用現象的分析來揭示文獻集合的數量特征和內在規律,是信息計量學獨有的高效研究方法;而數學模型法則是現代科學的核心方法,并成為研究各種復雜系統和社會問題的關鍵性方法。在信息計量學中,對“布-齊-洛分布”問題已基于數學模型法取得了一系列重要研究成果,包括:西蒙的斜分布函數組(1955年);普賴斯的累積優勢分布(1976年);布魯克斯的混合泊松模型(1977年);西切爾的通用逆高斯-泊松分布模型(1982年);巴瑞爾的貝塔-負二項分布(1988年);布克斯坦的經驗負冪分布(1990年)

等。它們對于完善信息計量學的理論基礎,有效解釋、預測文獻流、信息流的變化及相關現象均具有重要的理論意義。

進入新世紀以來,信息計量學在研究方法和研究工具方面不斷取得新的進展,以下主要從4個方面進行說明。

3.1對傳統研究方法的綜合與集成

不可否認,每一種研究方法都有自身的優缺點。以引文分析法為例,由于文獻引用具有一定的滯后性,通過文獻之間的共引關系來研究、分析學科發展的前沿與熱點問題時,結果很可能會有所遺漏;而隨著作者合著現象的日益普及,只針對第一作者進行作者共引分析,研究結論的失真程度也將會日益嚴重。因此,在近期所進行的文獻引文分析研究中,研究人員已越來越多地考慮將多種不同的引文分析方法加以綜合利用,例如把共引分析和文獻耦合分析、共詞聚類、詞頻統計等方法結合起來;或者同時運用第一作者共引分析和全作者共引分析等。

由于不同方法之間的較強互補性以及不同方法形成結果的可比較性,多種方法的綜合運用和集成可以得到更準確可靠的研究結果。調查發現,國內外近年來進行的引文分析研究中,基于不同引文分析指標、集成多種不同引文分析方法的文獻占據了大多數,引文分析已進入了一個具有更大規模和復雜性的研究階段。

3.2社會網絡分析方法的引進

社會網絡分析(SNA)是20世紀70年代以來在社會學、心理學、人類學、數學、通信科學等領域逐步發展起來的一個新的研究分支。作為一種新的方法論和研究范式,SNA主要使用社群圖、矩陣等形式化表達工具和所定義的中心性、權力指數、聚類簇/派系、網絡結構、社會角色等基本概念(或指標),從整體網絡分析、自我中心網絡分析等不同方向開展研究工作。

目前,信息計量學研究對SNA方法的引進和應用,主要表現在對Web環境下較大范圍內的網站超鏈接的分析與計算上,并與基于傳統引文分析法建立起來的網絡鏈接分析研究模式形成一種對照和互補。概括起來,基于SNA方法開展的主要研究活動有:基于網站之問的超鏈接分析,識別社會系統之間的各種聯系;基于政府組織、非政府組織和私人公司之間網站的超鏈接網絡分析,發現組織間聯合的意向;對某一特殊專題不同類型網站之間的超鏈接追溯,用以理解問題解決過程、辨別社會熱點問題等;基于網站主頁內容、鏈接結構和E-mail成員列表等,預測社會成員之間的聯系等。

SNA方法通常涉及大范圍內社群網絡結構的分析問題,指標計算和數據處理比較復雜,不過相應的軟件工具開發已取得了很多成果。以下是幾個較為重要的社會網絡分析軟件:Pajek、Ucinet、NEGOPY、Sociometryplus、Socio Metrica Suite。它們可在SPSS、SAS等統計分析軟件功能之外提供更多的專項分析功能。例如,Ucinet軟件能夠讀取多種不同形式的數據,可處理32767個網絡節點,同時還能計算各種SNA測度指標值,并能進行凝聚子群和核心一邊緣結構分析等。

3.3可視化工具的廣泛應用

在早期的信息計量學研究工作中,研究人員為了把經過繁雜數據處理后得到的計量分析結果,進行直觀和形象的展示比較重視各種可視化方法(或手段)的運用。MDS散點圖、基于等級聚類的樹狀圖、雷達圖、切諾夫臉(Chernoff-face)等,都是一些比較常見的可視化展示方法。1997年,T.Braun等人就利用一個4維的切諾夫臉,把多維空間的科學計量指標數據(活動指數、吸引指數、平均期望引文率、相對引文率等)用一個由計算機繪制的卡通臉的面部特征表示出來,成功地完成了對1990―1994年間世界科學發展狀況的分析和說明。

各種可視化方法(或工具)充分利用了人類對可視模式快速識別的自然能力,可將人類對信息閱讀、判別和理解等認知負擔轉變為簡單、直觀的視覺感知,對于科學研究工作的重要性日益凸顯。特別是近年來由于問題研究規模和復雜性的日益增長,在對研究結論和成果進行展示、說明時,普遍存在著對各種可視化工具的迫切需求。

當前,各種功能豐富的可視化工具在信息計量學研究中已得到廣泛使用,并漸成趨勢。如Pathfinder、CiteSpace Ⅱ、HistCiteTM、VxInsight等以及Pajek和Uci―net的使用都是比較流行的。

3.4網絡引文分析工具的研制

根據國內學者以Web of Science(WOS)和Google Scholar作為引文分析工具進行的實證研究和結果對照,未來的引文分析研究再單純依賴傳統的WOS等工具,將越來越難以獲得全面、真實的引文數據,并會導致引文分析結果產生日益嚴重的偏差。為此,各種新型的網絡化引文索引工具的編制逐漸被提上了議事日程,以適應e-Science時代引文分析的研究需求。

1998年,第一個網絡引文索引CiteSeer開始研制,并于1999年正式投入使用。作為一個主要面向計算機和信息科學領域學術資源的網絡引文索引與檢索工具,CiteSeer主要基于自動引文索引(ACI)技術編制而成。2004年,Google Scholar也在學術搜索服務中成功引入引文分析方法,并提供功能完善的引文鏈接服務。同年,全球最大規模的文摘和引文數據庫服務系統Elservier’s Scopus正式推出,它涵蓋了由4000余家出版商出版發行的科技、醫學和社會科學方面的15100多種期刊資源,并基于文獻計量學原理開發、整合了豐富的學術計量評價功能,可廣泛服務于科研人員、圖書館員、編輯和審稿人、學術機構管理者等。

伴隨著CiteSeer、Scopus等新型引文分析工具的出現,2004年以來,比較它們和傳統WOS工具之間異同的各類研究活動十分踴躍,而目前多數的研究結論是:它們要完全取代WOS或者作為一種權威性的引文分析工具來使用,都面臨著一定的困難或障礙,例如:收錄范圍的不明確;覆蓋的學術資源領域受限;回溯年代較短;各學科開放獲取運動發展的不平衡;ACI技術與網絡搜索技術的缺陷等。

4 主要應用實踐及進展

信息計量學的傳統應用領域主要涉及文獻管理、學科發展分析與評價、科研管理等,而近年來取得的應用進展則大量集中于網絡環境,以下選取幾個較有影響的網絡應用予以說明。

4.1網絡流量分析

隨著網絡發展及其對社會生活的全面滲透,商業網站為擴大自身影響力,吸引更多網絡廣告客戶和電子商務客戶,都非常注意對自身網站訪問流量進行計量和宣傳。早期,網站通常采用自行統計、網絡流量分析報告的方式,但由于日志文件數據比較容易篡改,廣告客戶常常對網站提供的流量數據心存疑慮。另外,各網站在流量分析過程中所采用的標準、計量指

標和工具等的不同,也使得各網站的流量統計結果之間缺乏可比性。為此,制定網絡流量分析的行業標準和報告規范,并由此提供第三方流量認證服務,成為隨后網絡流量分析的發展主流。

目前,市場上專門提供對網站流量和日志數據計量分析的相關軟件以及流量認證服務的提供商越來越多,如WebTrends Log Analyzer、FlashStats、AcessWatch、OneStatPro和BPA International、Nielsen//NetRatings等。商業化軟件和第三方流量認證服務的推出有效促進并形成了信息計量學的一個網絡化新興應用領域。

4.2核心網站評測

對“核心”問題的研究始終得到信息計量學的高度關注,例如早期對學術期刊、文獻作者、詞頻等分布的集中與離散現象的研究以及由此建立起來的一系列經典定律。進入21世紀以來,對“核心”問題的研究仍在繼續,其中尤以核心網站評測最具代表性。

核心網站評測主要由核心期刊評選活動引發而來。除了全面分析和比較核心期刊與核心網站評選方法的異同外,如何建立合理的核心網站評選程序進而形成關于核心網站評選的理論與方法體系更為重要。2005年,國內學者袁毅經過系統、深入的研究,提出了“發現、過濾、評價、擴展和更新”的核心網站評選基本流程,并對該流程進行了實證研究和分析,初步驗證了其合理性和有效性。

4.3 網絡標簽分布的計量分析

網絡自由分類法出現于2004年,而大量使用則在2005年以后?;谧杂煞诸惙ㄔ硖峁¦eb2.0服務的眾多新興網站中用戶標簽的使用及數量、頻率等分布狀況逐漸成為網絡信息計量研究的一個熱點領域。

目前,網絡標簽計量分析研究主要以Del.icio.us、Flickr、Connotea、CiteUlike、Bibsonomy等網站作為實例,從中抽取一定時間范圍內的標簽樣本數據,利用統計描述、聚類、共詞分析等方法進行計量分析,試圖揭示、說明自由分類法及其網絡協作標注系統的運行機制、用戶標注行為規律及行為模式以及互聯網環境下新興的長尾分布現象等。已實施的網絡標簽計量分析研究主要有:①標簽、用戶、資源三者之間的關聯分析;②各種標簽的頻率和比例分布分析(包括高頻標簽與低頻標簽、規范詞與非規范詞、拼寫變化等);③標簽共現分析;④標簽詞語集合的規模及增長變化;⑤基于標簽的用戶標注行為和用戶相似性分析等。

5 面臨的問題與挑戰

5.1基本概念缺乏清晰定義,研究內容龐雜,學科邊界模糊

信息計量學的基本計量分析對象應是“信息”,但由于“信息”概念的難以定義,時至今日,實際研究工作中大都是以各種各樣的信息“替身”為計量對象的。另外,信息(尤其是數字信息)所具備的一些特性,例如無窮性、載體依附性、易復制易傳播性、脆弱性等,也為計量分析帶來更多的困難。

“信息基本循環圖式”對信息計量學理論基礎的建立雖然有所貢獻,但也存在著明顯的缺陷,例如對信息計量與知識計量的關系、各組成要素之間具體的聯系與作用方式(即“+”)等都缺乏明確的定義和說明。此外,基于基本循環圖式而形成的眾多不同的研究范式,也會導致信息計量學研究內容的日益龐雜,并使學科邊界相對模糊。如果多元研究范式長期并存不能形成主流(或核心)的研究體系,則有可能使學科研究主題進一步出現被模糊或被淡化的危險。

5.2研究方法有待繼續創新,專用研究工具比較缺乏

雖然目前信息計量學在研究方法、工具和指標設計等方面已取得不少進展,研究視野得到拓展,但對傳統方法的依賴依然較為嚴重,尤其是在新興的網絡鏈接分析方面,引文分析的“烙印”十分明顯,而針對網絡特性所進行的創新和改進遠遠不如繼承的成分更多。繼承之上如何超越正成為信息計量學急需解決的一個方法論難題。

研究工具方面,不論是網絡抽樣、原始數據下載還是網絡鏈接解析與統計,都還缺乏較為有效的專用工具,很多情況下只能依靠搜索引擎來獲取樣本數據,由此造成研究中存在種種偏差。

5.3應用研究活躍,但影響力和應用效果都比較局限

與信息計量學研究中存在的理論基礎薄弱、方法/工具創新不足形成鮮明對照的是當前各種應用研究活動十分活躍。不過,大部分的應用活動不僅研究方法簡單,而且應用效果不確定,難以形成較強的示范效應或者對理論基礎和研究方法的完善形成有益的促進。而影響力較大的少數研究活動則仍較多局限于教育、科研等學術性領域,這與網絡對當今社會的全方位影響、滲透相比,研究思路還顯得過于狹窄。

篇10

關鍵詞:IP城域網絡流量預測方法

中圖分類號: P332.4文獻標識碼:A

做好網絡的可用性與關鍵業務的暢通運行,對網絡正常健康的發展有著相關重大的作用。維持正常的網絡操作,就須要有相應的技術手法,清晰的認識網絡上各種應用的帶寬占用情況,分析用戶流量行為,有效地保障關鍵業務應用的正常運行,以便合理的規劃和分配網絡帶寬。特別是在發生流量異常的同時,快速有效的分離與抑制異常流量,對非法業務實行遏止,使網絡流量可以保持其健壯性。

1、城域網絡的特點

可靠性:城域網的信息系統能夠在規定條件下與規定的時間內完成規定功效的特點??煽啃允腔谙到y安全的最基于要求之一,是所有網絡信息系統的建設和運行目標。網絡信息系統的可靠性測度主要有三種:抗毀性、生存性和有效性。可靠性主要表現在硬件可靠性、軟件可靠性、人員可靠性、環境可靠性等方面。

可用性:是網絡信息可被授權實體訪問并按需求使用的特性。即網絡信息服務在需要時,允許授權用戶或實體使用的特性,或者是網絡部分受損或需要降級使用時,仍能為授權用戶提供有效服務的特性??捎眯允蔷W絡信息系統面向用戶的安全性能。可用性還滿足身份識別與確認、訪問控制,防止或限制經隱蔽通道的非法訪問。

2、網絡流量的分類

2.1網絡節點端口流量:是網絡節點設備端口流入和流出的數據包的信息統計,包括數據包的個數、字節數、包大小分布、丟包數等非常多的統計信息。監視節點端口流量的典型工具是MRTG( Multi Router TrafficGrapher),另外現網許多網管也提供這些功能。MRTG的功能單一,它使用SNMP協議訪問網絡節點攻取MIB信息(包括網絡節端口流量),然后通過WEB方式輸出結果。

2.2端到端的IP流量:是在網絡層從一個源到一個目的IP包的統計信息。相對于網絡節點端口流量而言,端到端的IP流量包含了更為豐富的信息,通過對它的分析,可以了解到網絡中的用戶都訪問了哪些目的網絡,是網絡分析、規劃、設計和優化的重要依據。目前采用端到端IP流量的典型工具包括SNIFFER、FLOW和流量探針等,根據其不同的特點,分別適用于不同范圍的流量采集。

2.3業務層流量:該流量除了包含端到端IP流量的信息外,還包含了第四層(TCP層)的端口信息。顯而易見,它包含了應用服務的種類信息,利用這些信息可以做更詳細的分析。SNIFFER、FLOW和流量探針等工具也實現了這個層面的流量信息采集。

2.4完整的用戶業務數據流量:該流量對于安全、性能等方面的分析非常有效。例如捕捉黑客的來訪數據包可以制止某些犯罪行為或得到重要的證據。由于捕捉完成的用戶業務數據需要超強的捕獲能力和超高的硬盤存儲速度和容量,需提供長時間的完整的用戶業務數據流量采集。

3、IP 城域網業務流量預測方法

運營商在完成用戶預測的基礎上,便可進行網絡流量及帶寬的預測。

1)寬帶業務流量

寬帶業務流量= 寬帶用戶數× 用戶并發率× 用戶平均業務帶寬(Mbps)× 寬帶用戶帶寬占用率。其中,各項指標如下:

a. 寬帶用戶數:(含DSLAM 用戶、LAN 折算用戶、xPON 用戶、WLAN 用戶):為預計達到的用戶數。

b. 用戶并發率:應為峰值的用戶并發率。

c. 寬帶用戶平均帶寬:應根據本地預計的不同帶寬用戶發展比例進行計算,公式為:用戶平均業務帶寬=2M×2M 接入用戶占比+ 4M×4M 接入用戶占比+8M×8M 接入用戶占比+……。

d. 寬帶用戶帶寬占用率= 寬帶用戶實際平均流量/ 寬帶用戶平均帶寬。例如,按照某運營商市場部預測,4M接入用戶占比取定參考值為55%,8M 接入用戶占比取定參考值為40%,8M 以上接入用戶占比取定參考值為5%。由此計算出接入用戶平均帶寬為5.8M。

2)互聯網專線業務流量

互聯網專線業務流量= 專線用戶數× 平均用戶流量。

3)IPTV 業務流量

IPTV 業務流量,包括中心節點點播業務流量和中心節點直播業務流量。

a. 中心節點點播業務流量=IPTV 用戶數× 開機并發率× 點播并發率× 中心命中率×(標清并發率× 標清碼流+高清并發率× 高清碼流)× 帶寬冗余系數。

b. 中心節點直播業務流量=(標清頻道數× 標清碼流+ 高清頻道數× 高清碼流)× 帶寬冗余系數。其中,開機并發率參考值為50%,點播并發率參考值為50%,中心命中率參考值為20%,標清并發率參考值為50%,標清碼流參考值為2M,高清并發率參考值為50%,高清碼流參考值為8M,標清頻道數參考值為100 個,高清頻道數參考值為20 個,帶寬冗余系數參考值為1.2。

4)VoIP 業務流量

VoIP 業務流量=VoIP 用戶數× 平均用戶流量。

5)IDC 業務流量

IDC 業務流量=IDC 出口寬帶×IDC業務流量系數。

6)3G 業務流量

3G 業務流量=3G 用戶數× 平均用戶流量。

7)業務控制層流量

BRAS 上行流量= 寬帶業務流量。SR 上行流量=IPTV 業務流量+ 專線業務流量。

4、IP城域網流量過濾技術

城域網流量的安全過濾主要可以分為兩種方式:旁路方式和串接方式。

5.1 旁路方式

旁路方式是將流量清洗設備旁掛在城域網核心層,同時將流量監控設備旁掛在城域網匯聚層對匯聚層流量進行監控。當流量無異常時,從核心層至匯聚層的流量不經過流量清洗設備。當流量監控設備發現匯聚層流量出現異常時,由其通知流量清洗設備,并由流量清洗設備向網絡流量重定向的路由公告,將異常流量牽引至流量清洗設備,由其對異常流量進行安全過濾后,再把正常流量轉發至匯聚層,實現流量過濾。而其他正常流量則不受影響,仍使用原路由。當異常流量消失后,再公告恢復原路由,使流量恢復原正常路由。

路由方式的主要優點是不會因為安全過濾設備故障而導致的網絡不通,對業務無任何影響,避免網絡故障點的增加。其只對異常流量進行過濾清洗,無需對全部流量進行處理,避免了由于安全過濾設備的性能原因影響網絡轉發能力,從而有效避免了網絡延時增加、丟包、傳輸性能下降的問題。但由于需要通過流量監控設備檢測,因此需要對核心層至匯聚層流量進行分光,監控設備需要與匯聚層每臺設備進行互聯,占用資源。同時由于需要先檢測,發現流量異常后才對流量進行牽引過濾,使其對攻擊的控制力度較弱,對攻擊的反映較慢,對于某些實時發生的網絡攻擊效果不明顯。

5.2 串接方式

串接方式是將流量清洗設備串接在城域網核心層與匯聚層之間,網絡全部流量都經過流量清洗設備分析過濾,之后再轉發至匯聚層。然后再轉發至匯聚層。其網絡結構。

串接方式的主要優點是流量實時進行分析過濾,能及時對網絡攻擊等異常流量進行過濾,對攻擊的控制力度強。但由于其串接在網絡中,增加了網絡的故障點,對流量清洗設備的性能要求較高。如果網絡擴容,則需要對流量清洗設備進行相應的擴容,投資成本較高。