導語：大數據分析下存儲優化算法研究一文來源于網友上傳，不代表本站觀點，若需要原創文章可咨詢客服老師，歡迎參考。

摘要：隨著大數據時代的來臨，不僅為人們的生產生活提供了極大的便利，同時也為企業與政府部門的長足發展提供有力的信息保障，對我國實現現代化建設目標具有重要影響。現階段，在大數據分析背景下，如何有效地提高存儲系統的訪問效率，實現數據的優化統計與整合，已經成為當今社會廣泛關注的首要課題，并受到相關學者的高度關注。本文主要就基于大數據分析下的存儲優化算法展開探討，希望對日后的相關研究有所幫助。

關鍵詞：大數據；存儲優化算法；訪問效率；適應算法

在這個信息爆炸的時代，如何有效提高數據信息的統計效率，實現數據信息的動態監管，已經成為現代人們正在面臨的全新挑戰。據有關部門統計，在2009年，我國的數據總量已經達到0.8zb，而2010與2011年的數據總量更是呈前一年的50%的速率增長，分別達到了1.2zb與1.8zb，并據相關專家推測，到2020年我國數據總量將為50zb。在這種情況下，對存儲設備與數據的優化算法都紛紛提出了更高要求，因而進行大數據存儲優化算法研究就顯得至關重要。

1新時代下大數據的特征與存儲需求

海量、高速、多樣性、真實性、復雜性構成了大數據的五大特征。但是，隨著我國科技水平的不斷提升，數據庫應用技術的不斷創新，對設備的存儲功能提出了更高要求，具體表現為：首先，現階段大多數計算機的計算速率與存儲容量已經無法大數據的存儲需求，雖然可以一定程度上提高機器內在配置，但其投入成本較為昂貴，不適用于廣泛使用。這就好比一個正常人能夠搬起100斤重的物品，經過他不懈的鍛煉與努力，他最終能夠搬起200斤重的物品，但是如何這個物品的總重量為1000斤，憑借這個人的鍛煉與努力是獨立無法完成搬運的，大數據存儲亦是如此。其次，對于傳統的數據庫而言，只能簡單地滿足數據類型的存儲與查詢，無法滿足大數據的多樣化發展需求。最后，傳統的關系型數據庫系統對于數據的分析請求與處理請求無法提供有力的支持，致使大數據的高效性存儲大打折扣。

2基于大數據下的存儲優化算法研究

2.1、基本索引算法

（1）哈希索引算法是由于原來的哈希表思想演變而來，主要是利用華西索引算法提高存儲系統的應用功能，比如在數據添加、數據刪除、數據修改的同時，能夠同時進行數據查詢，從而滿足使用者的多樣化需求。比如，在Bitcask系統運行中，我們可以利用哈希索引算法來實現數據的添加與查詢操作，提高鍵值存儲系統的運行效率，擴大數據存儲容量，進而進一步提高用戶的使用體驗。

（2）B樹索引算法是在哈希索引算法上的創新與升級，它不僅能夠支持數據的隨機讀取，還能進一步擴大數據的搜尋與掃描范圍，進而提高數據的查詢效率。同時，B樹索引算法還包括了數據隨機訪問功能與范圍查詢功能，擴大數據庫的存儲容量，加快了數據的訪問速度，從而實現對數據的存儲優化計算。

2.2、內存分配算法

（1）首次適應算法。在該算法使用前，應先將內存中的閑置內存塊與單向鏈表數據結構進行有效連接，并對用戶所需的數據進行一次查詢，直到找到滿意的閑置內存塊，通過鏈表發送給用戶，從而實現數據存儲的優化處理。在這里需要注意的是，由于首次適應算法的查詢方式比較單一，通常都是從head節點開始，這在一定程度上就導致了head節點相鄰的空閑內存塊出現被多次分配的現象，而鏈表尾端的節點分配率較低，從而影響節點的分配平衡。

（2）循環首次適應算法。該種算法是首次適應算法的升級與改良，主要是將閑置內存鏈表轉變成為循環鏈表，擴大系統的存儲容量，便于數據查詢。該種計算方法的好處在于，能夠更加均勻地進行數據的內存塊分配，從而有效避免出現分配不平衡現象。

（3）最佳適應算法。該種算法的設計出發點與首次適應算法、循環首次適應算法有所不同，其主要是按照閑置內存塊從小到大的方式建立起鏈表連接，從而根據用戶的請求需求進行順次分配，減少數據存儲的大量開銷。

（4）最差適應算法。該種算法與最差適應算法正好相反，其主要是將閑置內存塊從大到小的方式建立起鏈表連接，雖然這種方式初看存在著一定的不合理性，但卻能有效解決最佳適應算法中出現內存碎塊的問題，避免內存碎塊過大占有大量的存儲空間，從而在提高數據計算與優化效率的同時，促進大數據時代的更好發展。

結束語

綜上所述，隨著“互聯網+”時代的來臨，物聯網、云計算、社交平臺、短視頻APP等得到快速發展，并產生大量的新型數據，對社會的可持續發展與人們的正常生活都具有重要影響。因此，在這個以數據為尊的時代，我們應設備的存儲功能，加大數據優化算法的研究與投入，充分發揮大數據在社會生產與人們生活中的優勢作用，從而在提高社會各界發展水平的同時，促進我國各項事業的可持續發展。

參考文獻：

[1]宋亞奇，周國亮，朱永利，等.云平臺下輸變電設備狀態監測大數據存儲優化與并行處理[J].中國電機工程學報，2015，35(2):255-267.

[2]程學旗，王元卓，靳小龍.網絡大數據計算技術與應用綜述[J].科研信息化技術與應用，2013，4(6):3-14.

[3]吳章玲，金培權，岳麗華，等.基于PCM的大數據存儲與管理研究綜述[J].計算機研究與發展，2015，52(2):343-361.

[4]楊俊杰，廖卓凡，馮超超.大數據存儲架構和算法研究綜述[J].計算機應用，2016，36(9):2465-2471.

作者:黃正鵬 王力 張仕學 余廷忠 張起榮 單位:貴州工程應用技術學院信息工程學院