嵌入式數據庫典型技術―SQLite和Berkeley
時間:2022-11-17 09:44:00
導語:嵌入式數據庫典型技術―SQLite和Berkeley一文來源于網友上傳,不代表本站觀點,若需要原創文章可咨詢客服老師,歡迎參考。
摘要:與常見的數據庫相比,嵌入式數據庫具有體積小、功能齊備、可移植性、健壯性等特點,本文分析和比較了典型的嵌入式數據庫SQLite和BerkeleyDB。首先從體系結構、子系統間調用關系、任務執行過程等角度對SQLite和BerkeleyDB進行了詳細分析,然后重點從數據類型、存儲方式、模式、數據庫引擎和錯誤處理及加密功能等方面討論了SQLite和BerkeleyDB的異同點,最后列舉了一個基于ARM—Linux的SQLite應用實例。
關鍵詞:SQLite、BerkeleyDB、SQL、虛擬數據庫引擎(VDBE)
引言
隨著計算機技術與其它學科間的不斷交融、滲透,數據庫應用的范圍更加深入和具體。那些僅適用于PC機,體積龐大、延時較長的數據庫技術已不能滿足針對性較強的嵌入式系統開發的需求。SOLite和BerkeleyDB是目前應用較廣泛、技術較穩定的兩種嵌入式數據庫。然而,國內對嵌入式數據庫的研究起步較晚,還沒能引起更多人的關注。更多人熟悉那些基于C/S或B/S結構的關系型數據庫來實現數據的存儲、檢索等功能。然而,在嵌入式系統中,由于軟硬件資源有限,不可能安裝龐大的數據庫服務器,而用戶的需求可能由一個簡單的基于磁盤文件的數據庫系統就能實現,這僅僅是利用了那些數據庫的基本特性。此時,對嵌入式數據庫的研究就顯得尤為重要了。
1嵌入式數據庫
嵌入式數據庫通常是與嵌入式操作系統及具體的應用集成在一起,無需獨立運行數據庫引擎,由程序直接調用相應的API就可實現對數據的存取操作。嵌入式系統的開發環境決定了其數據庫的特點:
1、體積適當
由于嵌入式系統自身的特點,對數據的存儲和程序的運行都有較強的空間限制,所以嵌入式數據庫首先應該保障的就是適當的體積。進一步來說就是占用盡量少的ROM、RAM及CPU的資源。
2、功能齊備
嵌入式系統開發中,用戶需求決定了需要一個大小適中、功能齊備的數據庫來實現數據
管理,這就使得開發人員要采用一個能夠提供完備開發文檔且易于開發的數據庫技術。此外,
國家863項目2002AA714023,研究生精品課程資助05531451
在嵌入式設備中,數據庫的管理對用戶來說是透明的,這就要求此數據庫能夠自動完成啟動初始化、日志管理、數據壓縮、備份、數據恢復等功能;而且嵌入式設備經常有不可預料的硬復位,這就需要此數據庫有高度的健壯性。
3、可移植性
嵌入式系統的平臺種類繁多,因此嵌入式數據庫應有一定的可移植性,以適用于不同的軟硬件平臺。
4、代碼開源
開源的代碼在產品的開發過程中不僅可以減少開發成本,更重要的是為后期的維護完善和穩定運行都提供了最為徹底的解決方法。
SQLite是D.理查德.希普用一個小型的C庫開發的一種強有力的嵌入式關系數據庫管理體制。雖然功能較berkeleyDB稍顯遜色,但它簡單易學、速度較快,同時提供了豐富的數據庫接口,提供了對SQL92的大多數支持:支持多表和索引、事務、視圖、觸發和一系列的用戶接口及驅動。
SQLite的體系結構大體上可以分成八個主要的子系統,如圖1所示。對數據庫進行的各種操作都是按照此順序,逐一執行的。頂層是標記處理器(tokenize)和分析器(parser)。SQLite有自己高度優化的代碼生成器,可以快速、高效地生產出代碼。底部是經過優化的B樹,這樣有助于運行在可調整的頁面緩沖上時,對磁盤的查找降低到最小。再往下是頁面高速緩存,它作用在OS的抽象層之上,這樣的體系結構使數據庫的可移植性變為可能。
該體系結構的核心是虛擬數據庫引擎(VDBE)。VDBE完成與數據操作相關的全部任務,并且是客戶和存儲之間信息交換的中間單元。從各個角度分析,它都是SQLite的核心。當SQL語句被分析后,VDBE便開始工作。代碼生成器將分析樹翻譯成一個袖珍程序,隨后這些袖珍程序又被組合成VDBE的虛擬機器語言表示的一系列指令。如此反復,VDBE執行每條指令,最終完成SQL語句指定的查詢要求。
SQLite有以下特性:支持ACID事務、零配置―無需安裝和管理配置、存儲在單一磁盤文件中的一個完整的數據庫、數據庫文件可以在不同字節順序的機器間自由共享、支持數據庫大小至2TB、足夠小、全部源碼大致3萬行C代碼,250KB、比目前流行的大多數據庫運行速度快,提供了對事務功能和并發處理的支持、應用Transaction既保證了數據的完整性,也會提高運行速度,因為多條語句一起提交給數據庫的速度會比逐一提交的方式更快、獨立、沒有額外依賴。
3BerkeleyDB
BerkeleyDB是由sleepycatsoftware開發的輕量級嵌入式數據庫,它不僅適用于嵌入式系統,而且可以直接連接到應用程序內部,和應用程序運行在同一地址空間。傳統的數據庫一般作為獨立服務器工作,而BerkeleyDB是軟件開發庫,開發者將它嵌入到應用程序中,應用程序本身就是一個服務器,而只是利用嵌入式數據庫開發來實現定制的數據庫邏輯,避免了與應用服務器進程間通信的開銷,因此BerkeleyDB具有較高的運行效率,適用于資源受限的嵌入式系統。
一般而言,BerkeleyDB數據庫系統可以大致分為五個子系統,如圖2所示。
1、存取管理子系統(AccessMethods)
該子系統為創建和訪問數據庫文件提供基本的支持。在沒有事務管理的情況下,該子系統中的模塊可單獨使用,為應用程序提供快速高效的數據存取服務。
2、內存池管理子系統(MemoryPool)
該子系統就是BerkeleyDB所使用的通用共享內存緩沖區,該子系統可以被應用程序單獨使用。
3、事務子系統(Transaction)
該子系統為BerkekeyDB提供事務管理功能,保證操作的原則性、一致性和孤立性。事務子系統適用于對需要事務保證的數據進行修改的場合。
4、鎖子系統(Locking)
該子系統提供進程之間以及進程內部的并發管理機制,為系統提供多用戶讀取和單用戶修改同一對象的共享控制。該子系統可以被應用程序單獨使用。
5、日志子系統(Logging)
該子系統采用的是先寫日志的策略,支持事務子系統進行數據恢復,保證數據一致性。
4、SQLite與BerkeleyDB的異同
通過上面的一些介紹,也許會對SQLite和BerkeleyDB有了一定的了解。從目前的趨勢看,這兩款嵌入式數據庫有著旺盛的生命力,較好的應用領域及發展空間。筆者翻閱了大量的資料,從各個角度,對它們的異同進行了多方面,多層次的比較,如表1所示。
表1SQLite與BerkeleyDB的異同
特性
SQLite
BerkeleyDB
是否為關系數據庫
是否支持SQL
開發語言
數據類型
存儲方式
存儲模式
數據庫引擎
適用系統
錯誤處理
加密功能
是否免費
難易程度
是
是
C語言
無
轉換成ASCII碼
Btree
虛擬
從ARM/Linux到SPARC/Solaris多種硬件平臺
較少
弱
全部
較易
否
否
C、Java語言
無
原樣存儲
Btree、Hash、Queue和Recno
無
UNIX/POSIXsystems、Win32及嵌入式系統WinCE、VxWorks等
較詳細
強
部分
較難
通過此表我們可以較為直觀地看到,SQLite和BerkeleyDB在數據庫類型、開發語言、存儲方式、模式等方面有著較大的差異。下面筆者就對其中某些重要方面進行相對詳細的論述:
1、數據庫類型
SQLite基于關系數據庫模式,支持絕大多數標準的SQL92語句,在很大程度上實現了ANSISQL92標準,特別是支持視圖、觸發器、事務,支持嵌套SQL。它通過SQL編譯器(SQLComplier)來實現SQL語言對數據庫進行操作,采用單文件存放數據庫。在操作語句上更類似關系型數據庫的產品使用,非常方便。這也就使得那些曾經有過PC機數據庫經驗的人,對SQLite的學習變得易如反掌。
此外,SQLite也有API的概念,而且極其易于使用,只需要三個用來執行SQL和獲得數據的函數。它還是可以擴展的,允許程序員自定義函數,然后以callback的形式集合進去。C語言API是腳本接口的基礎,如已經的(Tcl接口)。開放源碼團體已經擴展了眾多的客戶接口、適配器、驅動等,這就使得其他語言對SQLite的使用也成為可能。
BerkeleyDB不是關系型的數據庫,不能應用標準的SQL語句對數據庫操作,對它的操作要調用專用的API實現。這些API提供了查詢、插入、刪除等功能。使用BerkeleyDB提供的函數來進行數據庫的訪問和管理并不復雜。在大多數場合下,只需按照統一的接口標準進行調用就可以完成最基本的操作。
2、存儲方式及模式
SQLite只提供了Btree存儲數據的模式。對二進制數據,SQLite不能直接保存;但可以先將二進制的數據轉換成ASCII編碼,然后再保存。Base64編碼機制是最常見的把二進制數據轉換成ASCII編碼的手段。在SQLite的C語言代碼encode.c中,提供了Base64編碼的功能。
BerkeleyDB對任何存入的數據都是按原樣直接存儲到數據文件中去,無論其是二進制數據還是ASCII或Unicode等編碼的文本。BerkeleyDB提供了四種存儲數據的模式:Btree、Hash、Queue和Recno。在打開數據庫的時候,要指定一種存儲模式。
對于以上各種存儲模式的具體定義、優缺點、及適用范圍,由于篇幅有限,在此就不過多敘述,如有需要可參閱相關資料。
3、數據類型
SQLite最大的特點在于其數據類型為無數據類型(typelessness)。這意味著可以保存任何類型的數據到所想要保存的任何表的任何列中,無論這列聲明的數據類型是什么。雖然在生成表結構的時候,要聲明每個域的數據類型,但SQLite并不做任何檢查。開發人員要靠自己的程序來控制輸入與讀出數據的類型。這里有一個例外,就是當主鍵為整型值時,如果要插入一個非整型值時會產生異常。
雖然,SQLite允許忽略數據類型,但是,仍然建議在CreateTable語句中指定數據類型,因為數據類型有利于增強程序的可讀性。另外,雖然在插入或讀出數據的時候是不區分類型的,但在比較的時候,不同數據類型是有區別的。
在BerkeleyDB中關鍵字(key)和數據(data)是用來進行數據庫管理的基礎,由這兩者構成的key/data對,組成了數據庫中的一個基本結構單元。通過使用這種方式,用API函數訪問數據庫時,只需提供關鍵字就能夠訪問到相應的數據。關鍵字和數據在BerkeleyDB中都是用一個名為DBT的簡單結構來表示的,它的作用主要是保存相應的內存地址及其長度。
5應用
SQLite嵌入式數據庫提供了以源碼的方式,要在眾多的硬件平臺進行移植,可以根據不同平臺對源碼進行交叉編譯來實現。編譯主要有以下幾個步驟:
1、到/的cvs中下載最新的源代碼包,解壓后將生成sqlite目錄,另外新建并轉到一個與sqlite目錄平行的同級目錄,如make目錄。
2、用“echo$PATH”命令查看PATH中是否已經包含交叉編譯工具arm-linux-gcc。
3、為了在ARM-Linux下能正常運行sqlite,需要對sqlite/src/sqliteInt.h作一定的修改,以確保btree(B樹)有正確的變量大小,如“ptr”和“char”。不同體系結構的Linux,如X86和ARM,會有些差別。對于ARM-Linux可以找到如下部分:
#ifndefINTPTR_TYPE
#ifSQLITE_PTR_SZ==4
#defineINTPTR_TYPEint
#else
#defineINTPTR_TYPElonglong
#endif
在上面的代碼前加上一句
#defineSQLITE_PTR_SZ4
這樣后面的“typedefINTPTR_TYPEptr;”就是定義的“int”類型,而不是“longlong”。
4、使用configure進行一些配置。修改sqlite目錄下的configure,讓configure不去檢查交叉編譯環境。由于篇幅有限不再詳述。
5、修改Makefile文件。將代碼行BCC=arm-linux-gcc-g-O2改成BCC=gcc-g-O2。另外,一般是以靜態鏈接的形式將sqlite放到ARM-Linux的硬件板上運行的,所以繼續修改Makefile,找到標記為sqlite:的代碼段,將其中的libsqlite.la改成.libs/libsqlite.a。做完上述修改,用make生成sqlite、libsqlite.a、libsqlite.so。為了減小執行文件大小可以用strip處理,去掉其中的調試信息。
6、在ARM板上運行sqlite。將sqlite拷貝到ARM板上,方法很多,需要根據具體的情況來選擇。如ftp、cm-dftp、wget等。將sqlite下載到ARM板的/tmp目錄,因為此目錄是可寫的。修改權限并運行:
chmod+wxsqlite
./sqlitetest.sqlite
會出現
sqlite>
如果一切正常,現在sqlite已經在ARM-Linux下跑了起來,然后就可以基于此進行下一步的應用開發了。
6結語
嵌入式數據庫SQLite和BerkeleyDB,在體積上、功能上、運行速度及難易程度都存在著或多或少的異同。但它們都有能夠充分適應硬件的能力,能很好地適應嵌入式系統的需要。就筆者來看,SQLite功能雖不及BerkeleyDB強大,但它的設計思想是小型、快速和最小化的管理。這就使得SQLite在大小和功能之間找到了一個理想的平衡點,而且完全的開源代碼使其可以稱得上是理想的“嵌入式數據庫”。當然在具體的嵌入式應用中可以根據具體情況選擇應用。
參考文獻:
1、,SQLite的官方主頁
2、,BerkeleyDB的官方主頁
3、MichaelOwens.EmbeddinganSQLDatabasewithSqlite.LinuxJournal,20030601
4、薛啟康.Linux環境下的數據庫.中國計算機報,2001總期號:1009
5、張孝.嵌入式移動數據庫的現狀及發展[J/OL].