時間:2022-05-21 11:05:38
序論:在您撰寫數據存儲技術論文時,參考他人的優秀作品可以開闊視野,小編為您整理的1篇范文,希望這些建議能夠激發您的創作熱情,引導您走向新的創作高度。
【摘要】 計算機科學技術的快速發展同時也帶動了網絡數據存儲技術的蓬勃發展,網絡數據存儲技術作為一種重要的數據存數技術,被廣泛的應用在多個領域。不斷發展和改進網絡數據存數技術,推動網絡數據存儲技術的快速發展。本文分析了傳統網絡數據存儲技術的分析和應用和現代化網絡數據存儲技術的分析和應用。
【關鍵詞】 網絡數據存儲技術 分析 應用
數據存數作為計算機系統中一個獨立的模塊,網絡數據存數技術的發展目標是高智能化、低成本化,通過深入分析和研究網絡數據存儲技術,不斷地進行改進和完善,使網絡數據存儲技術更加強大和安全,推動網絡數據技術的快速發展。
一、傳統網絡數據存儲技術的分析和應用
1、SAN。SAN是一種計算機存儲區域的數據存儲技術,將計算機網絡服務器和存儲設備聯系起來,服務器使用SAN接入網絡系統[1]。SAN存儲區域基于LAN層次一下,是一種高效的存儲網絡,利用SAN數據存儲技術,可以有效地緩解大容量數據傳輸對計算機網絡的影響,能夠優化大容量數據的分配。但是這種技術在日常的應用中操作性較差,在維護和構建SAN架構時,技術人員必須具有豐富的操作經驗和專業知識積累,再加上SAN技術的網絡互聯裝置價格昂貴,增加了這種技術的運行成本,使得SAN技術難以發展和普及。
2、DAS。DAS是一種和計算機網絡直接相連的數據存儲技術,它利用SCSI接口或光纖通道將網絡服務器和存儲設備直接相連,這種直接相連的數據存儲技術,系統的運行成本相對較小,被廣泛的應用在計算機網絡集群環境中,具有良好的擴展性。例如,計算機網絡中的服務器分布比較分散,利用普通的網絡數據存儲技術進行連接在技術上有很大的困難,這時可以利用DAS技術。但是這種技術最大的缺點是不具有共享性,需要計算機網絡系統中每一個客戶終端配置一個單獨的服務器,給網絡的管理存儲維護帶來了很大的難度,服務器一旦發生故障,存儲數據信息很難進行恢復,網絡數據存儲的容量空間難以進行拓展,在這種背景下,網絡數據存儲技術的普及受到了很大程度的限制。
3、NAS。NAS是一種計算機網絡系統中重要的數據存儲附加技術,計算機網絡數據存儲附加技術能夠直接將計算機磁盤序列和計算機網絡系統連接起來,NAS技術的服務器主要由計算機存儲硬件和計算機操作系統共同組成[2],在應用過程中,具有很強的拓展性,并且SAN技術和計算機網絡互聯的設備價格相對較低,安裝操作簡單便捷,具有可靠、安全、高容、高效等特點,被廣泛的應用在法律環境、電子出版以及圖像教育等領域,這些領域都對于數據存儲容量有著很高的要求。與此同時,NAS技術的網絡協議開銷較大,在數據文件訪問過程中,NAS技術很難適應高訪問速度的網絡應用,例如計算機網絡數據庫的存儲應用,NAS會占據大量的帶寬,并且NAS難以兼容多種不同存儲設備,無法對設備進行統一的管理和控制,這樣就限制了NAS技術在某些領域的應用。
二、現代化網絡數據存儲技術的分析和應用
1、云存儲。云存儲技術是依托云計算應用技術發展而來的,云存儲技通過計算機網絡中的相關軟件將多種存數設備集合和聯系在一起,協調運行和工作,充分運用了網絡技術和集群應用等功能,實現了對外的數據存儲和業務訪問等功能。云存儲是電子信息時代的一種非常具有代表性的存儲技術,和其他的網絡存儲技術相比,不僅具有很大的價格優勢,有效地降低了計算機網絡系統數據儲存的運行成本,還提高了計算機網絡數據存儲的拓展性和靈活性。
2、OBS。OBS是一種基于計算機應用對象的網絡數據存儲技術,其包含著存儲屬性可拓展的數據存儲容器和存儲長度可變的存儲模塊[3],是一種重要的組織邏輯方式,能夠提供多種類似于文件的訪問方式,如文件的關閉、讀寫、打開等,OBS數據存儲技術融合了SAN和NAS技術的優點,利用計算機網絡系統統一的對象接口,有效地提高了網絡數據存儲技術的拓展性,提高了計算機網絡系統的運行性能。OBS技術最主要的特點就是將計算機網絡系統中相關的物理數據存儲圖標放置在系統的存儲設備中,當前OBS技術是計算機網絡數據存儲領域關注的重點技術,其較強的拓展性和高性能,使得OBS技術廣泛的應用在計算機網絡數據存儲領域。
三、結束語
無論是傳統的網絡數據存儲技術還是現代化的網絡存儲技術,都需要不斷地改進和發展,不斷提高網絡數據存儲技術的可靠性、安全性和拓展性,推動網絡數據存儲技術的廣泛應用。
云技術是當前先進的技術,把實時數據存儲檢索技術以云技術結合起來創新實時數據庫高性能數據庫存儲檢索機制是今后未來發展的必然趨勢,加強對這一趨勢的研究有重要意義。本文將以云計算技術為基礎,通過分布式通訊服務平臺結合應用需求來重點研究數據存儲和數據檢索機制。
【關鍵詞】云計算 數據庫 存儲 檢索
隨著信息技術的快速發展,數據存儲和處理技術也隨之取得了快速發展。云計算技術也應運而生。與傳統的數據處理方式相比基于云計算的分布式高性能數據庫優勢更加明顯?;谠朴嬎惴植际綄崟r數據庫能夠實現數據的永久存儲,同時它還能夠盡可能地在同一地點處理數據,這樣可以有效降低數據傳輸時間的消耗。
基于云技術的分布式實時數據庫能充分利用高性能廣域網絡。這種掛數據庫主要是通過數據流的形式來對存儲云中的數據來進行專業化地處理,通過這種方式定義的計算函數就能夠對存儲云所管理的刷數據進行有針對性處理。
1 云計算技術介紹
研究分布式數據庫高性能數據存儲檢索機制,首先就需要掌握云計算技術。了解云計算技術是研究的重要前提。近些年來云計算技術獲得了迅猛發展,依托于云計算技術本身的產品也獲得了較快發展。云計算技術主要是將效用計算、網絡存儲、網格計算以及負載均衡等領域進行綜合而形成的一種專業性技術。
通常情況下云計算技術本身包含海量數據的分布式存儲技術、分布式實時事務提交協議、網絡動態路由與負載均衡技術、事務實時調度機制等核心技術。這幾種技術對于分布式實時數據庫的構建具有重要意義。
2 分布式實時數據庫的框架
分布式實時數據庫是云計算技術與實時數據庫技術深度融合的產物,該數據庫主要是通過計算機集群來進行構建。該數據庫具有可擴展、系統性、可靠性、可維護性高等特點。負載均衡、事務調度、沖突處理、數據存儲等是其主要內容。分布式實時數據庫主要是通過分布式通訊服務平臺的客戶端結構接入到該平臺中的。某個節點在接入分布式應用服務之后就可以實現與同樣服務的其他節點的有效連接。
多臺數據服務器的數據存儲,檢索組件則是通過接入平臺結成一個統一的數據存儲以及數據檢索服務來向外提供服務的。這樣一種服務機制實際上打破了原來那種單臺實時數據處理服務器的孤島。對于數據的查俊則是用平臺接口把客戶端同服務平臺連接起來實現的。
3 分布式實時數據庫存儲機制
針對基于云計算分布式實時數據庫存儲機制的設計,重點是要在規模動態調整能力、數據一致性、分布式冗余存儲等方面來進行調整和設計。在實際設計過程中必須要能夠達到以下目的:一是適當增加服務器節點從而實現系統并發處理能力,最終提升數據存儲容量。二是系統數據存儲的實時性和高可用性得到增強。三是實現高效的數據備份冗余,從而來有效避免數據讀寫失敗情況的出現。有的條件下甚至是可以用一致性維護機制來保證備份數據的一致。四是服務器節點可崩潰,恢復以及在線加入。
存儲云結構主要是由主管服務器、安全服務器、客戶端以及從屬節點等構成。這些設備在系統中承擔的功能各有不同。主管服務器主要是維持系統內的元數據,提供目錄服務、響應用戶請求、控制從屬節點運行等。從屬節點主要指的是那些存儲數據的文件,這些節點通常是基于存儲云客戶端的請求而需要處理數據的節點。從屬節點一般只接受主服務器的指令,客戶端、從屬節點的關系以及從屬節點之間的關系則主要是由主節點來進行協調。
存儲云結構能夠實現高速緩存數據連接,這樣就能夠有效改變同一隊節點間,數據傳輸需要多次連接的現狀。該系統的安全機制主要是通過存取控制列表來實現的。存儲云結構中的數據需要由存取控制列表來進行控制,客戶端IP地質也需要在服務器內部。數據的組織和處理是按照以下方式來實現的:在存儲云結構中每個數據文件一般都附有一個索引文件,數據文件和索引文件都存在與相同節點中。復制數據文件的同時,牽引文件也將會被復制。索引文件本身包含每個記錄的起始地址以及末端地址。那些沒有索引文件的數據文件則主要是通過文件為單位的方式來進行處理。此時就需要通過特定函數來解析以及提取數據。
數據服務器在加入分布式通訊服務平臺之后就會形成一個分布式系統整體,服務器節點加入之后就可以通過平臺來轉發數據并進行備份。在存儲云結構中點歌服務節點只需要關注自身的數據接手法以及存儲。通過該結構能夠實現單個節點數據處理同復雜分布式架構邏輯的分離。這對于最大程度利用實時數據庫存儲技術具有重要意義。
4 分布式實時數據庫檢索機制
高性能數據檢索具有明顯特點,它的查詢耗時和結果正確率是影響數據庫性能的重要指標。分布式實時數據庫檢索機制有以下幾個特點:一是數據最終的一致性。通常情況下數據在同步完成之前,數據備份之間往往存在不一致情況,此時系統通過一致性維護機制就可以實現數據的最終一致性。二是數據一致性修復。系統中數據一致性恢復主要是通過數據一致性對比、修復機制來實現備份數據間的一致性,從而最終達到分布式的最終一致性。三是查詢的一致性等級。所謂查詢的一致性等級主要指的是用戶指定查詢結果的一致性等級。對于那些一致性要求較高的一般四通過數據點的主備份節點來進行查詢處理,對于那些一致性要求不高的請求則是要盡可能降低數據檢索耗時。
分布式數據查詢,按照查詢位置不同可以分為當前節點數據查詢和備份節點數據查詢兩種情況。針對備份節點的數據查詢主要是通過當前節點數據查詢來實現的。本地節點數據查詢本身又可以分為實時數據查詢和歷史數據查詢兩種方式。歷史數據的查詢則可分為存檔緩存查詢和磁盤數據查詢。
云計算技術是當前一種先進的信息技術,這種技術在分布式實時數據庫中的應用是時展的必然要求。在今后應該不斷加強云計算技術的研究。本文首先分析了云計算技術,而后分析了分布式實時數據庫的總框架,之后重點分析了存儲結構和檢索機制?;谠萍夹g的分布式實時數據庫中數據存儲和檢索是其中的重要功能。加強這兩方面的研究有重要意義。
【摘要】 XML的良好的可擴展性和能夠進行自我描述的特性使得它的應用范圍越來越廣泛,本文將對基于XML技術的數據存儲技術進行總結與歸納,整理出不同數據存儲技術的技術特征與要點。
【關鍵詞】XML數據存儲
Web應用的發展帶動了XML技術的發展,XML已經成為了網絡上的數據交換標準中的一種。XML技術的發展與其優秀的數據表達能力有關,它可以用來表達各種不同類型的數據,有鑒于此,XML數據存儲技術對發揮XML數據表達特性非常重要。目前常見的XML的數據存儲方式主要有三種,分別是文本文件方式、關系數據庫方式以及面向對象數據庫方式,本文將分析這三種存儲技術的特點。
一、 文本文件方式
XML文檔本質就是文本文件,所以以文本文件方式進行數據存儲是最為常見的XML存儲數據方式,這種方式存儲的數據可以直接使用文本編輯工具查看,非常易于參看與修改。使用文本文件方式存儲數據并不意味著只能存儲文本,此種方式同樣可以存儲二進制數據,也就是能夠存儲任意數據,只是數據不能以一種直觀的展現方式呈現,需要其他的工具支持。
XML文檔一般是通過DOM或者是SAX等接口進行存取,應用這些接口可以很方便的管理XML中存儲的數據。實現XML文檔操作接口的商業產品有許多種,也可以自行實現接口,針對性的提升XML數據存取性能。
應用文本文件方式進行數據存儲的優點:
* 方便查看與修改,對于一些輕量級XML文檔,可以直接使用各類文檔編輯工具進行編輯。
* 操作簡單,可使用相關接口方便的對數據進行存取,不需要對原始數據進行處理。
由于XML存儲數據的結構是半結構化式,所以以文本文件方式存取數據存在著一定的局限性,對于結構復雜的數據難以清晰、準確的操作。
二、 關系型數據庫方式
XML文件存儲的數據是半結構化式的,在實際工程中,所用到的數據往往需要關系型數據庫的支持,為了達到將XML文件中存儲的數據作為關系型數據庫使用的目的,通常在XML文件和關系型數據庫中添加一個映射層,它將承擔對XML文件數據的存取任務,同時也承擔為數據庫提供數據以及映射數據庫數據到XML文檔中的任務。
映射層的工作流程可以分為以下四個步驟:
1) 提取XML文檔中的數據,按照映射規則組織數據,生成可以供關系型數據庫使用的模式。
2) 依據填充規則將數據向關系型數據庫中的表中填充。
3) 將XML查詢方式轉換為數據庫使用的SQL查詢方式。
4) 將關系型數據庫的數據重新轉化,寫入XML文檔。
這種數據存儲技術最為關鍵的部分是映射層,映射層的工作中最為重要的部分是將XML文件這種文檔結構映射為關系模式的任務,映射策略的優劣對整體性能有著至關重要的影響,按照映射策略的不同,可以分為模型映射與結構映射。模型映射的策略是建立數據模型,根據模型的特征先行定義出一個關系型數據庫模式,無需模式文件的幫助。而結構映射是依靠如Schema等模式文件的幫助,完成到關系模式的轉換,整個過程中無需定義關系模式。
三、 面向對象數據庫方式
除以上兩種較為常見的方式外,還有面向對象數據庫的存儲方式。與關系數據庫相反,這種方式中將數據庫作為底層存儲者,將XML文檔作為一個對象、作為數據的載體,存儲在數據庫中。
在XML文檔與數據庫映射過程中,一般情況下需要Schema或者是DTD的輔助,XML文檔中的元素對應數據庫中的類、元素屬性值對應列,元素與元素之間的關系對應數據庫中類于類的關系。
在將XML文檔映射進面向對象數據庫中時,具體步驟如下:
1) 依據XML文檔創建DOM樹,按照先樹根后樹葉的方式進行遍歷搜索。
2) 對搜索到的元素進行校驗,提取元素信息。
3) 將得到的元素填入面向對象數據庫中對應的對象的相應域中。
當從數據庫中提出數據,重新映射為XML文檔時,具體步驟如下:
1) 提取數據庫中的對象,并生成XML文檔中的對應元素。
2) 將對象的數據域映射為元素的屬性值,寫入XML文檔中。
3) 遍歷對象里的子對象域,重復進行步驟1和2。
4) 將所有的對象轉換完成后,封閉根元素,結束映射。
這種存儲方法可以方便的建立起XML文檔中所攜數據的對象模式,通過面向對象數據庫對數據進行結構化操作,有著較出色的存儲效率。
四、 結束語
正是因為XML的應用范圍廣泛,不同的應用方向對數據的存儲要求不同,所以XML有多種數據存儲技術,文中提到的數據存儲方式是較為常見的幾種,每種都有自己的特性,究竟使用何種存儲手段取決于具體的使用需求。
摘要:討論了Web多媒體數據的存儲方式,重點研究了圖片文件在SQL Server 2005中的存儲方法,并實現了利用對二進制數據文件的讀取及顯示方法,最后討論了其他多媒體文件存儲方式所需要考慮的多方面問題,為Web應用中多媒體數據存儲提供了參考。
關鍵詞:數據庫;多媒體數據存儲;SQL Server 2005;web應用
早期因特網瀏覽器僅支持文本,甚至被限制為單一顏色的單一字體。隨著Internet的快速發展以及網絡傳輸率的提高,人們對Web上的媒體需求越來越多,文本、書籍、圖片、音頻、視頻等各種各樣的多媒體資源目前在瀏覽器中已經得到了很好的支持。
在Web應用程序開發和使用過程中,有相當多的場合需要使用多媒體內容表達程序,因此對多媒體的數據進行存儲就顯得非常重要了。例如在人事管理系統中,需要存儲員工照片、掃描并存儲員工學歷證書獲獎證書并能夠通過應用程序顯示。又如在教學資源管理系統中,需要存儲文字資源、圖片資源、課件資源、音頻資源及視頻資源以供查閱。再如在多媒體論壇上,需要由用戶上傳多種多媒體資源,包括圖片、聲音、視頻等。
在web應用程序中引用的多媒體資源存儲方式一般有兩種方式,一種是存儲文件到指定路徑下,將文件與應用程序的相對路徑以及文件名存儲到數據庫中,數據庫中存儲的內容相對較少。這種存儲方式的特點是數據讀取比較容易,但是對數據管理不方便,多媒體的信息完全暴露在機器設備之上,信息容易被刪除、修改或者替換,數據的安全性和可靠性得不到保證,這種方式不利于保存重要的媒體信息。另外一種就是把多媒體信息直接保存在數據庫中,保證了數據的一致性和安全性,這也是目前多媒體數據庫的發展趨勢,但這種方式的數據讀取比較麻煩,因為一般多媒體數據都是以二進制的數據存儲方式存儲在數據庫中,需要通過第三方的工具來完成數據的存儲和讀取。該文主要研究以多媒體數據庫實現圖片的二進制存儲和讀取方法,并比較其他類型多媒體文件存儲方式的應用。
1 SQL Server 2005數據表的建立
1.1數據類型選擇
圖片數據要存儲在數據庫中實際上就是用二進制數據的形式將圖片數據存儲在數據庫中,需要使用的時候利用二進制讀取方式讀取文件。在SQL Server 2000中,有Image、Binary和varbinary三種數據類型可以用來存儲二進制文件。在SQL Server 2005中,有Image、Binary、VarBinary(n)和VarBianry(max)這幾種數據類型都能夠用來存儲二進制數據。初學者一般都會選擇Image這個數據類型來進行圖片存儲,這是由于該數據類型名稱的誤解,Image數據類型的文件大小可變,最大可存儲2GB的文件,若系統需要高精度的圖片存儲,對于該數據類型無法存儲大容量的圖片數據。雖然該圖像數據類型也包含在SQL Server 2000、SQL Server 2005和SQL Server 2008之中,但微軟稱,目前還保留Image圖像數據類型是未來向下兼容的需要,但在將來某個時候可能就會將其舍棄,因此對于圖片存儲Image數據類型建議盡量少用。Binary數據類型要求固定的數據長度,最大長度可達8000字節,對于系統中要存儲不同圖片來說是不理想的。VarBinary(n)數據類型其文件大小可變,最大長度可達8000字節,對于文件較小的圖片來說可以使用。而VarBianry(max)數據類型其文件大小可變,不限文件大小的上限,對于系統中有大容量的圖片來說該數據類型是非常合適的。
2 存儲圖片到SQL Server2005的實現
2.1二進制數據的插入
2.3.2 建立上傳數據后臺頁面
1)主要實現方法分析
上傳數據頁面的主要功能是先啟用數據緩沖區,獲取圖像文件的路徑和文件名,若文件大小不為空數據,建立文件流對象,然后用二進制讀取方式將圖片文件讀取到緩沖區中,最后連接數據源生成記錄集,建立參數插入新紀錄。
3 讀取圖片并在web中顯示
顯示存儲在數據庫中的圖片文件首先需要把數據庫中的二進制數據轉換為計算機內存中的二進制流,然后再把內存流的數據轉換為圖像數據,最后把圖片放到頁面中顯示。
3.1讀取圖片數據流程
從數據庫讀取圖片數據的流程如下:
4 其他多媒體文件存儲方式分析
在考慮存儲各類多媒體文件方式的時候,我們需要從多個方面考慮,來選擇合適的存儲方式。
1)性能方面要求:二進制對象對性能要求并不高,如果多媒體文件對性能要求較高,特別是視頻流之類,那么將多媒體文件保留在文件系統中會比二進制文件存儲會獲得更高的性能。
2)數據大小要求:如果需要經常檢索二進制對象,文件大小又非常大,比如大型的視頻文件,那么利用文件系統來檢索和讀取的效率比從SQL Server顯示和讀取的效率更高。
3)安全性要求:二進制對象是存儲在SQL Server中的,可以通過常規的數據庫訪問方式來管理其安全性。但如果文件存儲在文件系統中,那么其安全性就相對要低,需要考慮用其他的代替方式來進行保證其安全性,例如增加安全性軟件,安全性管理機制等。
4)客戶訪問方式:客戶對數據庫的訪問方式也會直接決定多媒體文件的存儲形式,若數據庫采用ODBC方式連接,那么對于大型的視頻流存儲可能會出現連接超時或連接失敗的情況。因此ODBC的連接方式下建議采用文件系統來進行存儲,以免對web應用產生影響。
5)碎片處理:如果需要經常對二進制文件對象進行修改操作,又或者文件非常巨大,文件系統處理碎片的能力高于SQL Server,這種情況下利用文件系統存儲會比較優越。
6)事務控制:如果web系統需要進行事務控制,那么利用SQL Server內置事務解決方案能更好的處理事務控制,比文件系統要更好的得到事務的控制及各類事務處理機制。
在分析多媒體數據存儲方式的時候,不能夠單一的只考慮某一方面的問題,應該從多個方面來進行綜合性考慮,特別是大文件視頻流或音頻流文件,處理起來比圖片要更復雜,要考慮的問題更多,應該根據實際應用的需要進行選擇。
5 結束語
本文通過對Web下多媒體數據存儲技術進行研究,分析了多媒體數據存儲的兩種情況,重點討論了BLOB文件存儲方式存儲圖片的方法,并實現了在SQL Server 2005中建立數據庫存儲圖像的過程,利用查詢T-SQL查詢數據的方法,并介紹利用實現圖片存儲、讀取并在web中顯示,實現了在web中圖片存儲的主要技術。最后討論了其他多媒體文件存儲時要考慮的問題,包括性能、數據大小、安全性要求、訪問方式等多方面的建議,從而對其他web系統中各類多媒體數據的存儲提供有效的參考。
摘 要:隨著計算機網絡技術在人們的日常生活中的廣泛應用,計算機數據存儲安全技術已經引起了國內外學者的廣泛關注。本文通過相關參考文獻的閱讀分析,對計算機數據存儲安全技術進行了比較深入的研究,有助于人們對數據存儲安全的認識,對于計算機網絡數據的維護具有一定的指導作用。
關鍵詞:數據存儲;計算機;安全廣泛
隨著計算機網路信息技術的不斷發展,為了便于實現人與企業之間的信息交流,網絡之技術已經深入到企業發展的過程之中,所以網絡安全問題已經成為信息安全領域的關鍵問題。本文通過相關參考文獻的閱讀分析,對計算機數據存儲安全技術進行了比較深入的研究,有助于人們對數據存儲安全的認識,對于計算機網絡數據的維護具有一定的指導作用。
1 影響計算機數據存儲安全的軟件與硬件因素
1.1 硬件因素分析。影響計算機數據存儲的物理因素主要包括以下幾個方面:(1)自然因素,隨著現代信息技術的不斷發展,計算機網絡已經成為人們日常生活不可缺少的一部分。對于計算機而言硬盤中存儲著很多人們日常生活所需要的數據信息。在計算機網絡運營的過程中,會因為可能的各種自然災害導致了數據傳輸線路的中斷,將會造成各種數據的丟失。(2)網絡硬件方面,隨著計算機網絡硬件技術的不斷更新換代,,但是數據的增長量卻會呈現出爆發性的增長,結果導致了目前的數據存儲硬件無法滿足實際的存儲需要。所以要對存儲數據的硬件技術進行優化升級,能夠滿足對數據存儲的需求。在過去的網路傳輸中由于設備的老化,導致了數據傳輸的速度較慢,網絡數據傳輸的延遲時間較長,導致了數據傳輸的崩潰,造成了數據的丟失。(3)數據的操作失誤,數據管理人員無論在進行怎樣的軟件操作時,都有可能會出現數據管理操作失誤的情況,有一些不良的操作會導致數據系統的安全性受到很大的沖擊。
1.2 影響計算機數據安全的軟件因素。影響計算機數據安全技術的軟件技術主要有以下三個方面:(1)電磁波的輻射,在計算機存儲的各種數據在一定程度上會被電磁波帶出,非法分子通過使用一些無線數據接收器,就能獲得相應的數據信息;(2)網絡安全因素:計算機網路使得各個電腦硬盤內存儲的數據實現了共享,在用戶與主機之間以及用戶和用戶之間將會出現大量的漏洞,使得計算機存儲的數據遭到了黑客的攻擊;(3)現代計算機網路在運營的過程中雖然有防火墻的作用,但是防火墻目前由于存在狠毒偶的漏洞遭到了很多計算機病毒的入侵。這些病毒程序是可以通過網上下載以及電子郵件和盜版光盤的形式潛入計算機網絡。
2 計算機數據存儲安全防范技術
2.1 數據存儲安全的物理防范措施。目前比較常用的物理防范措施主要體現在以下幾個方面:(1)數據備份,原始數據一旦丟失以后,那么應該按照原始的副本進行原始數據的維護。當前比較經常使用的數據本分技術有快照技術、數據鏡像技術、Raid技術以及云共享技術。一旦遇到自然災害或者是人為的破壞數據,可以通過上述方法實現數據的恢復。(2)數據安全刪除技術,隨著最近幾年數據恢復技術的不斷發展,在計算機上通過操作系統對文件進行刪除已經變的不再可靠,如何實現有效的對信息進行清除對計算機的數據安全威脅,去除計算機上有用的信息,正在成為當今信息安全領域的新的研究熱點。所謂的數據安全刪除就是指對刪除數據的恢復過程進行破壞,使得比較重要的數據一旦刪除以后,就無法進行恢復。尤其是對于企業的發展而言,一些比較敏感數據的刪除是十分必要的。眾所周知高級格式化無法對數據內的數據信息進行覆蓋處理,因此也不能叫做安全處理。
2.2 軟件安全對策分析。計算機操作系統安全識別的策略主要體現在以下幾個方面。首先盡量使用安全性比較高的網絡操作系統,關閉一些不經常使用以及存在安全隱患的應用程序。對于一些有用的信息進行加密處理,在文檔的打開以及讀寫設施方面應該有口令登錄設置。在網絡應用系統的安全設置方面應該盡量不要開放陌生的網絡端口。在上網建設方面,加強身份登錄口令的認證,確保用戶上網的合法性。充分維護系統上網的日志功能,對用戶的網絡信息訪問進行信息記錄,為日后的審查作為依據。
2.3 數據傳輸安全策略分析。數據的傳輸安全因素通常包括兩個方面,數據的發出端A,數據的接收端B,數據的傳輸通道。在數據傳輸的過程中通常會有兩種情況導致傳輸數據的丟失。一種是非法用戶對數據的發送端和接收端進行更改,獲得需要的數據;另外一種就是非法用戶在數據傳輸道路上進行數據的截取。
針對網絡數據傳輸中的安全問題,可以采用以下兩個方面的安全策略,首先使用數據加密技術對數據進行加密,為數據的傳輸提供一個安全的通道;其次利用公共密鑰和數據證書對用戶段和服務器進行身份驗證?,F在比較常用的數據加密技術主要有對稱密鑰加密、非對稱密鑰加密以及hash加密三種。網路數據的存儲的實現過程主要是通過服務器中的數據備份來實現的。為了結局數據安全的可靠性問題,可以將風險分散到兩個服務器上,從而保證整個網絡數據系統的安全性。
3 計算機數據存儲技術安全防范技術發展趨勢
3.1 未來數據的存儲介質發展的趨勢。隨著數據存儲技術的不斷發展,人類已經進入了大數據時代。谷歌公司每天要處理數據的量達到了20000TB。為了保證這些信息的安全性,分別存儲在4800個硬板之中。目前很多科學家開始研究新的存儲介質。2007年日本科學家發現了細菌DNA存儲技術,存儲的數據時間可以達到上千年。這種存儲介質的主要優點為存儲密度比較大,一個DN段里含有無數個堿基對;其次是DNA存儲數據的體積比較小,一個堿基序列只有原子的大小。研究發現,1克DNA能夠存儲的數據達到700TB,DNA存儲介質的體積只有一滴水珠的大小。
3.2 未來計算機數據存儲的安全技術。在目前的學術界數據的安全存儲技術已經引起了廣大學者的注意。具體的研究方向主要分文數據的機密性、完整性以及可用性三個方面進行展開。比如可以通過在客戶端安裝數據加密技術使得客戶有一定的訪問權限來直接提取客戶端的數據。另外虛擬專用網絡技術也是目前比較常用的數據安全技術。這種技術的特點就是把數據傳輸的通道進行加密,然后將這種數據通道從公共網絡中分離出來,從而使得數據信息能夠得到有效的保護。也就是路由器數據過濾技術和隧道技術,路由器數據過濾技術就是將流出的IP數據包使用路由器進行動態監控。
4 結束語
本文從實際應用的角度闡述了計算機數據存儲安全隱患及其防范及技術。首先結合相關參考文獻,分析了影響計算機數據存儲的物理硬件因素與邏輯軟件因素;其次從數據物理存儲安全、軟件防范以及數據傳輸三個角度對數據存儲安全技術進行了深入的分析,最后探討了未來計算機數據存儲介質和安全防范技術的發展方向。因此只有采取多種技術手段,從系統的角度進行分析,才能從根本上維護計算機數據安全與網絡穩定。
摘 要 隨著我國經濟的快速發展,信息技術也取得了重大突破。在網絡時代里,人們越來越關注科技的進步,以及科技發展帶來的更加便捷的應用。云計算自提出以來,得到了業內眾多學者的深入研究,作為未來計算機技術發展的一個重要方向,云計算有著獨特的優勢與潛力。做好云計算環境下的數據存儲關系到云計算技術更好的應用。文章首先對云計算及云存儲進行簡要闡述,其次就如何在云計算環境下構建數據存儲體系進行探討,最后分析了數據安全性。
關鍵詞 云計算;數據存儲;分析;計算機
近年來,云計算越來越多的出現在大家的視野里,人們給予了云計算極大的關注。云計算會代替傳統的計算機算法,這一理論也被認為是未來發展的必然趨勢。在傳統的模式下,工作人員為了使信息進行交互,一般都會在本地進行數據的存儲和處理。為了更好的保證數據調取的穩定性,企業需要購買各種硬件、軟件基礎設施,而且還需要對這些設施進行維護。但是由于存儲和處理的數據量在不斷的加大,所需要的存儲空間就越來越大,這樣就會大大提高企業的成本。但是這些并不是企業需要直接面對的,為了完成他們需要完成的業務,卻不得不為此投入大量的成本。
隨著計算機技術,信息處理技術不斷的發展,人們可以不用把大量的數據技術放在自己的計算機上,可以放在別人的計算機上或者是遠程的服務器上,因此企業就不需要投入大量的資金購買存儲設備,完全可以通過互聯網根據自己的需求找到存儲在遠程設備上的數據,于是云計算初步模型就出現了。
1 云計算與云儲存
1)云計算。在互聯網的技術條件下提供了云計算的一種技術形式,云計算可以提供動態變化的能夠伸縮的并且以虛擬為特點的計算模式?!霸啤本褪且环N比喻,是一個抽象的概念,實際上是計算機和互聯網在起作用。
通過云計算把大量的數據都放在計算機上,這個計算機不是指本地的計算機,而是遠程的服務器,企業可以根據自己的實際需求,對計算機的存儲系統進行訪問,企業可以把大量的信息資源都轉換到客觀應用上去。也就是說,計算機只是成為了一個簡單的終端,不需要進行任何的計算或者是存儲,直接把主機功能交給云端。
2)云存儲。在云概念的基礎上延伸出了一個新的概念那就是云存儲,云存儲與云概念十分相似,它以分布式文件系統以及網格技術作為基礎,以集群應用,借助應用軟件把計算機中的各種存儲設備進行有效的集中,讓彼此能夠協同合作。它的功能就是對外提供相關的數據存儲以及業務訪問。本質上說來,對于當前存儲模式的創新就是云存儲。云存儲也是特殊的構架服務,具體來說,一些廣域網或者是互聯網對于應用者來說具有透明性。相關的應用程序軟件是云存儲的關鍵之處,在存儲設備之間進行有機的結合,通過這些有效的軟件使設備與設備之間進行服務的轉變。
2 構建在云環境下的數據存儲體系
在實際操作的過程中,數據存儲體系包括數據中心和云服務接口以及服務協議等,數據中心是在云環境下實現數據存儲的基礎,由存儲管理、分布式文件體系和存儲備份組成。云存儲設備既可以是在企業的發展過程中所專門應用的存儲設備,也可是PC,這個系統的設計依據的基礎是客戶機和服務器模式。經過檢驗這些確實可以完成大量數據的存儲工作,并且效果也非常理想。
1)服務器的結構。云計算的組成部分中最重要的是存儲服務器架構。在云存儲體系構建之前,應該首先構建云存儲服務器架構,這個可以根據架構技術來實現,這些架構技術是多樣化的。在NAS這個文件存儲系統中,每一個節點都是一個相互獨立的個體,文件是這個系統中最小的單位。在集群中,如果文件可以完整的保留,那么其數據信息也會有效的保存在集群的特定的點上,文件雖然比較多,但是會被重新定義到一些另外的節點上,這樣信息就顯得太過繁雜了。在實踐的過程中,人們可以發現,SNA作為存儲系統的一塊兒,如果有某一個文件發出請求,每一個節點都會對該文件的不同數據塊進行訪問,它能夠有效的對用戶的某一種需求進行及時的處理。這種存儲結構比較適合在云服務器當中使用,它可以在一定的范圍內進行擴展,而且傳輸的效率也比較高。
2)服務器之間的數據傳遞。在當前的存儲系統的環境下,一些存儲系統可以進行數據之間的傳送協議,異構的平臺之間的信息可以進行有效的資源共享。在計算機的網絡系統當中,程序和數據庫的優化問題是需要我們共同考慮的。在使用數據庫的時候,存儲過程是必不可少的,它提供了一種更加高級的特性。它可以傳遞一些函數或者是邏輯表達方式,這樣就可以幫助程序人員來處理一些比較復雜的任務。它的存儲過程也比一些別的程序快很多,如果存儲的過程發生在本地的服務器上,那就可以減少在執行和操作過程中的寬帶傳輸和執行命令的時間。數據庫系統可以分頁顯示數據,執行一個命令會產生幾萬種結果,這些結果是不可能一次性的直接輸出到客戶端上,可以采用分頁顯示來解決這個問題。分頁顯示主要有兩種,一種是在數據庫的查詢所匹配的記錄一下子存儲在內存儲器當中。另一個是根據用戶的需求,從這些匹配的記錄當中顯示指定的記錄。這兩者是有一定的區別的,前一種是把所有的記錄一次性的寫到內存里,再使用分頁顯示,后一種是指通過指定數量的查詢互相匹配的記錄然后寫入到內存當中,接著分頁顯示。這個系統使每一個要求只需要返回一個頁面的數據,效率大大的提高了。
3 關于企業的存儲構建方案
1)商業化的云存儲系統。在一些數據領域數據庫已經研發出一系列的商業化存儲產品,主要建立在云存儲的相關理論基礎上。一些最早就致力于云存儲研發的公司推出數項擁有自主知識產權的存儲技術,而且還提出了云存儲系統的構架方案。從用戶的角度出發,在相關協議下可以實現自身數據的存儲和提取??梢蕴峁┮恍┖唵蔚年犃蟹眨谝恍┨摂M的主機之間信息可以互相發送好接收,而且一些支持的服務可以為用戶提供專業的存儲接口。一些公司希望他們提出的數據庫分布式的編程環境,可以適用于本公司的具體情況,還可以適用于云存儲的應用開發商提出的關于存儲的一些應用服務,可以起到一箭雙雕的作用。
2)構建企業自身的數據中心。對于許多大型企業來說,數據的安全性是最重要的,數據中包含著許多客戶的信息,這些客戶的信息一定不能泄露,泄露了以后就會面臨重大的信譽問題,這個時候如果選擇的是租用的云存儲服務的話,企業許多的數據資料都需要存儲在云服務提供的云數據中心,會面臨一定的風險性,所以有一些大型的企業轉向一些私有的云存儲的云服務提供商提供的云數據的中心,借助這個存儲設備也需要大量的資金投入,它是借助私云存儲提供的存儲設備以及冗余備份系統,所以這種結構并不靈活。作為企業可以選擇混合云存儲方案,可以把與之相關的關鍵性的數據作為首要的存儲,存到私云存儲當中,對于其它的一些數據就可以存儲在租用的云存儲當中,借用這種存儲的方法可以實現存儲效用利用的最大化。
4 云計算的環境下關于數據安全問題
為了保證數據的安全性能我們可以采用加密的方式,對于加密的方法有兩種:對稱加密和非對稱加密。實踐證明,對稱加密的算法還比較成熟,所以應用的范圍比較廣泛,這種加密的算法、加密和解密都比較容易實現,所以廣泛的應用于大量的數據傳輸,對于非對稱加密來說,可以把傳統的密鑰分為公開密鑰和私有密鑰,把加密算法和解密算法分開控制,這樣可以在計算方法的復雜程度上確保其的安全性。
1)關于加密。當想要對某一個數據進行加密的時候可以通過對稱加密算法密匙生成器,通過密匙生成器來隨機生成含有校驗信息的密匙,再通過非對稱加密算法對所包含的效驗信息的密匙進行加密。這樣就可以把密文統一打包以后發到用戶端供用戶們使用,這個密文是經過加密算法處理的。除這些以外,對于一些數據量十分大的用戶的數據可以通過對稱的加密算法對其進行加密。但是對于一些數據量用戶較小的用戶可以考慮對一些非對稱算法進行加密,將這兩種密匙和密文數據一塊兒存儲起來放到云存儲中心,對于那些非加密的密匙以及解密的密匙僅僅需要進行保存就行。
2)關于解密。既然可以加密處理,那么就應該對密匙進行解密,這樣密碼的設立才會更有意義。在對數據解密的過程中,用戶首先需要對對稱加密的算法進行解密,這種算法是跟非對稱加密相關的。這樣就可以對密匙進行還原,然后,被還原的密匙根據對稱算法對所提供的數據包進行解密,這樣可以把所需要的文件進行還原。兩種算法需要配合使用,這樣才能最大限度的發揮各自的優點,避免某一種算法的不足導致文件不能安全的進行保密。我們的目的是對數據的安全進行保密,可以通過對稱密匙對所有的數據進行加密也可以利用非對稱密匙僅僅對一部分密匙進行加密。這兩種算法互相結合,有效地解決了云計算中所面臨的安全問題。
5 結束語
在云計算環境下的數據存儲技術給人們帶了許多的方便,釋放了個人計算機終端的數據存儲任務,優化了網絡系統結構。云計算環境下數據存儲中把對稱密匙和非對稱密匙結合起來使用,為云環境下的存儲技術帶來了一定的安全性。這是一種解決安全問題比較可行的方法。隨著科技的不斷進步,云計算環境下的存儲技術一定會有更大的突破,實踐應用也一定會更加廣泛。
摘要:隨著計算機技術和網絡技術的迅猛發展,將大量數據進行分散存儲和管理的方式已經得到相關行業的廣泛認可,然而由此帶來的弊端也隨之產生,數據存儲結構,存儲環境的不同,以及數據并發處理等問題。該文針對如何在分布式環境中提高數據存儲能力這一課題進行深入研究,對當前數據存儲技術進行分析,對分布環境下數據存儲的特性進行分析,總結出分布式數據庫的設計要求,為行業內分布式數據存儲能力標準化提供理論支持。
關鍵詞:分布式;數據存儲;數據庫
1 數據存儲技術的現狀
近年來,隨著計算機技術和網絡技術的迅猛發展,依靠先進的技術進行網絡化辦公已經成為現實。越來越多的企業、政府機構、社會團體借助計算機技術將業務主體進行科學的專項設計和應用,用戶只需要少量的終端設備就可以對大量的數據進行處理和分析。另一方面,隨著人們對互聯網依賴程度的逐步加深,伴隨“大數據”等新概念的提出和發展,產生的數據量也呈現爆炸式增長。新數據的產生和原始數據的不斷積累,導致占用的存儲容量越來越大。因此,如何擴展服務提供商器的存儲能力已經成為當前科研領域的重要研究熱點。
目前,能夠有效提高數據存儲能力的方式主要有兩類解決方案。一類是新增硬件的方法提高存儲能力。由服務提供商采購新的存儲設備來拓展服務器的存儲能力。另一類是在不改變現有硬件設備的條件下,服務提供商改善數據存儲軟件,優化存儲信息的方式,通過分類和分解數據的形式提高存儲能力。第一類解決方案存在明顯的弊端,服務提供商的購買能力是有限的,無法從根本上解決難題。另一類目前已經得到國內外行業的普遍認可,各大數據服務提供商投入大量人力和物力,加快了數據管理軟件的研發腳步,一系列的數據庫產品營運而生,像Google Spanner,Cassandra,MongoDB,MySQL Cluster等[1]優秀的產品為分布式環境下有效的管理數據,優化存儲提供了先決條件。
2 分布式環境下數據存儲的應用特性分析
通過大量實踐可以看出,對于大量數據的處理效率往往與數據本身的可操作性有著緊密聯系,所以有必要對分布式環境下的數據應用特性進行合理的分析和總結。分布式數據庫主要有以下三個特點:
2.1 數據庫存儲的數據在邏輯上是集中的,在地理位置上是分散的
分散的數據單元所在的物理位置是透明的,通過通訊線路和協議進行相互溝通。這點有力的說明分布式數據庫存在數據的“分散性”。
2.2 用戶對數據進行的任何操作都有一個統一的DBMS進行調度
用戶不必關心數據的并發處理、副本調度等問題,即使局部數據單元發生數據故障,統一的DBMS仍可以進行調度和工作。這點有力的說明分布式數據庫存在管理上的“集中性”。
2.3 用戶對任何數據進行例如添加、刪除和查詢操作時,每個數據單元都各有一個小型的數據管理系統,都有各自的DBMS,多數處理就地完成
這點有力的說明分布式數據庫存在操作上的“自治性”。
3 分布式數據庫系統的設計
在分布式環境下,對于數據庫的設計要求還沒有統一的標準。該文通過總結和分析整理國內外相關資料,認為一個可操作的分布式數據庫系統,應具備四個功能,如圖1所示。
3.1 數據分發[2]
數據分發的建立打破了傳統數據存儲模式,它使物理上分散的數據單元成為邏輯上統一的整體,數據模塊之間通過數據鏈路進行連接,通過形式統一的數據接口和協議進行通訊。合理的數據分發模塊能夠解決數據在遠距離存儲上存在的異構問題。
3.2 并行處理
由于數據存儲過程中的分散性和自治性的特點,使得并發處理功能就顯得尤為重要。并行處理問題發生的情況分為三種:時間并行,空間并行以及時間和空間同時并行。并行處理功能要求數據庫要有很好的事務機制處理辦法,提供有效的并發解決方案。
3.3 SQL解析
由于大量數據庫管理系統和操作系統存在異構的特點,SQL解析功能就顯得尤為重要。SQL的語句首先被數據庫管理軟件轉化為ASCII碼,然后由解析器分三個環節進行解析。首先是語法解析,通常會從數據字典、對象比較、游標等方面檢查用戶輸入的語法是否存在錯誤;其次是語義解析,為用戶輸入的語句建立語法樹,對語義中提到的程序、表、字段等方面進行檢查;最后是執行語法過程,將操作結果進行打包后傳遞給DBMS。[3]
3.4 匯總處理
匯總處理的目標是從分散的數據模塊中提取用戶需要的數據,并進行必要的處理后呈現在用戶面前,形成一個完整的、統一的大型數據庫。
4 總結
分布式數據存儲能夠不改變現有硬件設備的條件下,充分利用現有資源為用戶服務,為用戶提供快速靈活的體驗,同時可以減少投入,提高設備利用率。隨著數據存儲技術的不斷發展和成熟,能夠在不同領域中得到更廣闊的發展。
摘要:改革開放以來,我國的社會經濟得到了迅猛的發展。社會經濟的進步,同時也推動了我國科學技術的發展??茖W技術的發展,對于我國的社會經濟也有相應促進作用。在所有的科學技術的發展中,要數計算機的發展最為迅速。21世紀是一個信息的時代,其中的典型就是計算機,隨著社會的發展,各式各樣的計算形式層出不窮,在這樣一個更新周期短的時代趨勢的影響下,在計算機領域出現了一種新型的計算形式,這種新型的計算機形式稱為云計算。對于互聯網模式,我們都不陌生,而對于云計算是十分陌生的。其實,所謂的云計算,指的就是互聯網技術的升級,云計算這種新型計算模式的出現,對于現代大量的數據沖擊來說是一個機遇,云計算中的數據存儲技術也成為了計算機技術的重要的技術領域。
關鍵詞:云計算 數據存儲 技術 研究
云計算是一種現代的架構體系,這種體系主要是以服務作為其主體運運而生的。為了可以很好地區分云計算的服務方式,在計算機領域把云計算分為了兩種最為基本的服務形式,這兩種服務形式為云計算,以及云存儲。云計算作為一種新型的技術手段被廣泛的運用到現代的網絡系統,以及現代的金融服務領域;作為計算機技術快速發展的一種形式的云計算,是一種以服務為主體的現代運用系統。為了能夠在各種各樣的環境下對計算機的數據進行相應的處理,就需要加入另一種服務形式,這種服務方式就是云存儲。為了能夠適應社會的發展需求,有必要對云計算進行更加深入的研究。
1 云計算,以及云存儲
1.1 云計算
云計算是一種新型的技術形式,它通過向對象提供提供技術服務來實現的。云計算提供的計算模式可以分為兩種,一種是動態化的可伸縮的計算模式,另一種是動態化的虛擬資源計算模式。雖然說云計算是一種新型的技術形式,但是從它的本質來說,云計算指的就是互聯網,以計算機網絡,所以說云計算中的云是一種比喻性的說法。在以往的電信行業中,也存在云的概念,當時的云指的就是電信網。但是隨著近幾年計算機網絡的不斷發展,為了滿足互聯網,以及基礎設施抽象表達的要求,才逐漸把云的概念擴大到互聯網等方面。在計算機中使用云計算,可以很好地滿足現實的需求。傳統的數據信息基本上是以本地的計算機,或者遠程服務器為載體進行存儲。而云計算的使用,則是將大量的數據存儲到計算機之上。大部分的企業可以很方便的把資源信息轉換到比較客觀的應用上,這主要是由于這些企業的數據系統與計算機互聯網比較相似,所以,可以很容易的對存儲體系,以及計算機進行相應的訪問。
1.2 云存儲
隨著云計算的推廣,為了適應這一發展趨勢,就從云計算中總結出了一個全新的概念,這個全新的概念就是云存儲。云計算具有一定的基礎功能,而由于云存儲是從云計算當中延伸出來的,所以,云存儲具有與云計算相類似的功能,即計算機的網格技術,以及計算機的集群應用,還有就是計算機的分布式文件系統。以上的這些基本功能對于云存儲發揮其功效具有重要的作用。通過相應的應用軟件,可以把計算機網絡當中的各式各樣的存儲設備有效的集中起來,以保證這些存儲設備可以進行有效的協同合作。云存儲的這種新型的存儲模式,是在原有的原有的存儲模式的基礎之上,進行相應改進的一種存儲模式,但是這種新型的存儲模式還可以提供一種特別的架構服務。由于云具有廣域網,以及互聯網的特性,所以具有相對比較的形象特征,而對待遇使用云存儲的人來說,云存儲具有一定的透明性。把一些有關聯的存儲設備,以及應用程序軟件進行有效的而結合起來,因為存儲設備的服務轉換抓喲是要通過相關的應用軟件來進行實現的。
2 云計算的環境下數據存儲體系的構建
在實際的云計算的操作過程當中,對于云計算環境下數據存儲體系的建立是十分的必要的。建立云計算環境下數據存儲體系,通常會涉及到很多方面的內容,比如說,云計算的數據中心,以及云服務的接口,還有就是云的用戶和與計算的服務協議等等各方面的內容。首先,我們先來了解一下什么是數據中心。所謂的數據中心,實質上指的就是數據的存儲基礎,數據中心是要通過云計算的環境下來進行實現的。數據中心所涉及的內容,包括了數據的存儲管理,以及數據的存儲設備,還有就是計算機中分布式的文件系統等等。云存儲可以有很多不同的類型,一種是根據企業發展的不同程度會采用的專門的存儲設備,另一種是運用于個人的存儲設備,還有一種就是把專門的存儲設備與個人的存儲設備進行有機的結合起來。雖然有以上的三種分類,但是對于云存儲設備來說,并沒有硬性的規定說要根據那個條件進行分類。根據客戶機,或者服務器的模式可以對分布式的文件系統進行相應的設計。運用網絡節點之間的聯接可以很好地吧文件系統管理當中的一些物理存儲紫玉進行有效的存儲。
3 云計算服務器架構的構建
云計算存儲服務器在云計算中占據著關鍵性的作用,所以對與計算服務器的架構的構建顯得至關重要。對于云存儲服務器架構的建立,一定要保證是在進行建立云儲存體系之前進行建立。比較常見的云存儲服務器架構有兩種,一種是存儲區域網,另一種就是附網存儲。對于云存儲服務器架構的建立,可以通過多變的架構技術來實現云存儲服務器架構的建立的。
附網存儲是一種文件存儲系統,附網存儲是依附于分布式架構系統而存在的。在附網存儲當中,是相互獨立,而且又相互統一的。所以說,附網存儲是一種松散結合型集群,說附網存儲是獨立的,主要是因為在附網存儲中的每一個節點都是相互獨立的;而說附網存儲是相對統一的,主要是因為附網存儲是以系統集群的形式存在著的。附網存儲是一種結合比較緊密的集群系統。一旦有一個文件產生請求,附網存儲中的熱河一個節點都會對這個文件中的不同數據進行同時的訪問,與此同時,云計算還會對于用戶的相關要求進行相應的處理。一般的存儲系統不同的是,附網存儲系統的性能不會由于請求越多而越弱,相反的是,附網存儲是隨著用戶的訪問請求越多,就會具有越強的性能,因為用戶的請求越多,會使得節點數越來越多,所以附網存儲系統的性能越強。
4 結語
總的來說,作為現代計算模式的代表的云計算,在實踐當中具有很大的數據集群,因此云計算具有最優化的服務功能。云計算中的數據存儲,可以通過冗余存儲方式來進行數據的存儲,進而可以確保數據的安全性,以及可靠性。
摘要:現代數字圖書館存儲系統有高可靠性、高可用性、高性能、動態可擴展性、易維護性和開放性等眾多方面的需求,而目前使用的存儲系統還遠不能滿足這些需求。本文著重介紹網格的數據存儲技術在數字圖書館中的應用。
關鍵詞:網格 數據存儲 Grid FTP 數字圖書館
1 綜述
隨著網絡技術和分布式計算技術的發展,網格應運而生,有望成為第三代互聯網。宏觀上講,網格是信息社會的網絡基礎設施,它把整個因特網整合成一臺巨大的超級虛擬計算機,實現互聯網上所有資源的互聯互通,實現計算資源、存儲資源、通信資源、軟件資源、信息資源、知識資源等資源的全面共享。
網格是由分布在本地或廣城范圍的若干異構子系統組成的虛擬系統。網格通??梢苑譃槿?,即存儲網格,計算網格和服務網格。存儲網格實現了虛擬的統一存儲,例如可將不同系統不同目錄下的文件通過網格軟件組合成一個虛擬的單一文件目錄,對此網格的用戶來說,他不必關心他所需要的文件具體存放在那一物理位置,而可以通過一個單一的文件目錄結構存取或檢索所需要的文件。他還可以適用于傳統購工具相類似的網格變種,如FTP.來將自己的文件傳送到這一虛擬的單一文件目錄結構中去,或將虛擬存儲中的某一文件傳送到自己的本地非共享目錄中??梢姶鎯W格改變了人們分享數據信息的方式。
利用存儲網格技術,一個大型復雜數字圖書館系統可以將各自的計算機組成一個慮擬的單一存儲網格,所有的子系統界面信息均可實時地被他人所共享,不管這些單位位于世界的哪一個角落,也不管他們用的是什么系統。傳統上完成類似目標需要建立并維護一個集中的數據服務系統,在很多時候是無法實現或者極不經濟的。而存儲網格技術通過建立開放標準將這一需求變為現實。
網格存儲是網格技術發展的重要組成部分,它將存儲和存儲引擎整合成內部相連的網格。它通過網格以一種靈活的、透明的方式分配資源,依照單位的存儲策略和程序,高效地管理存儲資源,以保護大容量信息的安全。網格存儲能很好地解決各類資源的自動優化、自動配置、自我保護和自動恢復等功能。
2 基于網格的數據存儲技術在數字圖書館中的應用
2.1 數據網格存儲方式
數字圖書館是綜合運用多方面高新技術支持的數字信息資源系統,將分散于不同載體、不同地域的數字化信息資源以網絡化方式互相聯結起來,實現資源共享。數字圖書館是計算機可處理的、有序組織的信息集合,是存儲數字信息的倉儲。數字圖書館通過數字技術進行信息資源的組織和管理,能夠儲存海量信息,用戶可以通過互聯網絡高效方便地進行查詢、檢索服務。數字圖書館具有信息資源數字化、信息組織非線性化、結構復雜化、信息傳遞網絡化、服務方式多樣化等特點。而網格是高性能計算機、數據源、因特網三種技術的有機組合,它具有高性能、一體化、知識生產、資源共享、異地協同工作、支持開放標準、功能動態變化等優點,為數字圖書館建設提供了有利的條件。
在網格中最常用的資源是數據存儲。網格對數據存儲提供了一個集成的視圖,有時被稱為“數據網格”。通常,網格中的每臺機器會提供一定數量的存儲給網格使用,即使是暫時的。存儲可以是配屬于處理器的內存,也可以是硬盤或者其他永久性的存儲介質。配屬于處理器的內存通常速度非???,但是不穩定,最好應用作緩沖數據。網格中的第二存儲可以以合適的方法使用來增加容量、性能、共享和數據可靠性。許多網格系統使用網絡文件系統,如AFS、NFS、DFS或者GPFS。這些文件系統在性能,安全和可靠性方面存在差異。
多臺機器的存儲使用統一的文件系統,容量可以增加。任一獨立的文件或者數據庫可以擴展到多臺存儲設備和機器,利用操作系統的文件系統可以消除最大空間的限制。統一的文件系統可以為網格存儲提供統一的命名空間。這對用戶使用網格中的存儲變得相對容易,可以不用考慮其確切的位置。類似的,特殊的數據庫軟件可以聯合獨立的分類數據和文件,形成一個更大的,更全面的數據庫,可以使用數據庫查詢功能操作。
網格文件系統也能實現日志功能,因而在某些操作失敗后,數據也可以被可靠地刪除。另外,當數據共享或者很多用戶更新時,有些文件系統實行高級的同步機制來減少沖突。
2.2 GridFTP在數字圖書館數據存儲技術中的應用
網格存儲是以節點之間的備份為基礎,可以在多重節點上進行內容管理與儲存;也可以把存儲環境下的多重節點進行資料轉移與傳輸。正因為這樣,它可以將網絡連接存儲(NAS)和存儲局域網(SAN)兩種不同的技術、不同的管理工具、不同的存儲應用融合在一起。網格存儲使存儲簡單化,兼容不同的網絡協議,支持不同的系統平臺,在各個分布系統上遠行而且同步。
訪問、分析和處理分布在不同邏輯位置、存儲系統上的數據,應用程序要么選擇只支持某些存儲系統,要么使用多種方法來獲取不同存儲系統上的數據。Grid FTP提供了一種在異構系統上的公共互用層,避免性能上的損失和過大的復雜性。
Grid FTP作為網格環境中安全高效的數據傳輸協議,是對標準FTP協議的擴展。Grid FTP擴展了標準FTP協議,這是因為FTP協議是目前因特網上使用最普遍的數據傳輸協議,有大量的技術基礎,也是在網絡環境中最規范的數據傳輸協議,并且易于擴展。
GridF TP在不同的網格主機之間提供了安全的、可依賴的數據傳輸,使用擴展的FTP協議,提供了網格的功能。Grid FTP是標準的服務器/客戶端應用,支持兩種類型的文件傳輸標準和第三方參與的文件傳輸。
為了管理分布式通信中的大數據集,Grid FTP提供了經過鑒別的由第三方控制的數據傳輸功能。這種功能允許第三方用戶或應用程序啟動、監視和控制共他兩地之間的數據傳輸,為使用多個地點的資源提供了保障。Grid FTP在保留FTP的第二方數據傳輸功能上增加了GSS-API安全認證。
當前,由于網格技術的發展,數字圖書館技術正面臨著一場新的技術革命。采用網格技術能增加數字圖書館成本的有效性,也能增強數字圖書館服務的適應性,真正解決數字圖書館資源的信息資源存儲問題。數字圖書館只有借助于先進的網格技術,才能真正推動數字圖書館研究和建設的更深人發展。
【摘要】網絡技術的運用是現階段的主流技術手段,由于互聯網的普及和發展直接導致互聯網相關技術持續升溫。而網絡數據存儲技術是實現替代傳統存儲技術的新方法,通過技術手段的實現,達到網絡存儲的目的。選擇安全合理的技術手段實現網絡數據存儲是保證數據安全,實現數據備份的主要手段。
【關鍵詞】網絡;存儲技術;數據安全;備份
一、前言
在網絡技術持續發展的今天,實現網絡數據存儲是解決現階段數據流失的主要手段,通過網絡對數據實現備份可以很好的實現數據的移動化。本文針對現階段的三種主要的網絡數據存儲方式進行分析研究,確定其技術實現方式,了解實現原理。使得對網絡數據存儲有進一步的認識。
二、RAID存儲技術
1、RAID存儲技術介紹
RAID是指廉價(獨立)磁盤陣列,所謂“磁盤陣列”是指多張磁盤連成一個陣列上,然后,以某種方式書寫磁盤,這種方式可以在一張或多張磁盤組之間提供數據。
從主機的角度看,控制器使得整個磁盤組就像一片又快、又大、又可靠的虛擬磁盤。它的初衷主要是為大型網絡服務器提供高端的存儲功能和冗余的數據安全,在系統中RAID被看作是一個邏輯分區,但它是由多個硬盤組成的,通過在多個硬盤上同時儲存和讀取數據來大幅度提高存儲系統的數據吞吐量。而且在很多RAID模式中都有較為完備的、相互校驗與恢復的措施,甚至是直接相互的鏡像存儲。當數據災難發生時可以自動修復,從而大大提高了RAID系統的容錯度,穩定了系統的冗余性。
2、RAID技術規范
RAID技術是一種工業標準。通常將組成磁盤陣列的不同方式分為RAID級別。隨著RAID技術的不斷發展。現在已擁有了以RAID 0到RAID 6七種基本的級別。另外,還有一些基本RAID級別的組合形式,如RAID 1 0、RAID 5 0等。現將RAID級別在應用中的實現作進一步的研究。
(一)、RAID 0:是連續以位或字節為單位分割數據,并行讀寫于多個磁盤上。因此具有很高的數據傳輸速率,但它沒有數據冗余。它只是單純地提高性能,而且其中的一個磁盤失效將影響到所有數據。因此,它不能應用于數據安全性高的場合。
(二)、RAID 1:通常被稱為RAID鏡像,是通過磁盤數據鏡像實現數據冗余,在成對的獨立磁盤上產生互為備份的數據,即所有數據都進行百分之百的備份。當原始數據繁忙時,可直接從鏡像磁盤上讀寫,而不需要重組失效數據。
(三)、RAID0+1:也稱為RAID 1 0標準,至少需要4塊硬盤才可以實現,不過它綜合了RAID 0和RAID 1的特點,將獨立磁盤配置成RAID 0,兩套完整的RAID 0互換鏡像。但構建RAID 0+1陣列的成本投入大,數據空間利用率只有50%。
(四)、RAID 2:是按位分配數據到多個驅動器的,在寫入數據時一個磁盤上保存數據的各個位。同時把一個數據不同的位運算到海明校驗碼保存在另一組磁盤上,在數據發生錯誤的情況下將錯誤校正。這種編碼技術需要多個磁盤存放檢查及恢復信息,使得RAID 2技術實施更復雜、速度最慢,因此在商業環境中很少使用,最適合用于諸如圖像之類的應用。
(五)、RAID 3:通常是按字節將數據劃分為條紋分配在許多驅動器上,雖然也可按位劃分.但它在陣列時專用一個驅動器保存奇偶校驗信息,因此它同RAID 2非常類似,區別在于它使用簡單的奇偶校驗,并用單塊磁盤存放奇偶校驗信息。如果一塊磁盤失效,奇偶盤及其他數據盤可以重新產生數據;如果奇偶校驗失效,則不影響數據使用,但奇偶盤會成為寫操作的瓶頸。
(六)、RAID 4:除了按扇區而不是按字節對數據劃分條紋外,RAID 4與RAID 3相似,同樣也將數據條塊化并分布于不同的磁盤上,但條塊單位為塊或記錄。它使用一塊磁盤作為奇偶校驗盤,這時奇偶校驗盤會成為寫操作的瓶頸。因此它在商業環境中也很少使用。
(七)、RAID 5:是把數據和相對應的奇偶校驗信息存儲到組成RAID 5的各個磁盤上,并且奇偶校驗信息和相對應的數據分別存儲在不同磁盤上。它使用一種特殊算法,可以計算出任何一個區域校驗塊的存儲位置。這樣就可以確保對校驗塊的任何讀寫操作都會在所有RAID磁盤中進行均衡.從而消除產生瓶頸的可能。它讀出效率很高,寫入效率一般.塊式的集體訪問效率較佳,但控制器的設計也相當困難。
(八)、RAID 6:與RAID 5相比,它增加了第二個獨立的奇偶校驗信息塊。兩個獨立的奇偶校驗系統使用不同的算法.數據的可靠性非常高,即使兩塊磁盤同時失效也不會影響數據的使用。相對于RAID 5有更大的寫“損失”,因此“寫性能”非常差。
(九)、RAID 7:這是一種新RAID標準,其自身帶有智能化實時操作系統和用于存儲管理的軟件工具,可完全獨立于主機運行,不占用主機CPU資源。它采用優化的高速數據傳送磁盤結構,所有的I/O傳送均是同步進行的,可以分別控制.這樣提高了系統的并行性和系統訪問數據的速度;每個磁盤都帶有高速緩沖存儲器,實時操作系統可以使用任何操作芯片.達到不同實時系統需要。當多用戶訪問系統時。可以連續多臺主機,訪問時間幾乎接近于零。
三、IP存儲技術
IP存儲技術作為新興的網絡存儲技術得到了迅猛的發展,越來越多的企業選擇了IP存儲作為存儲解決方案。另一方面,隨著信息化建設的迅猛發展,計算機系統已成為各企事業單位的基礎設施,數據成為關系到企業生存的重要資源,是企業賴以生存的命脈,其價值遠遠大于設備的價值。然而,病毒木馬、軟件故障、及人為誤操作等不確定因素時刻威脅著數據的安全,數據安全性問題愈來愈突出。
各個層次的計算機信息系統的使用者也積極關注自己系統的安全問題,對數據存儲安全更加重視,備份系統成為保障數據安全的重要系統。數據備份是一種數據安全策略,是保護數據安全的有力措施,已成為信息安全領域一個備受矚目的研究方向。IP數據存儲系統能夠根據用戶自身業務的需要設計備份方案。分別由備份服務器、存儲服務器、備份實現三方交互協議。物理上各子系統獨立安裝運行,邏輯上備份服務器主導整個系統的運行,備份和存儲服務器接受備份服務器發送的命令運行任務,用戶從Web界面發出命令并發送給備份服務器處理。
四、無限傳感存儲技術
無線傳感器網絡的根本任務是準確、高效地提取環境中有價值的信息發送給用戶。無線傳感器網絡是一個數據為中心的網絡,無論其應用場景和底層硬件部署如何,應用層用戶最為關心的問題是如何將各個傳感器節點感知的監測數據進行有效傳輸和存儲,從而保證后期高效、可靠、實時的訪問。因此數據存儲是無線傳感器網絡一個重要的研究領域。當前的數據存儲算法根據存儲策略的不同主要分為本地存儲、外部存儲、數據為中心存儲三種。
地理信息路由是數據為中心的存儲中應用最廣泛的一種經典路由,周界轉遞模式在尋找存儲節點時存在著轉遞次數過多引起的能量浪費,提出了一種可以減少周界轉遞的位置逼近算法。該算法的思想是:在數據轉遞中,當節點距離目的位置足夠近時,則修剪掉后面的周界轉遞過程。地理位置逼近算法可以有效減少周界轉遞造成的能量消耗,從而提高網絡能量利用率。 基于網格的存儲節點動態分配算法 GBMT,使事件數據更加均勻的存儲在節點上。該算法主要思想是:把事件映射到一個網格中,根據節點的當前的存儲空間和能量,該網格動態的分配存儲該事件的節點。通過設置閾值和虛擬坐標兩個機制,防止某個節點過多的擔任存儲的任務,避免熱點問題。該算法使數據在網內存儲分布更加均勻,進而提高網絡服務質量,延長網絡使用壽命。
五、結束語
通過對現階段已有的三種網絡數據存儲方式進行深入研究可以清楚的知道,現階段的移動網絡數據存儲已經可以通過這三種方式實現,針對數據的安全等方面也做了相應的研究,保障用戶的數據安全是實現網絡數據存儲最關鍵的一步。相信通過不斷的研究,網絡數據存儲必將開啟新的篇章。
作者簡介:趙春燕(1984—),女, 北京人,工程師,研究方向:高性能計算系統管理維護、軟件配置管理(E-mail:);孫英銳(1973—),男,河北遷交人,高級工程師,碩士,研究方向:氣象數據存儲管理。
摘要:為了滿足氣象數據快速增長和高效應用的業務需求,設計采用基于SAN和GPFS的高性能存儲集群進行數據存儲,并隨著數據量的快速增長,實現靈活在線擴展以滿足數據存儲需求。結合國家級氣象資料存儲檢索系統、省級風能資源數據庫共享服務系統和風能資源數值模擬系統的存儲設計,闡述基于SAN和GPFS技術的存儲集群架構,并重點介紹存儲集群的在線擴展技術的實現?;赟AN和GPFS的存儲集群在線擴展技術包含在線擴展服務器節點、在線擴展存儲容量和在線擴展文件系統容量三方面,實現了氣象數據存儲系統隨著業務數據變化的靈活擴展,使系統具備優秀的擴展性和適應性。
關鍵詞:氣象數據存儲;存儲集群;SAN;GPFS集群;在線擴展
1引言
隨著氣象事業和科技水平的迅速發展,氣象數據的種類、數量也隨之迅速增長,目前氣象數據的存儲采用數據庫和共享文件系統兩種技術,根據數據特點和服務方式將數據按照在線、近線和離線三種方式進行存儲。由于氣象數據種類多、數量大、格式多樣,除通用數據庫、專題數據庫存儲的數據之外,還有大量的數據采用高性能的共享文件系統實現在高速磁盤陣列上的直接在線存儲,以滿足業務應用、服務和安全備份的需求。隨著業務的不斷豐富,數據量呈現快速增長,大量數據庫系統也采用高性能共享文件系統作為底層存儲,如何高效的訪問存儲,保障業務應用的數據訪問效率,同時考慮滿足不斷增長的數據存儲需求,靈活的在線擴展,成為存儲系統設計和實現中必須考慮的問題。
我國氣象部門應用廣泛采用GPFS(General Parallel File System)[1]、NFS(Network File System)[2]等共享文件系統。GPFS是一個可擴展、高性能、安全的通用并行文件系統,在性能和安全性上優于NFS[3],結合SAN(Storage Area Network)[4] 高速高可靠網絡互聯技術,構成高性能的數據存儲集群[5],實現大容量數據庫存儲和直接的在線存儲,廣泛的應用于氣象信息系統數據庫、共享數據存儲系統建設中。
針對基于SAN和GPFS的存儲集群架構,探討了在數據計算和處理能力、存儲容量、文件系統容量變更等三方面的在線擴展技術,對氣象數據存儲系統的靈活擴展具有重要意義。
2高性能氣象數據存儲集群設計
基于SAN和GPFS的存儲集群物理架構包含三層,1)存儲層:高速磁盤陣列;2)SAN存儲網絡層:冗余鏈路配置的高速SAN存儲區域網;3)服務器層:至少兩臺的服務器作為冗余的數據訪問處理節點。
2.1存儲集群架構設計
2.1.1.物理架構 本實例采用三臺服務器作為集群節點,配置兩臺冗余SAN光纖交換機,四臺磁盤陣列。每臺服務器配置兩塊HBA卡,冗余連接至兩臺SAN交換機。每臺光纖交換機配置2個控制器,每個控制器兩個端口,將每個控制器冗余連接到兩臺SAN交換機。如圖1所示,為存儲集群的物理架構,冗余配置保證了在Zone劃分后集群的高可靠性。服務器節點間通過以太網連接,服務器節點和存儲之間的連接鏈路采用光纖線,磁盤陣列采用高端磁盤陣列,構成高性能數據存儲管理集群,根據業務數據訪問性能需求和磁盤陣列的光纖出口速率,可對集群性能進行精細化分析,在此不詳細探討。
2.1.2邏輯架構
使集群節點訪問存儲設備的路徑唯一,需要對連接到SAN中的服務器和存儲劃分Zone,實現設備的隔離。Zone劃分好以后,配置GPFS集群,形成邏輯上的存儲集群。存儲集群的邏輯架構如圖2所示,GPFS將物理磁盤映射形成虛擬設備NSD(Network Share Disk),將一個或多個NSD作為邏輯文件設備掛載到服務器節點上提供給文件系統使用。
2.2存儲集群構建
2.2.1物理結構配置
1)將三臺服務器連接至以太網絡,配置光纖交換機,配置Domain。
SAN1:Domain為1,SAN2:Domain為2
2)規劃服務器節點和存儲占用的交換機端口,并按規則為每個控制器進行編號,在交換機中配置。
(1)服務器節點
控制器A:I-SRV-1-A-1:1,1 ;
控制器B:I- SRV-1-B-2:2,1 ;
各項含義為:交換-服務器-服務器編號-控制器-Domain:Domain,端口號
(2)磁盤陣列
控制器A:I-DS42-1-A-1:1,4 ;
控制器A:I-DS42-1-A-2:2,4 ;
控制器B:I- DS42-1-B-1:1,5 ;
控制器B:I- DS42-1-B-2:2,5 ;
各項含義為:交換-陣列名稱-陣列編號-控制器-Domain:Domain,端口號
3)物理連線:按照圖1所示結構和端口規劃,用光纖線連接服務器、SAN交換機和磁盤陣列。
4)Zone劃分:創建Zone,并指定該Zone所包含的端口,將Zone添加到配置中,保存配置,并使其生效。
5)LUN Mapping:基于存儲管理軟件,將LUN與集群節點的端口進行綁定,使LUN與主機建立一對一或者多對一的映射關系。
2.2.2GPFS集群構建
如圖3所示,在物理架構搭建后,對各個服務器節點做互信配置,并在每個節點上安裝GPFS軟件包,創建GPFS集群。根據應用需求創建文件系統,提供給文件存儲使用或數據庫應用,則構成GPFS高性能存儲集群。
3存儲集群在線擴展技術
圖2所示GPFS存儲集群的邏輯結構分為三層,服務器節點層、文件系統層、磁盤存儲層。GPFS存儲集群的擴展包含這三方面:在線擴展服務器節點、在線擴展磁盤容量和在線擴展文件系統。
3.1在線擴展服務器節點
風能資源數值模擬系統[6,7,8]基于SAN和GPFS的集群架構,由7臺服務器節點構成高性能數據存儲處理集群,但風能資源數值模擬業務涉及大量的計算和數據處理,隨著業務計算需求的增加,7個節點的處理能力逐漸顯得不足,需要在不影響現有應用的情況下在線擴展集群節點至16個。圖4所示,將G07至G15節點在線增加至GPFS集群,流程與新建GPFS集群流程相似,如圖5所示,在物理連接配置環節,將新增的節點逐一加入到已有的Zone中,并使配置生效,在集群配置環節將節點增加至集群。集群節點的擴展包括剔除節點,直接執行最后一個環節:從GPFS集群刪除節點操作。
3.2在線擴展磁盤容量
國家級氣象資料存儲檢索系統[9,10](簡稱“存儲系統”)中采用了基于SAN和GPFS的集群架構,提供高性能計算機用戶無法在高性能計算機上長期在線保存而又需要保存的各類數據以及需要備份和歸檔的數據。
擴容前存儲能力為337.8TB,可用磁盤容量以所有文件系統平均90%為可用上限計算為304.02TB,僅有20TB左右的余量,無法滿足數據量的增長,通過在線擴展磁盤陣列,實現系統無業務影響擴容80TB,如圖6所示。
集群中存儲容量的擴展,需要將新增的磁盤設備用光纖連線加入SAN中,并加入Zone的配置使其生效,將LUN與集群中的節點進行綁定。
流程如圖7所示,將已連接集群的該存儲設備創建為虛擬的NSD,并創建文件系統,分配這些空閑的NSD給掛載的文件系統。
3.3在線擴展文件系統容量
省級風能資源數據庫共享服務系統[11,12]基于基礎地理信息、風能資源專業觀測網數據、詳查區數值模擬結果與綜合評估數據,為決策部門、業務用戶、行業用戶以及公眾用戶提供不同層次的風能數據共享服務,其數據庫存儲基于SAN和GPFS的集群架構設計實現。
表1所示為省級風能資源數據庫共享服務系統文件系統容量擴展前的參數值,系統共建立四個文件系統,業務流程調試過程中發現/dev/gpfs_DB文件系統容量預估過小,不能滿足應用需求,擬在不影響現有系統數據存儲的情況下,對系統進行調整。
表2所示調整后情況,與表1所示調整前文件系統容量分布比較可以看出,/dev/gpfs_mysql文件系統容量由調整前的5.5TB縮減為2.2TB,/dev/gpfs_DB文件系統的容量由調整前的2.2TB,增加至5.5TB,而調整前后系統總容量未改變。調整過程在線進行,對用戶和應用透明,未對現有數據發生影響。
該方法是在線實現容量調整的,但在實踐中需要注意三點:1)GPFS在刪除磁盤前會自動遷移走該盤上的數據,前提是該刪除的磁盤是好的、可用的;2)除去要刪除的磁盤之外,是否剩余足夠的磁盤空間存儲文件系統中的數據。3)在執行調整命令后留出一定的時間供GPFS元數據同步,防止元數據不一致導致的性能下降的問題。
3.4系統擴展效果
以上三套系統所采用的基于SAN和GPFS架構的存儲集群,其分層的存儲架構和靈活的在線擴展技術使得系統具有良好的業務適應性,能夠提供高效的數據存儲訪問,并能夠隨著業務需求變化而快速、安全、無縫的擴展。
4總結
本文介紹了國家級氣象資料存儲檢索系統、省級風能資源數據庫共享服務系統和風能資源數值模擬系統的存儲架構和在線擴展的實施,闡述了基于SAN和GPFS技術的高性能氣象數據存儲集群架構及其在線擴展技術,實現了存儲集群數據處理能力、數據存儲容量及文件系統容量隨著氣象數據和業務需求變化的靈活擴展。經過實踐的檢驗,該存儲架構具備靈活的可擴展性和適應性,能夠在不影響已有數據應用服務的前提下實現在線擴展,適用于快速增長的氣象數據存儲管理的需求。
摘 要 社會經濟的快速發展帶動了科學技術的進步,尤其是計算機技術的發展可謂突飛猛進,目前已經出現了新的計算形式,即云計算。該種計算模式的出現,實際上就是對互聯網技術的一種升華和體現,在此背景下的數據存儲技術也成為非常重要的一個技術領域。本文將對云計算與數據存儲問題進行簡單闡釋,并在此基礎上就云計算環境下的數據存儲技術談一下自己的認識,以供參考。
關鍵詞 云計算;數據存儲;研究
所謂云計算,實際上就是一種以服務為主體的現代架構體系,基本服務形式有兩種,一種是云計算,另一種是云存儲。云計算是計算機技術快速的一種新形式,這種基于云計算服務體系的現代應用程序,在現代金融服務領域、網絡系統中扮演著非常重要的角色,幾乎在所有的環境下都需要云存儲來滿足數據處理要求。因此,在當前的形勢下,加強對云計算環境下的數據存儲技術問題研究,具有非常重大的現實意義。
1 云計算與云存儲
1.1 云計算
云計算主要是基于Internet技術提供服務的一種技術形式,它可以提供動態化的可伸縮、虛擬資源計算模式。其中,云是一種比喻性的說法,實質是計算機網絡和互聯網。傳統意義上的“云”代表的是電信網,近年來才用于互聯網、基礎設施抽象表達。云計算通過計算,使大量的數據信息分布于計算機之上,并非本地計算機、遠程服務器之中,而企業數據中心的實際運行與計算機互聯網非常相似,這在很大程度上可以使企業將資源信息切換至客觀應用上,并且根據實際需求,對計算機及其存儲系統進行訪問。簡單地說,正如從傳統的單臺發電機模式向現代的電廠集中供電模式轉變一樣,這意味著計算能力已經作為商品在流通,并且像水電一樣,利用方便而費用低廉,主要區別在于它是借助互聯網技術進行傳輸。
1.2 云存儲
所謂云存儲,實際上基于云計算概念延伸出來的新概念,它與云計算非常相似,以集群應用、分布式文件系統以及網格技術等功能為基礎,將計算網絡中的各種存儲設備借助應用軟件進行有效集中,從而使其協同作業,具體功能是對外提供相關的數據存儲以及業務訪問。從本質上來講,云存儲是對當前存儲模式的一種創新,同時也是特殊的架構服務之一。形象地說,就像是云一樣的廣域網、互聯網,對應用者而言,具有透明性;云存儲的關鍵在于相關應用程序軟件、存儲設備之間的有機結合,并且通過這些應用軟件來實現存儲設備之間的服務轉變。
2 云計算環境下的數據存儲體系構建
實踐中,云計算環境下的數據存儲體系,主要包括數據中心、云服務接口、云用戶以及服務協議等內容,其中數據中心主要由存儲管理、分布式文件系統以及存儲設備等構成,同時它也是云計算環境下實現數據存儲的基礎。云存儲設備通常沒有特殊的規定的類型,既可以是個人PC,也可是企業發展過程中所應用的專門存儲設備,甚至是二者的結合體。分布式文件系統,即文件系統管理中的物理存儲資源是通過網絡節點之間相互連接的,該系統的設計主要是依據客戶機、服務器模式。
2.1 服務器架構
云存儲體系構建之前,應當先構建云存儲服務器架構,它是云計算IAAS中重要組成部分,可通過多樣化的架構技術實現,常見的是附網存儲(NAS)以及存儲區域網(SAN)。
NAS屬于分布式架構系統的文件存儲系統,是一種松散結合型集群,實踐中可有效滿足以云存儲為主體的環境要求,而且在該系統集群中,任何一個節點都是相對獨立的實體。在此系統中,最小單位即為文件。當文件被保存在該集群之中時,其數據信息會被有效地保存在集群中的特定節點上,雖然文件副本很多,也可能會被重新定位到另外的節點上,從而形成冗余,但該節點提供的文件單實例卻是唯一的。下圖為NAS存儲架構示意圖如圖1所示。
實踐中可以看到,SAN為集群架構塊存儲系統的一種,即為緊密結合型集群系統。當文件請求產生時,每一個節點都會訪問該文件中的不同數據塊,并對用戶的請求進行及時的處理。用戶請求越多,SAN響應請求可用節點數量就越多,此時其性能也就越強。實踐證明,該存儲架構比較適合于云服務器,而且其可擴展性非常的好,數據傳輸效率較高,若配合P2P以及重復數據刪除技術使用,可有效滿足一級存儲要求。
2.2 服務器之間的數據信息傳送
針對當前的存儲結構體系,NFS、CIF即為NAS存儲系統的數據傳送協議,將NFS、CIF作為數據傳送口,可實現異構平臺間的信息資源有效共享。NFS在Windows客戶端加載了NFS客戶端軟件,這樣就可以確保Windows客戶端能夠有效融入到UNIX基礎的計算機網絡系統之中;CIF在UNIX服務器上也加載了CIFS服務器端軟件,這樣就可以使UNIX服務器與本地Windows服務器一樣。NFS與CIF,使NAS服務器間形成一個統一的整體,實現了云存儲服務的統一化,并且在集群環境下,表現非常的突出。ISCSI也是一種SAN數據傳送協議,它可以實現單客戶端有效應用程,像本地客戶端使用服務器資源一樣,操作結果對另外客戶端不透明。
3 結束語
云計算作為一種典型的現代計算模式,擁有較大規模的數據集,可向廣大用戶提供最優質的服務。云計算環境下的數據存儲,采用的是冗余存儲方式來確保存儲數據的安全可靠性,未來云存儲將向著安全性、共享性以及便捷性方向發展。
【摘 要】隨著IT系統向云計算技術方向演進,數據存儲應用需求也出現了顯著的變化特點,傳統的數據存儲已不能滿足云時代的需要。為解決云時代的數據存儲問題,首先分析了傳統數據存儲應用技術現狀,接著在此基礎上分析了塊存儲、分布式存儲、對象存儲、表存儲等非結構化和結構化存儲技術在云計算環境中的不同應用及性能特點,為云時代的數據存儲技術提供建議。
【關鍵詞】云計算 云存儲 塊存儲 結構化存儲
1 傳統數據存儲應用現狀
隨著社會信息時代的快速發展,用戶對存儲的需求增長迅速。在進入云環境的時代,傳統IT系統存儲技術面臨建設成本高、運維復雜、擴展性有限等問題的挑戰,系統存儲擴容壓力很大,主要表現在以下幾個方面:首先,傳統存儲開放性不足,通常采用軟硬件一體化解決方案,標準化程度低,不同廠家系統無法混合使用;其次,成本較高,且市場壟斷嚴重,建設成本居高不下,擴容成本尤其高;再者,擴展性能較差,其單點擴展存在容量上限和接口帶寬等限制,面對云時代PB級的海量存儲需求,在容量和性能的擴展上無法滿足。
長期以來,傳統IT系統存儲一直存在諸多資源配置不合理的狀況,帶來資源浪費。一些系統不考慮數據的價值和訪問方式,統一放在磁盤陣列或NAS中,相對于云存儲缺少性能、擴展性和低成本的優勢。而另有一些系統對磁盤I/O性能要求并不太高,卻仍然采用FC SAN建設,造成建設成本的浪費。大部分系統沒有區分應用對磁盤可靠性的要求,統一使用SAS磁盤,將SATA盤排除在外,造成一定的浪費。
傳統的塊存儲承載傳統關系數據庫,在應對大數據環境下高性能應用系統,特別是超大規模和高并發的業務系統已經顯得力不從心,暴露出很多難以克服的問題。傳統關系數據庫穩定性高,使用簡單,功能強大,久經歷史考驗,積累了大量的成功案例。但是,隨著網絡技術和軟件技術的飛速發展,網站也開始快速發展,近幾年比較火爆的論壇、博客、SNS、微博逐漸引領Web領域的潮流。隨著訪問量的急劇上升,幾乎大部分使用傳統數據庫的網站都開始出現了性能問題。Web程序也不再僅僅專注在功能上,同時也在追求性能,雖然后來MySQL的集群技術和Memcache的緩存技術使得MySQL架構在一定程度上緩解了性能的壓力,但最終還是因為其擴展性差(需要比較復雜的技術來實現),承受著大數據下的I/O壓力,因此依然面臨著很大的問題。
傳統的關系型數據庫系統并不能提供這些應用所需要的高可擴展性,新型的網絡應用又不像金融等領域那樣需要嚴格的數據一致性和很強的事務特性,而是對海量數據的松散結構表示以及可用性與可擴展性提出了更高的要求。很多研究學者與互聯網公司早已開始尋求新的數據存儲和管理架構,并試著弱化數據管理系統在一致性和事務性方面的要求,向著系統可用性和可擴展性方面努力,使之成功運用到后端系統中。
2 云環境下數據存儲需求特點
隨著現代信息網絡技術發展,數據信息總量正呈指數級爆炸式增長,在如此大量數據產生的時代,用戶的數據存儲需求具有全新的特點:
(1)對數據庫高并發讀寫的需求
隨著互聯網應用的發展,Web 2.0應用強調的是以用戶為主,需要根據用戶個性化信息來實時生成動態頁面和提供動態的信息,目前比較流行的微博就是如此。該類應用對數據庫的并發訪問的負載就非常高,往往能達到每秒上萬次的讀寫請求,甚至更多。從已有的優秀的數據庫產品看來,對于上萬次SQL查詢還能勉強應付,但是應付上萬次SQL寫數據請求時,I/O成了瓶頸。
(2)對海量數據的高效率存儲和訪問的需求
以Facebook為例,它一個月就達到了2.5億條用戶動態,對于關系數據庫來說,在一張擁有2.5億條記錄的表里面進行SQL查詢,效率是極其低下乃至無法忍受的。在未來大數據時代,海量數據的高效存儲和訪問是必須要解決的問題。
(3)對數據庫的高可擴展性和高可用性的需求
在基于Web的架構中,數據庫是最難進行橫向擴展的,當一個Web應用的用戶量和訪問量與日暴增時,數據庫服務器卻沒辦法像Web Server那樣簡單地通過更多的硬件和服務節點來進行性能擴展與負載分擔。對于很多需要不間斷提供服務的網站來說,由于這樣的升級需要停機維護和數據遷移,將使用戶體驗值急劇降低。
(4)支持非結構化數據的處理能力的需求
傳統的關系型數據庫對數據的處理和數據類型有比較明確的限制,只針對某些數據類型,如整型數字、字符、字符串等,而對類似圖片、音視頻的非結構化數據的支持不夠,無法滿足未來用戶對各種各樣類型數據的需求。
對于以上數據存儲應用需求,傳統存儲應用技術是無法勝任云計算環境下應用需求的。云存儲技術的發展結合了各種存儲技術應用的特點,在容錯、吞吐量、冗余、讀寫分布、數據劃分、負載均衡等特性方面進行技術提升,并綜合多種存儲技術以適應復雜的不同的數據存儲需求。
3 數據存儲技術在云計算環境中的應用特性分析
現有的IT環境正逐步向云計算環境演進,在未來云時代,塊存儲、分布式存儲、對象存儲、表存儲等非結構化和結構化存儲技術有各自的應用特點,可區分不同應用需求,實現云環境下存儲能力最優化應用。
3.1 塊存儲技術
塊存儲基于傳統的磁盤陣列實現,主要為現有各種應用提供通用的存儲能力,將存儲區域劃分成固定大小的小塊,使傳統裸存儲設備的存儲空間對外暴露,將大量磁盤設備通過SCSI/SAS或FC SAN與存儲服務器連接,服務器直接通過SCSI/SAS或FC協議控制和訪問數據。塊存儲方式由于不存在數據打包/解包過程,可提供更高的性能,數據訪問延遲低、帶寬較高,但可擴展性差。因此可采用彈性塊存儲降低傳統磁盤盤陣的使用比例,以滿足快速分配和靈活擴展的場景。
塊存儲本身可以通過多個設備堆疊出更大的空間,但受限于數據庫的能力,通常只能支持TB級數據庫應用。主要為一些高性能、高I/O的企業關鍵業務系統(如企業內部數據庫)提供存儲,也可為虛擬機提供集中存儲,包括鏡像和實例的存儲。
在云計算環境中,塊存儲的使用可根據數據的重要性、訪問頻率、保留時間、容量、性能等指標,進行分級存儲管理。一般可進行動態、靜態存儲分級,基于文件級和塊級分級,基于主機和盤陣等類型分級,將數據采取不同的存儲方式分別存儲在不同性能的存儲設備上,以實現數據客體在存儲設備之間的自動遷移。同時,為提高存儲利用率,還可以使用存儲瘦供給技術,當存儲真正開始使用時才開始實際分配物理空間,可達到減少每GB可用空間的成本的目的。
3.2 非結構化存儲技術
在云計算環境下引入非結構化云存儲技術可降低傳統盤陣/NAS的采購成本,滿足業務系統海量非結構化數據存儲處理需求。在互聯網類業務等具有海量冷數據存儲需求的業務中,可逐步采用基于X86架構本地硬盤的分布式文件、對象、彈性塊等云存儲產品,代替NAS和傳統盤陣設備,并開展和推動云存儲接口標準化和規范化,推動上層業務軟件適應底層新型云存儲系統,最終在業務系統中大規模引入非結構化云存儲技術。目前非結構化存儲技術主要包括分布式文件存儲和對象存儲兩種。
(1)分布式文件存儲
分布式文件存儲提供文件存儲能力,把分布在局域網內各個計算機上的共享文件夾集合成一個虛擬共享文件夾,將整個分布式文件資源以統一的視圖呈現給用戶,最終以標準文件系統接口形式,向應用系統提供海量非結構化數據存儲空間,支持隨機讀寫、復雜目錄結構。
對于數據增長量快的文件存儲型業務,分布式文件存儲提供NFS、CIFS、POSIX等文件訪問接口,但整體協議開銷較高、響應延遲比塊存儲長,存儲能力和性能水平有待擴展。分布式文件存儲適合TB~PB級文件存儲,可支持文件頻繁修改和刪除,例如存儲圖片、文件、視頻、郵件附件、MMS內容等,同時它在文件在線備份和文件共享具有較強優勢,但上層業務需要考慮支持跨多個文件系統的系統結構。
(2)對象存儲
對象存儲與分布式文件存儲都屬于非結構化存儲類型,對象存儲操作簡單、無需頻繁修改,對于一次寫入、多次讀取的數據,優先考慮對象數據存儲系統。對象存儲為海量非結構化數據提供Key-Value這種通過鍵-值查找數據文件的存儲模式,提供基于對象訪問的REST/SOAP接口,協議開銷較高,且響應延遲較文件存儲長,應用系統跟存儲系統的耦合程度松散。
在對象存儲中引入對象元數據描述對象特征,所存儲的對象是附帶各種屬性信息的文件,屬性包括圖片尺寸、拍攝時間等,一般采用“桶”作為對象的容器來劃分應用和用戶。由于對象存儲系統同時管理用戶信息和實際數據,上層業務設計時需考慮支持跨多個對象存儲的場景。對象存儲屬PB級文件在線存儲,用于在線訪問的文件存儲(包括縮略圖、音樂視頻、大文件)。數據存儲后很少改動,對于文件索引所容納的條目數量不受限制。對象存儲是企業能夠以低成本的簡易方式實現對大規模數據存儲和訪問的方案。同時,對象存儲使得“混合云”和“公有云”成為可能,也使以互聯網服務的方式進行廣域歸檔或遠程數據備份成為可能。
3.3 結構化存儲技術
針對傳統數據庫對非一致性數據存儲及不能靈活擴展等技術壁壘,在云存儲技術中用表存儲以管理結構化數據或者半結構化數據,并通過設置鍵值對映射模型采用Hadoop框架等技術,向應用系統提供高可擴展的表存儲空間,主要包括交易型(OLTP)數據庫和分析型(OLAP)數據庫。
交易型應用每次更新或查找少量記錄,并發量大,響應時間短,主要應用在大規?;ヂ摼W社交網絡、博客、微博、在線詳單查詢等。在新型互聯網業務和詳單查詢業務中,針對交互性海量數據查詢需求,可引入NoSQL存儲,提升系統可擴展性和數據處理能力,消除系統瓶頸。
分析型應用特點則是更新少,批量導入,每次針對大量數據進行處理,并發量小。主要應用在大規模日志存儲處理、信令系統XDR數據存儲和分析預處理、經分系統ETL等場景。并且可引入逐步成熟的日志詳單類存儲,系統的性能、穩定性及安全性將得到全面提升,這可以作為數據倉庫的補充,承擔ETL、數據挖掘和非結構化數據處理,緩解現有數據倉庫的壓力。
4 結束語
在云環境中積極探索和引入大數據處理和云存儲技術,開展和推動云存儲接口標準化和規范化,將有效推動上層業務軟件適應底層新型云存儲系統。在云存儲技術發展的另一方面,存儲網絡技術和存儲介質技術的進步也必將推動云存儲的有效規模部署,共同推動云時代的加速發展。
摘要:隨著Web2.0技術的發展,用戶對數據的計算和存儲需求激增,往往通過購置更多數量的服務器來增加計算和存儲能力。通過互聯網租用計算能力和存儲資源,就可以大大減少對自有硬件資源的依賴。因此,將云計算技術應用到存儲領域可以大大提高資源的利用率。本文主要分析基于云計算的數據存儲技術。
關鍵詞:云計算,數據存儲,技術
云計算是一種基于服務的架構體系,有兩種基本服模式:云計算和云存儲。 基于云計算服務的應用程序,無論是金融服務還是網絡角色扮演游戲,幾乎在所有情況下都需要高性能的云存儲來滿足數據處理的需求[1]。網絡時代是一個信息時代,隨著 Web2.0 技術的成熟,大量的信息以井噴的姿勢出現在互聯網上,如何應對這種信息爆炸式的增長速度,如何對這些信息進行有效存儲和管理,云存儲是否能夠應對這種情況,如何才能保證云存儲的高性能,如何才能保證云存儲的靈活性,這些是本文探討的問題。
1、云計算與云存儲
1.1 云計算的概念
云計算(cloud computing)是分布式計算技術的一種,是分布式處理、并行處理和網格計算的發展。其最基本的概念是通過網絡將龐大的計算處理程序自動拆分成無數個較小的子程序,再交給由多部服務器組成的運算系統,經過計算分析之后將處理結果回傳給用戶。
1.2 云存儲的概念
云存儲是在云計算概念基礎上延伸和發展出來的一個新概念。與云計算類似,它是通過集群應用、網格技術或分布式文件系統等功能,將網絡中不同類型的存儲設備通過應用軟件集合起來協同工作,共同對外提供數據存儲和業務訪問功能的一個系統。云存儲是對現有存儲方式的一種變革,是一種特殊形式的架構服務。如同云狀的廣域網和互聯網一樣,云存儲對使用者來講是透明的,不是指某一個具體的設備,而是指分布在不同物理地域的多臺存儲設備所構成的集合體。云存儲的核心是應用程序軟件與存儲設備相結合,通過應用軟件來實現存儲設備向存儲服務的轉變。
2、云存儲系統的結構模型
與傳統的存儲設備相比,云存儲不僅僅是一個硬件,而是一個由網絡設備、存儲設備、服務器、應用軟件、公用訪問接口、接入網和客戶端程序等多個部分組成的復雜系統。它以存儲設備為核心,通過應用軟件對外提供數據存儲和業務訪問服務。自下而上分別為存儲層、基礎管理層、應用接口層和訪問層。
2.1 存儲層
存儲層是云存儲的基礎部分。各個存儲設備通過網絡設備連接在一起,存儲設備可以是FC光纖通道存儲設備,也可以是NAS和iSCSI等IP存儲設備。在存儲設備層之上是一個統一的存儲設備管理系統,可以實現存儲設備的邏輯虛擬化管理、多鏈路冗余管理以及硬件設備的狀態監控和故障維護[2]。
2.2 基礎管理層
基礎管理層是云存儲的核心部分,也是云存儲中最難實現的部分?;A管理層通過集群、分布式文件系統和網格計算等技術,實現云存儲系統中多個存儲設備之間的協同工作,使多個存儲設備可以對外提供強大的數據訪問功能。使用CDN(Content Delivery Network)進行內容分發,數據加密技術保證云存儲中的數據不會被未授權的用戶所訪問。同時,通過各種數據備份和容災技術可以避免云存儲中的數據不會丟失,保證云存儲系統自身的安全和穩定。
2.3 應用接口層
云存儲運營單位可以根據實際業務類型開發不同的應用服務接口并提供不同的應用服務。比如視頻監控應用平臺、IPTV和視頻點播應用平臺及遠程數據備份應用平臺等。
2.4 訪問層
任何一個授權用戶都可以通過公用應用接口登錄云存儲系統,享受云存儲服務。不同的云存儲運營單位提供的訪問類型和訪問手段也不盡相同。
云計算是一種新型的計算模式。它的最主要特征是系統擁有大規模數據集、基于該數據集,向用戶提供服務。為保證高可用、高可靠和經濟性,云計算采用分布式存儲的方式來存儲數據,采用冗余存儲的方式來保證存儲數據的可靠性,即為同一份數據存儲多個副本。
三、云存儲未來發展趨勢
云存儲已經成為未來存儲發展的一種趨勢,目前,云存儲廠商正在將各類搜索、應用技術和云存儲相結合,以便能夠向企業提供一系列的數據服務。但是,未來云存儲的發展趨勢,主要還是要從安全性、便攜性及數據訪問等角度進行發展。
四、結束語
云計算是一種新型的計算模式。它的最主要特征是系統擁有大規模數據集、基于該數據集,向用戶提供服務。為保證高可用、高可靠和經濟性,云計算采用分布式存儲的方式來存儲數據,采用冗余存儲的方式來保證存儲數據的可靠性,即為同一份數據存儲多個副本。另外,云計算系統需要同時滿足大量用戶的需求,并行地為大量用戶提供服務。未來云存儲的發展還是要從安全性、便攜性及數據訪問等角度進行深入發展。