時間：2023-08-03 16:10:11
序論：在您撰寫云計算的基礎架構時，參考他人的優秀作品可以開闊視野，小編為您整理的7篇范文，希望這些建議能夠激發您的創作熱情，引導您走向新的創作高度。
中圖分類號：TP393.08 文獻標識碼：A 文章編號：1007-9416（2013）06-0241-02
云計算技術被認為是繼個人電腦 、互聯網之后的“第三次互聯網革命”，誕生伊始就得到廣泛關注和重視。下面我們從云計算的概念、類型和基礎架構三個方面來進行探討。
1 云計算的概念
云計算是利用本地或遠程服務器（集群）的分布式計算機為互聯網用戶提供服務（包括計算、存儲、軟硬件等服務），它是對分布式處理、并行處理和網格計算及分布式數據庫的改進處理、融合和發展。
通俗的講，云計算是一種全新的網絡服務方式，將傳統的以桌面為核心的任務處理轉變為以網絡為核心的任務處理，利用互聯網實現自己想要完成的一切任務處理，使網絡成為傳遞服務、計算力和信息的綜合媒介，真正實現按需計算，多人協作。通過云計算的大規模應用，未來計算資源或許像電和水那樣可隨時獲取，并按使用量進行計費。
2 云計算的類型
從部署方式來說，云計算可以分為私有云、公有云和混合云。公有云是互聯網上所有用戶都可以使用。私有云則是一種專有的云環境，是針對一個組織單獨構建的互聯網服務，該組織擁有基礎設施，可以在此基礎設施上部署應用程序，并對數據、安全性和服務質量提供有效控制。混合云，也可稱為虛擬私有云，它提供的服務運行在一個公共的云基礎設施之上，但通過虛擬專用網（VPN）限制對它的訪問。
IaaS，指的是將硬件設備等基礎資源封裝成服務供用戶使用，在此環境中，硬件及網絡資源可以被劃分成一個個的邏輯計算單元，IaaS管理工具可以保證多個邏輯單元協同工作起來。
PaaS，是對資源的抽象層次更進一層，它提供用戶應用程序的運行環境。
SaaS，是將某些特定應用軟件功能封裝成服務。
3 云計算的基礎架構
云計算充分利用網絡和計算機技術實現資源的共享和服務，解決云進化、云控制、云推理和軟計算等復雜問題，其基礎構架可以用云計算體系結構、服務層次則和技術層次來描述。
3.1 云計算體系結構
云計算平臺是一個強大的“云”網絡，連接了大量并發的網絡計算和服務，可利用虛擬化技術擴展每一個服務器的能力，將各自的資源通過云計算平臺結合起來，提供超級計算和儲存能力。云計算體系結構如圖：（見圖1）
云用戶端：提供云用戶請求服務的交互界面，也是用戶使用云的入口，用戶通過WEB瀏覽器可以注冊、登錄及定制服務、配置和管理用戶。
服務目錄：云用戶在取得相應權限（付費或其他限制）后可以選擇或定制的服務列表，也可以對已有服務進行退訂的操作，在云用戶端界面生成相應的圖標或列表的形式展示相關的服務。
管理系統和部署工具：提供管理和服務，能管理云用戶，能對用戶授權、認證、登錄進行管理，并可以管理可用計算機資源和服務，接收用戶發送的請求，根據用戶請求并轉發到相應的應用程序，調度資源智能地部署資源和應用，動態的部署、配置和回收資源。
資源監控：監控和計量云系統資源的使用情況，以便做出迅速反應，完成節點同步配置、負載均衡配置和資源監控，確保資源能順利分配給合適用戶。
服務器集群：虛擬的或物理的服務器，由管理系統管理，負責高并量的用戶請求處理、大計算量處理、用戶WEB應用服務，云數據存儲時采用相應數據切割算法，采用并行方式上傳和下載大容量數據。
用戶可通過云用戶端從列表中選擇所需的服務，其請求通過管理系統調度相應的資源，并通過部署工具分發請求、配置WE應用。
3.2 云計算服務層次
云計算的服務層次是根據服務類型即服務集合來劃分，體系結構中的層次是可以分割的，即某一層次可以單獨完成一項用戶的請求而不需要其他層次為其提供必要的服務和支持。
3.3 云計算技術層次
服務接口：統一規定了在云計算時代使用計算機的各種規范、云計算服務的各種標準等，用戶端與云端交互操作入口，可以完成用戶或服務注冊，對服務的定制和使用。
服務管理中間件：在云計算技術中，中間件位于服務和服務器集群之間，提供管理和服務即云計算體系結構中的管理系統。對標識、認證、授權、目錄、安全性等服務進行標準化和操作，為應用提供統一的標準化程序接口和協議，隱藏底層硬件、操作系統和網絡的異構性，統一管理網絡資源。
虛擬化資源：指一些可以實現一定操作，具有一定功能，但其本身是虛擬而不是真實的資源，如計算池、存儲池和網絡池、數據庫資源等，通過軟件技術來實現相關的虛擬化功能，包括虛擬環境、虛擬系統、虛擬平臺。
物理資源：主要指能支持計算機正常運行的一些硬件設備及技術，可以通過現有網絡技術和并行技術、分布式技術將分散的計算機組成一個能提供超強功能的集群用于計算和存儲等云計算操作。
4 結語
云計算作為下一代IT的發展趨勢，在我國得到了充分的推動和蓬勃的發展，但我們必須看到，由于國內在云計算領域對核心技術的掌握不足，目前國內所建設的云計算中心，更多的投入是在硬件建設的部分，缺乏在基礎軟件設施層面對云計算模式的支持。同時信息系統和網絡設備使用的關鍵芯片、核心軟件和部件絕大部分依賴進口，存在著安全隱患?？傊?，雖然云計算的發展還存在著諸多的問題，但作為一種新型的互聯網服務和計算模型。它展示了越來越強大的生命力，涉及了各行各業方方面面的人們，并將最終徹底影響和改變改我們的生活。
參考文獻
關鍵詞：政府 云計算 虛擬化 架構
自2007年云計算概念提出以來，云計算產業鏈在中國發展至今已初具規模，特別是企業私有云市場，雖然還沒有出現一個在云計算市場擁有絕對優勢的拳頭產品，但百家爭鳴，百花齊放的局面正預示著云計算的建設正脅潮涌之勢而來。在繼一些大型IT企業之后，越來越多的政府開始走向云，并且有更多的應用在向云靠攏。截止到2012年，已經有北京、上海、成都、杭州、青島和西安等城市在政府應用云平臺方面進行了積極的探索，總結出了一些成功的經驗。在大家熱烈討論云計算技術能帶來什么豐碩成果的同時，就政府云計算基礎架構的建設方式在業界也未形成一個相對一致的說法。但眾所周知，一個高效穩定的基礎架構平臺對于其上的應用和業務運營是至關重要的，而搭建這樣一個基礎架構的成本也是必須考慮在內的。
首先我們先來談談使用最普遍的x86架構，廉價、開放、標準化、簡單易用，x86所具備的這些優點使其成為了眾多云計算用戶的最佳構架選擇。目前，決大多數的大規模云的構建也都是基于x86架構的，例如亞馬遜、微軟、Google、百度、阿里巴巴等。但是，使用最多就是最好的嗎？也不盡然，x86在人才資源、總體成本上是有優勢，但一旦大規模部署后，由于單臺服務器的性能問題，只能依靠大規模來實現計算能力和存儲擴展，這樣相應的就會帶來一些管理和穩定性方面的問題。由于x86架構服務器系統的穩定性不如小型機系統，因此還需要有完善的備份和容錯方案。這些都是x86在云計算架構中不可避免的問題，而這些問題的解決方式只能依靠第三方來進行。作為x86架構的忠實擁躉，VMware或許是能解決這些問題的最好方式。畢竟在x86平臺虛擬化市場上，VMware的占有率超過了85%，而作為VMware虛擬化和云計算的核心系統平臺，vSphere已經成為虛擬化平臺的一個事實上的標準。2012年7月13日，VMware正式云基礎架構套件，這標志著VMware從虛擬化向云計算的全面轉型，其中的VMware vShield安全解決方案對云計算環境提供了全面的保護方案，但能否實現預期的效果，還有待市場的檢驗?？傊?，x86平臺對于缺少更多技術支持的部門而言是不錯的選擇，首先平臺搭建相對快捷簡單、易于維護，其次又可以保持構架的靈活性和可擴展性。
相對分布式的x86架構而言，以IBM的Power架構為首的集中式構架方式在關鍵性核心業務上有著更大的可靠性及穩定性優勢。很多人認為，政府部門沒有那么多像很多大型企業那樣的對計算性能和技術支持要求較高的業務，Power架構的優勢有時候得不到體現。其實不然，隨著政務信息化的推進，這幾年很多大規模的政府部門應用系統陸續上線，這些業務應用系統涉及的人員范圍、地域范圍都很大，影響面也很廣，而且業務也相對單一，對于這類重點業務，Power架構將是不錯的選擇，它能更好的滿足業務的RAS（可靠性、可用性、穩定性）要求。Power架構所提供的虛擬化環境所使用的是IBM自己的PowerVM虛擬化軟件，這在系統穩定性方面就有先天的優勢，其先進的自動化管理功能，可以使資源池達到良好的利用，最終形成自適應、自服務的云計算基礎架構。除了這些關鍵性業務，對數據庫領域而言Power架構也具有更大的I/O吞吐量和穩定優勢，尤其是基于關系型數據庫的關鍵應用。如果我們在x86架構的橫向擴展出現瓶頸時，再考慮向Power上進行遷移，遷移所付出代價恐怕不止是新建一套Power虛擬機那么簡單了。當然，Power架構對云計算人才的要求是很高的，但是相對于那種大規模的x86云平臺，維護它所需要的人力資源卻少很多。就好比用一個在AIx系統及虛擬化方面技術很強的人維護1臺Power計算機和用10個技術一般的人維護10臺x86服務器一樣，到底那種方式更節約成本，更能很好的實現管理就只能靠自己判斷了。
我們都知道，云計算的最終目的是整合IT資源及應用，使其發揮更大的效能。在政府部門也一樣，龐大的IT資源不僅耗資耗能巨大，對其很好的管理也是一個麻煩的問題。就筆者所在的單位而言，光服務器設備就有80多臺，加上為之服務的網絡及存儲設備就足足填滿了一個200平方的機房。 在進行虛擬化改造建設之前，我們就單位信息化應用的現狀分析，發現服務器架構存著機器部分老化，故障率偏高；系統可用性、兼容性差；系統結構復雜；運行成本高；電力資源緊張；維護工作量大等等問題。
為了解決以上問題，我們決定使用虛擬化技術打造單位的云平臺?？紤]到單位這種已經存在大量業務應用的情況，我們在建設云計算平臺過程中采取了循序漸進，避開關鍵業務，在不斷探索過程中逐步推進的方式。根據如今政府的情況，一般都是自購服務器、各自有自己的信息中心負責運維。很多部門為了保證業務的正常運行，都花費很大的資金在容災備份之上，這當中存在著諸多的浪費，很多高端的服務器及存儲設備其實只用到了很少一部分的硬件系統資源，為了提高服務器的利用率，利用這部分高端硬件搭建云計算環境是對資源充分利用的一個好辦法。比如我們先可以利用原有的IT資源，搭建相對簡單的x86的云架構，在這個過程中會遇到一些無法繞過的問題，比如數據遷移、數據的隔離和控制等等，通過一些具體實踐，我們可以同時積累部分云計算的人才和經驗，為今后全面推行云計算打下基礎。在關鍵性業務上， 我們可以直接部署IBM Power架構，其實Power并不像很多人想象的那么高深，IBM為了幫助用戶快速構架基于Power的云平臺，推出了從應用出發的解決方案以提升用戶在應用部署、日常維護方面的易操作性。不過，不能否認的是，相比x86，Power平臺在后期維護、管理上還是要更難一些，需要更加專業的管理人員。我們的數據庫系統就是利用兩臺IBM小機進行Power架構的部署，實施期間，AIX系統及Power虛擬化軟件確實讓人頭疼不已，但一旦部署成功，其I/O大吞吐量，高穩定性的特點也確實為用戶帶來了全新的體驗。
對于云計算基礎架構，套用一句老話：沒有最好，只有最合適。這點在政府機構也同樣適用。不管是x86還是Power架構，其實通用才是云平臺最核心的要求，只有滿足了能夠將軟件部署在不同的硬件和系統上的要求，這才是真正意義上的云計算平臺。
參考文獻：
（中國民用航空華東地區空中交通管理局 上海 200335）
摘 要 鑒于傳統構架的協同決策（CDM）系統不能適應民航事業快速發展，提出建立基于云計算平臺的CDM系統。
首先概述了云計算的基本概念和主要特征，并總結了云計算的關鍵技術和基本架構。之后，研究了對云計算拓撲設計算法，在樹形拓撲結構的基礎上對三種算法進行了比較和選擇，確定方案為merge-MST。最后，完成云計算平臺的初步總體設計，并搭建仿真測試平臺，測試結果證明所設計的云計算CDM系統具有較好的性能。
關鍵詞 民航，協同決策系統，云計算
中圖分類號：TP392 文獻標識碼：A
doi:10.3969/j.issn.1674-7933.2015.04.004
*基金項目：上海市2013 年“ 科技創新行動計劃”信息技術領域項目（13511504700） 。
作者簡介：葉云斐，1984 年生，本科，助理工程師，主要從事及研究領域：航空計算機信息管理，Email ：leaves616@126.com ；
陳曉建，研究生，高級工程師；
陳偉青，本科，工程師；
谷葉，研究生，助理工程師。
0 引言
近年來我國民航事業快速發展，航班延誤現象愈發嚴重。中國民用航空局的《2013年民航行業發展統計公報》顯示： 2013年不正常航班占比27.66%，旅客投訴率較2012年增長13.66%。華東區域經濟發展迅速，人口密度大，以全國1/9的空域面積承載著1/3的航班流量，問題尤為顯著。以發展的眼光看問題，有必要依靠各方可靠、全面、實時的信息，采用高效合理的航班排序、放飛算法，充分利用空域時隙資源，協同決策（CDM）的概念應運而生。
民航華東空管局CDM系統于2012年12月上線運行，系統基礎數據多，計算量大，對軟硬件資源要求高。以上海虹橋、浦東兩個機場為例，每天就有5 000多架航班起落，涉及空域航路點300~400個，各航路點又分3~4個高度層；在此基礎上，CDM系統必須結合實時的流量控制、氣象預報等信息反復計算調整，且任何時刻的航班重新規劃都會影響到一整條航路上與之相關的所有航班，使計算量成倍增加。隨著航空流量的逐年增加，CDM系統計算量也以指數方式快速增長。
現有系統采用傳統架構設計，不能滿足前瞻性設計要求。理想的CDM系統架構應具有虛擬化、易擴展、按需部署、高靈活性、高可靠性、高性價比的特點。本文提出一種基于云計算的CDM系統構架，利用自動拓撲設計算法（merge-MST）設計網絡拓撲，采用Hadoop開源管理軟件實現任務調度，最后通過仿真手段驗證了該方案的可行性和適用性。
1 現有民航CDM系統的不足
協同決策是一種技術手段，更是一種基于資源共性和信息交互的多主體（空管、機場、航空公司等）聯合協作運行模式。華東空管局CDM系統從各個參與單位引接實時航班數據，建立塔臺電子進程單系統、A-CDM系統、飛行計劃處理系統等，并形成三大客戶端——流量管理客戶端、塔臺客戶端和公司機場客戶端，系統構成如圖1所示。
`該系統基于傳統的關系型數據庫，以塔臺電子進程單為例，架構示意圖如圖2所示。盡管其成熟度高、可靠性好，但隨著數據量逐漸增大，數據范圍逐漸拓寬，其存儲和查詢效率已不能滿足需求。
2 云計算平臺及其架構設計
2.1 定義和特點
云計算是一種新的計算模式，由分布式計算、并行計算和網格計算的發展而來。其后臺大量采用虛擬機，并通過互聯網形成資源池。這些虛擬資源可以根據不同的負載動態重新配置，快速并以最小的管理代價提供服務[1]。從用戶角度看，云計算具有可靠的存儲技術和嚴格的權限策略，可為客戶提供安全可靠的數據存儲中心；對用戶端的設備要求低，支持手機、平板電腦等無線通信設備；可實現不同設備間的數據、應用共享。
從硬件的角度看，云計算高度靈活，可按需投入或釋放硬件資源，從而提高整體利用率。2.2 類型
云計算按其服務層次分為三類[2]，如圖3所示：
1)基礎設施即服務（IaaS，infrastructure as a service）
在虛擬化技術的支持下，利用廉價計算機實現大規模集群運算能力，同時按需配置，為用戶提供個性化的基礎設施服務。此類型的典型代表有亞馬遜云計算AWS（Amazon Web Services）、IBM藍云等。
2) 平臺即服務（PaaS，platform as a service）
提供的服務是開發環境，允許用戶使用中間商提供的設備開發自己的程序。此類型的典型代表有GoogleApp Engine（GAE）等。
3) 軟件即服務（SaaS，software as a service）
通過Internet直接提供運行在云計算設備上的應用程序。用戶無需考慮基礎設施及軟件授權等內容。此類型的典型代表有Salesforce公司的CRM服務、ZohoOffi ce、Webex等。
2.3 關鍵技術
云計算作為一種集群計算和服務模式，運用了多種計算機技術，以編程模型、數據存儲管理、虛擬化最為關鍵。
1) 編程模型
Google提出的Map-Reduce[3]是一種流行的云計算編程模式，Map（映射）程序將數據分割成不相關的數據塊，Reduce（化簡）程序則將將數據處理的中間結果進行歸并，如圖4所示。Map-Reduce可將海量異構數據的分析處理工作分解成任意粒度的子任務，并允許在多個計算節點之間進行靈活的數據調度，此外，程序員無需關心數據塊的分配和調度，該部分工作由平臺自動完成。
2) 數據存儲管理
云計算采用分布式的方法存儲和管理數據，并利用冗余存儲保證數據的可靠性，常用技術有Google的GFS及Hadoop團隊的HDFS[4]，其中后者是前者的開源實現。
GFS系統架構如圖5所示，整個系統節點分三類：Client（客戶端）是GFS提供給應用程序的訪問接口、Master（主服務器）是管理節點， Chunk Server（數據塊服務器）則負責具體工作。Chunk Server可有多個，每個Chunk對應一個索引號（Index）。作為對比，HDFS體系結構如圖6所示。
云計算的數據管理需滿足大規模海量數據的計算和分析，大多采用列存儲的數據管理模式?，F有技術中最主流的是Google的BigTable，Google對BigTable給出了如下定義：BigTable是一種為了管理結構化數據而設計的分布式存儲系統，這些數據可以擴展到非常大的規模。此外，Hadoop團隊也開發了類似BigTable的開源產品HBase和Hive。
3) 虛擬化技術
虛擬化技術是云計算區別于一般并行計算的根本性特點，其實質是實現軟件應用與底層硬件相隔離，把物理資源變成邏輯可管理資源。目前云計算中虛擬化技術主要包括將單個資源劃分成多個虛擬資源的裂分模式，也包括將多個資源整合成一個虛擬資源的聚合模式。根據對象又可分為存儲虛擬化、計算虛擬化、應用級虛擬化等等。
將虛擬化的技術應用到云計算平臺，使得云計算具有靈活的進程遷移方式，更有效的使用主機資源，在部署上也更加靈活。
2.4 架構設計
云計算體系結構的特點包括：設備眾多、規模大、采用虛擬機技術、任意地點、多種設備匯集，并可以定制服務質量等等。文獻[5]提出了一種面向市場應用的云計算體系結構，如圖7所示：
1) 用戶：用戶可以在任意地點提交服務請求；
2) SLA資源分配器：充當云后端和用戶之間的接口，包括服務請求檢測和接納控制模塊、計價模塊、會計模塊、VM監視器模塊、分發器模塊和服務請求監視器模塊；
3) 虛擬機（VMs）：為實現在一臺物理機上的多個服務提供最大彈性的資源分配；
4) 物理設備：包括服務器、存儲設備及路由器等。
基于云計算平臺的華東CDM系統還處于初步研究階段，采用本架構進行初步設計及仿真驗證。
3 云計算網絡拓撲設計
云計算系統后端的網絡由大量服務器組成，分布廣泛，復雜度高。要保證數據的暢通傳輸，需要設計一個合理高效的網絡拓撲結構。
首先，為保證管理擴展和維護的方便，將云計算系統分成多個子網，各子網采用樹形拓撲結構，如圖8所示。在此基礎上，把每個子網看成一個節點，各個節點具備流量、交換能力、地理位置等屬性，將云計算網絡拓撲抽象成圖論數學模型。如何連接各個節點，才能即滿足冗余度要求，又盡可能降低網絡架設花銷已被證明為NP-hard[6][7]，故只能求解近似最優解。此類問題的解法有兩種，一種是在限定網絡花銷的情況下最大化網絡的抗毀能力[8]，另一種是在保證網絡一定抗毀能力的條件下盡可能減小花銷[7]，本文按照后者進行設計。
在圖論領域，該問題可簡化為求解特定連通度k時最小生成子圖的問題，本文主要考慮基于圖論的k-FOREST算法[9]、merge-MST算法[10]和啟發式算法TEA[7]。通過理論推導，三種算法的時間復雜度如表1所示，其中TMST=O(m?logm)或O(n2),m代表圖邊數，n代表點數。
本文
參考文獻[11]的仿真手段對三種算法進行比較，考慮7、10、15、25個節點的場景，得到平均邊數和平均花銷的比較示意圖如圖9、10所示。
通過比較可看出，在節點數目較少時TEA算法表現最佳，但隨著節點數目增多性能迅速下降；在節點數多于20個時，則是merge-MST算法更優。
考慮到CDM系統規模龐大，僅華東區域就需要計算機點80~100個，故選取merge-MST進行網絡架構的設計。
4 總方案設計
基于云計算架構的CDM系統，依托中心節點、區域節點和業務集中節點，整合分布的物理資源，形成統一的可調配的邏輯資源?？偡桨附Y構如圖11所示。包括基礎設施、虛擬資源層、信息共享云平臺層，應用層以及貫穿始終的安全層和管理層。
1) 基礎設施層：既包括支持民航CDM系統運行所必需的基礎設施，也包括行業內可整合入CDM系統的其他設施。
2) 虛擬資源層：采用云計算技術，整合分布的硬件資源，形成資源池，靈活調配提供服務。
3) 云平臺層：涵蓋管理底層資源、支撐上層應用的各個軟件和模塊，包括平臺管理、負載均衡、中間件、業務流程管理軟件等等。
4) 應用層：將CDM系統功能進行最后一步封裝后提供給用戶。
5) 安全層：負責整個CDM系統的安全。
6) 管理層：管理整個CDM系統運行配置，包括資源管理、網絡監控、部署管理、內容管理以及用戶管理等，監控硬件、軟件等多個層次，提高整體運行效率。
5 系統測試與應用
為驗證所設計方案的可行性，并測試方案性能，本文搭建了測試環境，針對CDM系統多項業務進行了測試。
CDM系統主要業務涵蓋協同決策系統、流量管理系統、統一飛行計劃處理系統和塔臺電子進程單系統。其中協同決策系統為頂層系統；流量管理系統幫助最大限度利用空中交通服務的容量；統一飛行計劃處理系統負責接收、處理和飛行計劃；塔臺電子進程單系統則協助塔臺管制員管制飛機的起降。
5.1 硬件環境
云計算集群設有3個master節點，18個slave節點，各節點均是基于X86架構的PC機。PC機配置如表2所示。
所有測試主機均連接在千兆網絡中，網絡環境中不存在其他設備，干擾因素可忽略不計。
5.2 軟件環境
測試采用Hadoop團隊開發的開源軟件，版本如表3所示。
5.3 測試結果
通過編寫程序，在測試環境中進行電報處理、雷達軌跡處理、氣象與情報處理、橋位信息處理、航班信息、數據查詢以及協同航班處理等壓力測試，平均日最大處理條目數量如表4所示。
測試結果表明：云計算平臺計算能力強，能夠彌補現有民航CDM系統的不足，可滿足華東地區CDM系統前瞻性設計要求。
6 結束語
本文針對華東地區巨大的航班吞吐量，提出了一套基于云計算平臺的CDM系統設計方案。通過測試驗證，該系統架構具備良好的計算能力和業務處理能力，使用靈活，更滿足系統安全可靠、成本低、易拓展的需求。
基于云計算的華東空管CDM系統是現有CDM系統的發展方向，將在2015年開始詳細設計。
參考文獻
Vaquero L, Rodero-Marino L.Caceres J. et al. A break in theclouds: towards a cloud defi nition[J]. SIGCOMM ComputerCommunication Review. 2009,3(1): 50-55.
UC Berkeley 可靠自適應分布式系統實驗室, 姚宏宇譯. 云端之上——Berkeley對云計算的看法. 2009.
J. Dean, S. Ghemawat, MapReduce: Simplified DataProcessing on Large Cluster[C], OSDI’04, Sixth Symposiumon Operating System Design and Implementation, SanFrancisco, CA, December, 2004.
Sanjay Ghemawat, Howard Gobioff, Shun-Tak Leung.The Google File System[C]. Proceedings of 19th ACMSymposium on Operating Systems Principles. 2003, 37(5):20~43.
R. Buyya, C.S. Yeo, S. Venugopal, Market-OrientedCloud Computing: Vision, Hype, and Reality for DeliveringIT Services as Computing Utilities [C], The 10th IEEEInternational Conference on High Performance Computingand Communications.
S. Pierre, G. Legault, A Genetic Algorithm for DesigningDistribute Computer Network Topologies[J], IEEE Trans.Man, Systems, and Cybernetics, 28(2), 1998: 249-258.
E. Szlachcic, Fault Tolerant Topological Design for ComputerNetworks[C], Proceedings of the international Conferenceon Dependability of Computer Systems, DepCos-RELCOMEX’06.
F.M. Shao, X. Shen, and P.H. Ho. Reliability Optimization ofDistributed Access Networks with Constrained Total Cost[J],IEEE Trans. Reliability, 2005,54:412-430.
H. Nagamochi, T. Ibaraki, A linear-time algorithm for fi ndinga sparse k-connected spanning subgraph of a k-connectedgraph [J], Algorithmica 7, 1992, (7): 583-596.
【關鍵詞】云計算；電力數據中心；基礎架構；關鍵技術
信息集成作為消除電力企業信息的孤島，它使信息可以實現共享，并且可以為其提供進行決策支持的關鍵技術，而數據中心是實現信息集成的重要前提，在其中具有非常重要的學術價值以及應用價值。數據中心也是在近期內一直被廣泛關注和研究的重點，也是電力企業在對研制智能電網以及規劃智能電網的過程中面臨的重要的問題。為了順利的實現信息共享和系統集成應用，電力企業在現階段正大力的構建智能電網系統中心和電力調度系統中心完全統一的數據平臺，企業信息平臺以及配電網系統的信息集成平臺等。
1 現存的電力數據中心
現存的電力數據中心具有的功能主要包含獲取數據、管理數據、存儲數據以及訪問數據等。數據獲取層可以對營銷管理、協同辦公、安全生產、物資管理、人力資源、項目管理以及綜合管理等業務數據進行提取和轉換，使其可以被轉換成為規范的、科學的基礎數據，并把這些數據合理有效的加載到數據庫。對數據進行儲存的管理層需要ETL數據庫，從而逐漸的形成具有多維度分析的核心數據，并把這些數據合理有效的儲存在數據庫，從而順利的實現對數據編碼和元數據的管理。數據訪問層的主要職責是在展示界面的過程中為其提供統一的、有效的數據，進而讓統計查詢、分析聯機決策輔助以及挖掘數據等功能得以順利的實現。
各個電力公司以及直屬單位的數據都需要按照國家電網公司所規定的特殊設計，在完全滿足基礎功能與關鍵指標的前提下，按照自身的生產安全和設備管理等一些特殊的業務特征以及需求進行建設。由于各省的電力系統間一直具有著很大的差異，在對數據中心進行建設時，電力系統的一些特殊軟件（網絡、環境調節、存儲、電力、服務器以及監控等）之間不可避免的具有很大的差別。除此之外，在對軟件設施、硬件設施以及數據安全等進行系統的維護和管理的過程中還必須要選用不同的管理技術，隨著管理工具的不斷增加以及管理設計存在缺陷，所以就導致了缺乏管理經驗和管理過程復雜等問題的出現，這樣就導致在對數據中心進行維護和管理時成本較高。
2 基于云計算的電力數據中心
2.1 電力系統云計算數據中心的基礎架構
選用云計算的技術對現存的電力數據中心進行改善，構建出逐漸向智能電網發展的新型的電力數據中心。在基礎的設施層，利用虛擬機監視器和虛擬化平臺對一些相關的硬件設備（存儲設備、網絡設備和服務器）實行虛擬化，對相關的電力公司和直屬企業間存在著差異的設施給予屏蔽，把虛擬機當成單位對其進行全面的、科學的自動化管理，主要包括了抽象資源、管理安全、管理負載、部署資源以及監控資源等，它既能讓資源利用率有所提升，還能夠使相關的管理維護人員對服務器等系統和硬件設施等管理工作得以徹底的擺脫，一定要認真的對系統業務以及虛擬機進行維護，從而讓數據中心的管理工作以及維護工作得到簡化。
2.2 實時遷移
在電力數據中心，服務器是非常關鍵的硬件設施，它的資源利用效率對電力數據中心具有的性能有著直接的影響。通過對其進行調查研究可知，目前企業數據中心的大量x86服務器僅運行一個應用，而CPU的利用率則為百分之五到百分之二十之間。通過可靠性以及性能以及對其進行考慮，現存的數據中心業務系統大多數都是運行在不同的服務器上的，例如，項目管理系統以及綜合管理系統都運行在自己獨立的服務器上，但是服務器自身具備著資源利用效率很低的弊端。在新型的電力數據中心，對服務器進行虛擬化，使單一的服務器通過進行虛擬化，被分為很多虛擬機，從而使服務器資源利用的效率得到提高。
在使服務器的利用效率得到提高的同時，應該把性能開銷以及可靠性的問題解決。對可靠性進行解決的有效手段為采取隔離的手段，在服務器上具有若干個虛擬機實例的基礎上，必須確保每個虛擬機之間是完全被隔離的，換句話說，就是如果其中的某個虛擬機遭受崩潰，不會影響到其他的虛擬機，使之可以從故障中及時有效的得到恢復，從而使服務器資源利用的效率得到提高。
3 云計算電力數據中心的遷移策略
對電力數據中心進行設計和建設的過程是非常重要的系統工程。目前的數據中心都是利用國家電網公司的規定進行統一的設計建設的，但是因為每個地方的系統業務應用、信息化水平以及成熟程度之間的差異，讓電力數據中心在建設的過程中自身具備著獨特的特征，虛擬化技術也慢慢的被引入到一些電力數據中心，初步具有了云計算的能力，但是大多數的電力企業依舊停留在以往傳統的數據中心水平，遠遠不能達到智能電網中全新的數據中心對大量的數據儲存、高可靠性、可伸縮性、高效計算以及高可用性的需求。
提出了現存電力數據云計算中心通過分階段對其進行遷移的策略，以此對其得以平穩過渡進行保障。第一，對所有的電力公司以及公司總部的數據中心進行系統的升級，使其能夠慢慢的升級到云節點。虛擬化電力數據中心的基礎設施，使服務器的可拓展性、可用性以及彈性得到提升，對其進行系統的升級以及改造，讓它可以成為建立在云計算基礎上的數據中心，也就是人們所說的云節點。第二，對系統中的所有云節點進行連接，使其形成電力公司的私有云。全部的電力數據中心在構建成可用性高以及可拓展的云節點以后，需要把全部的云節點進行有效的連接，從而形成具有多中心性能的私有云。
4 結語
本文通過研究和分析虛擬化服務器、實時遷移以及Hadoop等關鍵的技術，提出了電力企業云計算數據的整體架構，設計出了構建在Hadoop基礎之上的電力數據云計算中心平臺，使之可以與新一代數據中心在發展過程中的趨勢相適應，并完全滿足智能電網的要求。云計算作為一種新型的技術，其虛擬化、資源管理、體系結構以及數據存儲等問題還需要進一步的對其進行研究。
參考文獻：
[1]潘毅,周京陽,李強,米為民,樊濤.基于公共信息模型的電力系統模型的拆分與合并[J].電力系統自動化,2003(15).
[2]王志南,吳文傳,張伯明,何云良,孫宏斌,汪皓,徐文.基于IEC 61970的CIS服務與SVG的研究和實踐[J].電力系統自動化,2005(22).
[3]孫澤鋒.云計算在電網企業的應用與信息安全[A].中國通信學會信息通信網絡技術委員會2011年年會論文集（上冊）[C].2011.
關鍵詞： 云計算； 橋梁安全與健康監測； 數據中心； 數據管理技術
中圖分類號：TP391 文獻標志碼：A 文章編號：1006-8228（2013）12-18-04
Basic architecture and data management technology of bridge safety and health
monitoring data center based on cloud computing
Tu Huimin1，2， Wu Jufeng1，2
（1. Wuhan Bridge Science Research Institute（BSRI） Ltd.MBEC， Wuhan， Hubei 430034， China；
2. Key laboratory of bridge structure and health of Hubei province）
Abstract： With the development of bridge safety&health monitoring data center （BSHM-DC） technology， the monitoring data is increased rapidly in exponential speed， which requires the data storage and management technology of data center to be more intelligent and efficient. In this paper， the data management technology and developing trend of BSMS-DC is put forward firstly. After illustrating the basic architecture of BSHM-DC on the basis of cloud computing， the selections of key devices and related software are discussed. Lastly， its application expectation of BSHM-DC is prospected.
Key words： cloud computing； bridge safety &health monitoring （BSHM）； data center（DC）； data management technology
0 引言
橋梁安全與健康監測系統是通過在橋梁的關鍵部位布置高可靠性和耐久性的各類傳感器，對結構內力、變形、動力特性、環境狀況進行實時監測，獲取橋梁在營運期內受各種荷載作用下的結構響應，通過理論計算和規范值與實測值的對比、分析，實現結構異常響應報警、結構營運安全性評估、結構損傷識別等。由于該系統7*24小時不間斷檢測，所采集的數據量飛速增長。在面對多座橋梁監測系統集成管理的情況下通常采用直聯式數據存儲方式，其數據的存儲能力、數據管理難度、數據安全，以及存儲資源的利用等，都難以滿足系統設計需求。
云計算可以滿足新一代數據中心對網絡、存儲和計算的業務需求，并能提供豐富的應用服務，是新一代數據中心的核心要素[1-2]。本文通過引入云計算的基礎架構，建立了基于云計算的橋梁安全與健康監測數據中心，將分散在全國各地的監測系統數據進行集中可靠的存儲與管理，并通過云計算數據中心向用戶提供高效、安全的服務。
1 橋梁安全與健康監測數據中心建設的現狀
隨著在役橋梁安全與健康監測建設的發展，橋梁安全與健康監測系統中海量數據的存儲與有效利用日顯重要，并成為在役系統普遍關注的一個重點。一個中等橋梁安全與健康監測系統數據日增長量在3GB/天左右，一年有1.1TB增量的數據，數據的維護管理主要依賴系統管理員定期執行，數據管理的實施方式難以統一。隨著數據量的增加，數據管理工作量、管理難度及管理成本成倍增加，數據也得不到有效利用。
橋梁安全與健康監測數據中心引入云計算，可將業務數據和應用在公有云和私有云之間同步，當數據中心構建的私有云出現故障，應用可以無縫遷移到公有云中。通過云計算將分散在全國各地的業務系統數據通過INTERNET進行集中存儲與管理，可向橋梁技術研究者提供數據共享服務分析橋梁健康監測海量數據；橋梁管理單位即使不具備橋梁專業技術知識也可以在任何地方、任何時間監測到橋梁的實際運營狀況，獲得橋梁健康監測報告及橋梁營運安全性評估等服務并實時反饋專家意見，大大提高了橋梁管養效率。
基于云計算的橋梁安全與健康監測數據中心建設分兩部分，一部分是集成中心，另一部分是分散在全國各地的分中心。集成中心的數據增長量在10GB/天，分中心的數據增長量在3GB/天左右，增長量會隨著業務量的增加而增加。集成中心利用云計算技術對服務器、存儲、網絡等IT資源進行虛擬化，將所有的IT資源放在一個資源池中并進行動態資源管理，對IT資源進行監管和云管理。當資源池中分配給某個橋梁安全與健康監測系統的資源出現故障或者該系統獲得的資源不夠用的時候，云管理平臺會自動分配給它新的資源，從而保證系統7*24小時不間斷運行。
分中心的數據通過公共Internet網絡與集成中心組成云網絡，數據進行同步，在集成中心對數據進行異地容災備份。集成中心有兩份數據，一份數據面向橋梁安全與健康監測系統（數據庫A），一份數據是完全備份數據（數據庫B）。我們主要考慮如何優化實時數據讀取和歷史數據查詢。數據庫B中保留所有數據，數據庫A只保留最近1周的數據；業務系統實時讀取的是數據庫A中的數據，而查詢一周之前的數據就讀取數據庫B中的數據。
圖1 分中心數據庫結構與操作
2 關鍵技術
云計算（Clouding Computing）由Google、Amazon等公司于2006年首先提出，它是一種利用互聯網實現隨時隨地、按需、便捷地訪問共享資源池（如計算設施、存儲設備、應用程序等）的計算模式[3]。我國政府高度重視對云計算的發展，把其列為重點發展的戰略性新興產業[4-5]，云計算技術的應用已成為國內外的熱點研究問題[6-8]。
基于云計算的橋梁安全與健康監測數據中心的建設所需專業涉及面較廣，如橋梁專業、網絡通信專業、計算機專業等。本節著重討論其在計算機領域內實現云計算數據中心的關鍵技術。
2.1 虛擬化技術
虛擬化技術能讓所有計算元件在虛擬的基礎上運行，是實現云計算數據中心不可缺少的功能。通過把有限的固定的資源根據不同需求進行重新規劃以達到最大利用率的思路，在IT領域就叫虛擬化技術[9-10]（Virtual Technology）。這種解決方案能在很大程度上優化資源、節約成本。虛擬化技術包括計算虛擬化技術、網絡虛擬化技術、存儲虛擬化技術。系統虛擬化前后的特點如表1所述。
表1 虛擬化前后特點比較
[虛擬化前＼&虛擬化后＼&每臺主機一個操作系統＼&每臺主機上運行多個虛擬機，每個虛擬機一個操作系統
＼&每臺主機上運行多個程序，可能造成沖突
＼&多個程序可分別在運行在多個虛擬機上，應用程序相對獨立的運行空間，避免沖突
＼&每臺主機配一個存儲，存儲資源得不到有效利用，且一旦存儲出現單點故障，數據可能丟失
＼&多個虛擬機共享存儲，當一臺主機出現故障時，會自動分配其他主機上的硬件資源給故障主機的應用程序＼&硬件成本高，且配置和管理困難＼&虛擬機獨立于硬件運行，可動態資源分配，新程序的部署工作只需要幾分鐘，有效節約硬件和維護成本
＼&]
目前虛擬化技術的產品主要有EMC的 VMware虛擬化產品，Microsoft的Virtual Server， Sun的Virtual Box，以及Ctrix公司的Xen Server和Xen，占市場份額最大的是EMC的 VMware虛擬化產品。
2.2 數據存儲技術
基于云計算的橋梁安全與健康監測數據中心需要滿足大數據管理的需求，為大量橋梁管理者提供服務并且為橋梁研究者提供大數據分析功能。數據安全可靠存儲是實現大數據管理分析的基礎。
數據存儲系統從物理結構來看，底層主要是磁盤，通過光纖、串口線等與磁盤后的板卡和控制器相連。目前最常用的存儲方式有DAS（直接連接存儲）、SAN（存儲區域網絡）和NAS（網絡附加存儲）。直連存儲（DAS）是直接通過SCSI線纜或者光纖直接連接到服務器上。存儲區域網絡（SAN）是通過網絡方式連接存儲設備和應用服務器，目前常用的SAN結構根據連接介質不同而分為FC SAN和IP SAN。網絡附加存儲（NAS）是將網絡存儲設備直接放在網絡上提供文件共享服務。這三種技術優缺點如表2所示。
表2 DAS、SAN、NAS數據存儲系統技術優缺點
[特征＼&DAS＼&SAN＼&NAS＼&安裝難易度＼&較難＼&較難＼&很容易＼&集中管理＼&難＼&專用軟件＼&基于網絡＼&擴展性＼&低＼&高＼&中＼&數據共享＼&難＼&通過軟件實現＼&內部實現＼&處理能力＼&強＼&強＼&視網絡情況而定＼&備份＼&傳統方式＼&服務器不參與＼&多種方案＼&容災＼&基于服務器＼&端對端及多點容災＼&端對端方案＼&安全＼&中＼&高＼&低＼&]
目前主要存儲廠商的FC SAN存儲可以實現8Gbit/S的傳輸速率，但費用較高，所以中大型數據中心建設中還是處于領先地位。但是隨著IP SAN技術的發展，較高的性價比使FC SAN存儲逐漸擴大了在市場的份額。
2.3 動態資源管理
云計算的資源包括存儲資源、計算資源、網絡資源、基礎設施資源以及其他資源[2]。當應用云計算時，面對大量設備和相關技術，如何有效整合各種資源并實施動態資源管理是實現云計算的關鍵。云計算動態資源管理系統的基本功能，是接受資源請求，合理地調度相應的資源并且把特定的資源分配給資源請求者，使請求資源的業務得以運行。它能跨資源池智能動態調整計算資源，使IT與業務優先級對應，動態提高系統的管理效率。
云計算的動態資源管理必須處理好存儲架構問題，解決資源部署、監控和調度策略等問題。在VMware虛擬化產品中，DRS（vsphere Distributed Resources Scheduler）可以根據每一個虛機的實際運行情況，適時地對內存、CPU、網絡的消耗進行動態調整，將其平均分配到DRS集群的每一臺主機上面。動態分配依靠VMotion實現，所以，VMotion是DRS的先決條件。
3 云計算數據中心實現
基于云計算的橋梁安全與健康監測數據中心實現了數據中心服務器、網絡、存儲虛擬化及負載均衡，其基礎架構拓撲圖如圖2所示。
整個方案通過兩路6核服務器配合后端IP SAN存儲技術，并采用云計算虛擬化技術來實現橋梁安全與健康實時監測。在云計算操作系統軟件的支持下，將3臺兩路6核服務器組建HA集群，并配合DRS及VMotion等高級功能，實現業務的連續性，減少計劃內宕機時間，有效地提高資源利用率。
3.1 計算系統設備及軟件實現
計算系統設備主要是指服務器，服務器的選擇上主要考慮的是服務器的性能，滿足五年內橋梁安全與健康監測業務的需要，主要計算能力由3臺兩路6核服務器擔任。
而計算系統虛擬化的實現主要是利用軟件將服務器虛擬化。目前主流的、最具代表性的虛擬化軟件是VMware的Vsphere軟件。
本方案采用3臺企業級兩路服務器（HP Enterprise Server）作為核心數據庫平臺。該服務器能滿足數據庫應用的高可用性、可恢復性，并具有錯誤檢測及消除單點故障的功能。采用數據庫雙機方案也增強了應用的可擴展性，滿足業務不斷增長的需要。由于該型服務器采用全新的因特爾快速互聯通道互聯架構配合因特爾志強E5系列處理器及SAS 6Gbps高性能磁盤控制器，使系統聯機處理性能提升2.5倍以上，數據庫性能提升3倍以上，更加適用于基礎架構、數據庫核心應用。
3.2 存儲設備及數據管理軟件
在保障客戶應用的前提下，存儲將成為一個必須受到關注的核心環節，因此雙控制器、多處理器和高可靠光纖8Gb存儲成為首選，這能有效保障業務的物理穩定特性。出于數據安全備份的考慮，配置大存儲容量6TB存儲空間服務器作為虛擬機的備份服務器，可以保證在光纖存儲故障時或維護時的業務連續性，并對客戶的應用數據也做到了統一備份。為了保障業務運行的高性能、可持續性和可擴展性，我們選擇了IP-SAN的存儲模式，通過串口線連接磁盤與控制器。云計算計算節點服務器通過交換機連接存儲設備，實現數據鏈路的高品質性能保障。
在數據的統一備份處理上，基于虛擬機文件駐留在共享SAN存儲上，可以使用存儲區的映像來備份虛擬機文件，這樣做不會在運行虛擬機的云計算計算節點主機上引起任何額外的負載。統一備份功能可以滿足縮短虛擬機的備份時間，移除客戶應用服務器上的備份工作負載，以及從中央服務器中執行備份的工作。其工作流程是從運作中的主機上剝離磁盤，將磁盤鏈接到專用的統一備份服務器上，然后備份磁盤中適當的文件，此時原始主機仍能看到該磁盤并能正常工作。通過有效利用虛擬機存儲區的映象文件，高效地保障客戶數據安全。
3.3 網絡設備
云計算數據中心網絡需實現雙鏈路可靠冗余連接、負載均衡，充分考慮網絡的可管理性。本方案采用兩臺DLINK交換機實現設備冗余，同時通過實現網絡虛擬化來保證網絡策略安全，使之不受虛擬機位置遷移的影響。
3.4 云平臺管理
云管理平臺是負責整個數據中心的資源池管理、是實現IAAS的關鍵環節。本方案采用VMware公司的Vcenter軟件，與其他的管理軟件相比，該軟件的使用為IT管理者大大降低了云計算虛擬環境管理的難度。
該云平臺是目前最強大的虛擬環境管理平臺，它能提高在虛擬基礎架構每個級別上的集中控制和可見性，無論是幾十臺還是幾千臺虛擬機，都能集中、簡單地管理。它可以通過使用向導或者模板，在幾分鐘內創建新的虛擬機或主機，最大限度地減少錯誤和停機；它還可以借用DRS（vsphere Distributed Resources Scheduler） 持續監控各個資源池的使用情況。此外，借助vCenter API和.NET可實現vCenter Server和其他工具的集成，并且支持在vSphere Client中嵌入自定義插件，為管理IT環境提供選擇自由。
4 結束語
目前，基于云計算的橋梁安全與健康監測數據中心建設還處在初級階段，隨著橋梁安全監測技術和云計算技術的發展，云計算數據中心會逐漸形成系統化、網絡化的全國性的橋梁安全與健康監測平臺。該平臺能面向所有橋梁行業的客戶，提供存儲空間及橋梁安全與健康監測服務；同時還能根據存儲的大量橋梁相關數據，進行數據挖掘及數據分析，在橋梁學術研究方面具有重要意義。
基于云計算的數據中心建設是一個復雜的系統工程，本文著重從橋梁安全監測數據中心的關鍵技術方面闡述了系統基礎架構，以及關鍵設備和軟件的選型，希望能為其他行業數據中心的建設提供一些參考。
參考文獻：
[1] 林小村.數據中心建設與運行管理[M].科學出版社，2010.
[2] 劉鵬.云計算[M].電子工業出版社，2011.
[3] MELL P， GRANCE T. The NIST Definition of Cloud Computing[R].
National Institute of Standards and Technology， SP800-145， Gaithersburg：U.S Dept. of Commerce，2011.
[4] 國家科學技術部.中國云科技發展"十二五"專項規劃[EB/01].
/tztg/201209/W020120918516104069531.doc，2012
[5] 工業和信息化部電信研究院.云計算白皮書（2012）[M].工業和信息化
部電信研究院，2012.
[6] 田冠華，孟丹，詹劍鋒.云計算環境下基于失效規則的資源動態提供
策略[J].計算機學報，2010.33（10）：1859-1872
[7] 朱仕村，張宇峰，張立濤，朱曉文，胡云輝.面向長大橋梁結構健康監測
物聯網的云計算[J].現代交通技術，2011.8（1）：24-27
[8] 孟凡立，徐明，張慰.基于云計算的高校數據中心設計與實現[J].現代
教育技術，2012.22（3）：99-103
[9] 楊望仙，朱定局，謝毅，范朝冬.虛擬化技術在云計算中的研究進展[J].
先進技術研究通報，2010.4（8）：5-10
關鍵詞：銀行業務 ；批處理流程；Hadoop MapReduce ；云計算
中圖分類號：TP302文獻標識碼：A文章編號文章編號：16727800（2013）0010000104
作者簡介：趙曦（1971-），男，博士，上海金融學院信息管理學院副教授，研究方向為互聯網金融應用。
0引言
隨著大型商業銀行業務規模的擴大和信息技術的發展， 數據中心已經成為大型商業銀行業務系統與數據資源進行集中業務處理的樞紐，匯集了規?；腎T計算、存儲和網絡資源。
銀行主要承擔本外幣儲蓄、信用卡、對公存貸款業務，銀行匯票及聯行業務，國際結算和外匯買賣，代收代付等業務 [1]。銀行業以網絡和信息技術作為其業務處理的核心支撐，形成了前端業務信息采集、中端數據交換和數據中心處理“分布采集、集中處理”模式。隨著業務量的增加和金融新產品的涌現，業務管理和信息處理“大集中”后對流程處理效率、系統擴展性和數據存儲可靠性提出了更高的要求。金融行業特別是銀行業在處理在線聯機業務（online transaction）的同時，還需要處理大量的離線批處理業務（batch processing），如影像文件處理、票據結算、外匯清算、薪資、各類報表，批處理業務具有數據量大、占用計算資源多、限時處理完成的特點，銀行信息中心通常要配備足夠的資源在特定時間段（夜間、周末、月末）進行批量業務數據處理。如何提高批處理業務能力、合理配置計算資源是銀行信息中心不斷要面對的挑戰。
以計算資源和服務虛擬化為核心的云計算架構和技術得到了廣泛的認同，正在成為IT產業和信息化應用系統架構的發展趨勢，實踐表明，基于云計算架構的系統在資源利用、服務效率、運行成本及能源消耗方面具有明顯的優勢。
本文提出了一種應對批量業務流程處理的優化方法，基本原理是將業務流程的任務節點進行分解和分類，形成流程隊列和若干可以進行并行處理分類任務隊列，使用Hadoop MapReduce并行計算框架進行并行處理，MapReduce提供的資源調度和容錯機制能夠有效提高業務處理系統的可擴展性和穩定性。模擬實驗表明，流程任務分解優化方法比通常的以流程為處理單元的方式具有一定的優勢，可以在云計算環境下分組處理具有共同特征的計算和操作任務，實現優化資源調配，提高批量業務處理的效率。
1批處理業務流程優化
批量業務處理是指一組遵循同一處理流程的重復操作，而涉及的業務流程是一組將輸入轉化為輸出的相互關聯或相互作用的活動，活動之間不僅有嚴格的先后順序限定，而且活動的內容、方式、責任等也都必須有明確的安排和界定，以使不同活動在不同角色之間進行交接成為可能，批量處理業務流程活動之間的轉移不需要人工干預。處理流程中的活動根據數據處理的要求和特點進行設計，如先進行數據核對，然后進行計算，最后進行賬戶操作，每個活動會產生臨時數據。為了提高處理能力和資源使用效率，流程活動設計盡可能遵循以下幾個原則：
①獨立于其它流程和活動，可進行重復操作；②使用較少類別的計算資源，CPU、網絡、存儲；③能夠進行并行處理。
圖1示意了批量流程處理的原理，銀行信息中心在每個批處理周期安排若干批處理的規劃，配置計算資源，啟動和監控批處理過程。每個批處理中包括對應同一處理流程的批量處理任務。
銀行信息中心根據資源配置情況，安排批處理規劃中的批處理執行，可以做到并行處理，以滿足處理時限的要求，每個批處理分配固定的或虛擬化的資源（服務器、CPU、存儲、外設），當現有資源不能滿足批處理要求時，則需要不斷增加資源。這種以批處理流程為單位來決定資源配置的模式（圖2）不一定能夠確保資源的高效使用，如：需要大量CPU計算的流程同時配置I/O性能較高的資源，造成I/O資源的浪費。經過分析，可以通過優化批處理業務流程和操作來進行改進（圖3），以進一步提高資源的使用效率。
以優化流程任務作為并行計算單元，形成批量處理任務隊列，根據任務操作的類型來分配最適合的資源，理論上提高了資源配置的精細程度，有助于提高資源使用效率。
2基于MapReduce的批處理優化計算
為了驗證提出的以流程任務為基礎配置資源的批處理運算架構（圖3），我們搭建了Hadoop/MapReduce并行計算實驗環境，通過模擬批處理業務，對兩種資源配置模式進行比較。
Hadoop[6]云計算平臺的核心由HDFS分布存儲和映射機制及MapReduce并行計算架構組成，具有開放性、穩定性和擴展性方面的優勢，成為了云計算研究和應用的重要平臺之一，其架構與提出的批處理流程優化模型吻合程度高。
MapReduce[8]通過兩個函數Map和Reduce提供并行計算框架， 將計算任務（Job）分解為可以進行獨立和并行計算操作集合（Tasks），提交給Map函數處理，而Reduce函數收集、整理、排序Map函數的計算結果。其基本功能是按一定的映射規則將輸入的 （k1，v1）鍵值對轉換成另一個或一批list（k2，v2）對輸出，而Reduce將一個或多個Map輸出的list（k2，v2）轉換為新的鍵值對list（k3，v3），作為任務計算的輸出[2]。
一種基于C++的腳本語言和解釋器封裝了實現上述功能的基本功能函數，用來描述任務的執行操作。根據上述模擬批次規劃和流程節點類型，得出計算隊列表。
硬件計算架構使用5臺Ubantu Linux服務器提供Hadoop MapReduce并行計算平臺，1個NameNode和4個DataNode，網絡環境為100M局域網，通過SSH實現服務器之間的連接、控制和HDFS數據復制，流程和任務隊列管理程序運行在NameNode上，Map和Reduce實現分布在DateNode上。圖7所示為流程優化模擬架構。
平臺模擬了以業務流程為處理單元和任務分解優化兩種計算架構，使用同樣的模擬流程和數據，同時檢測了當一個DateNote服務器宕機時的任務容錯機制和性能，表4匯總模擬運行的比較數據。
圖7Haddop MapReduce流程優化模擬系統架構
流程最短處理時間指流程任務按照關鍵邏輯路徑執行需要的累計時間，當一個任務處理完成后才能激活后續節點任務。以流程為單位的隊列處理模式在4個DataNode平均分配流程，每個DataNode處理的流程數量幾乎均等，資源的使用率也相同。任務優化分解方法形成了7個任務隊列，DateNode資源分配按照優先資源對照表3進行。
流程平均處理時間指進入流程隊列到所有任務處理完畢的時間，包括等待和任務處理時間，資源使用差異指CPU和I/O在高度使用和過度空閑的比例關系。
根據實驗平臺記錄的運行數據，在同樣的批處理流程和硬件架構條件下，使用業務流程分解優化的并行計算能夠處理更多的事務（320min對比430min），資源的使用效率得到提高（54%對比31%），即使考慮到流程分解和多個任務隊列管理的額外開銷，運行結果還是表明了所提出方法的優勢，為進一步深入研究和完善提供了基礎。
3結語
銀行批處理“大集中”后，其數量和規模不斷擴大，銀行信息中心不斷面臨IT資源優化和靈活配置的挑戰，一方面要提升IT架構的資源數量和技術水平，另一方面要優化批處理的模式來更有效地利用IT資源（計算、存儲、網絡、I/O）。
云計算技術的研究和應用成為了IT產業發展的一個重要方向，基于云計算架構的系統在資源利用、服務效率、運行成本及能源消耗方面具有明顯的優勢。云計算架構的出現也引發了在信息系統設計、功能開發和維護服務的巨大變化。作為以信息化技術作為重要支撐的銀行業，正在逐步嘗試和分享云計算帶來的各種優勢。本文在此背景下，提出了一種針對銀行批處理業務的優化流程分解方法。
業務流程分解優化方法通過對流程任務分組，可以為實時處理大批量流程的應用領域（銀行、證券、保險、電子商務）提高處理效率，MapReduce原理為流程節點處理提供了并行計算框架，其調度和容錯機制可以實現系統計算資源的高擴展性和穩定性。模擬實驗表明，本文介紹的基于并行計算的優化流程分解方法比以整個批量處理流程為處理單元的方法在效率、架構和靈活性方面具有一定的優勢。下一個階段，擬將該方法進一步完善，在銀行等典型批處理業務應用領域進行深化和拓展。
參考文獻：
[1]李得仁.銀行批量業務后臺集中處理模式的實現[J].中國金融電腦 ，2012（11）.
[2]李成華.MapReduce：新型的分布式并行計算編程模型[J].計算機工程與科學， 2011（3）.
[3]楊志豪.一種適應數據與計算密集型任務的私有云系統實現研究[J].計算機應用研究 ， 2011（2）.
[4]易小華.面向MapReduce的數據處理流程開發方法[J].計算機科學與探索，2011（2）.
[5]DEAN J， GHEMAWAT S. MapReduce： simplified data processing on large clusters[J].Communications of the ACM，2008， 51（1）： 107113.
[6]Welcome to Hadoop MapReduce[EB/OL].http：///mapreduce/.
【關鍵詞】云計算；云基礎架構；虛擬化技術；分布式存儲系統；并行編程模型
1.引言
自新千年IT業引入云計算概念以來，通過廣大的市場需求及雄厚的技術支持，大規模云計算系統已成為當今IT業發展的主流。實現云計算的基礎是實現云計算系統基礎架構。一個云計算系統的優秀與否，關鍵在于其基礎架構是否能夠穩定、高效地完成各項任務。本文試圖結合相關資料，對云基礎架構及其效能進行分析、定義及具體闡述，為下一步研究提供有力參考。
2.云計算簡介
云計算的迅猛發展與廣大的市場需求和強大的技術支撐密切相關。首先，隨著IT業的迅猛發展，各IT運營商都形成了各自龐大的服務器集群。如何實現現有集群的重新整合以降低運維成本，提高效率成為運營商考慮的首要問題；另外，IT市場的迅猛發展也要求各運營商提供更加穩定、快捷的服務。其次，分布式系統、虛擬化技術的不斷發展完善，使得服務集群性能的快速提升成為可能。所以，在上述兩方面原因的相互作用下，云計算得到了前所未有的發展。
目前，不同公司對云計算有著不同的理解和實現方式。通過對現有云計算系統的分析及對相關資料的研究[1—5]，本文認為云計算是以商業需要為出發點，將數量龐大的服務器集群整合成為分布式的資源池，通過虛擬化技術、Web2.0技術將資源池強大的計算能力、存儲能力和構建在其基礎之上的各類應用以按需計費的形式從不同的層次（Infrastructure、Platform、Application）租賃給用戶的一種新型網絡運營模式。
由上述定義可得到云計算體系結構如圖1。
由圖可知，云計算基礎架構位于云計算系統的底層，它為云計算系統的出色運營提供了有力的支持。
3.云計算基礎架構
3.1 云計算基礎架構的定義
目前，業界及學術界對云計算基礎架構還沒有一個統一的定義利標準。各IT運營商均根據自身的實際情況，以各自的理解定義和實現云計算基礎架構的部署。理工大學教授劉鵬在其著作《云計算》中提出：云基礎架構及管理層由數據中心與云基礎架構、安全產品、基礎架構和運營管理三大部分組成[3]。作為虛擬化技術的龍頭，Vmware公司在談到其云基礎架構層產品時說道：云計算基礎架構是指通過虛擬化技術將傳統數據中心轉變為云基礎架構并在其之上創建云，將IT基礎架構作為服務交付給客戶使用[6]。Lenk等人在其文章談及云計算基礎設施層時也指出：云基礎架構可劃分為基礎設施服務和資源集兩大部分，其中資源集可分為虛擬資源集和物力資源集；而基礎設施服務又分為高級基礎設施服務、基本基礎設施服務、計算服務、存儲服務和網絡服務[7]。
通過對現有云基礎架構以及對相關文獻資料的研究，本文認為云計算基礎架構是指由硬件資源（PC服務器、磁盤陣列、路由器、交換機及相關配套設備）組成，通過虛擬化技術、分布式并行技術整合形成的用以直接對外提供存儲、計算服務或作為基礎設施為上層云計算應用提供存儲、計算能力支撐的一種高效、可靠并且具有良好擴展性的底層分布式系統。
3.2 云計算基礎架構的分類
通過分析研究現有云計算系統及相關[8—12]，本文認為云基礎架構按照服務的對象可分為基礎型云基礎架構和外向型云基礎架構：基礎型云基礎架構指主要向運系統上層提供計算、存儲資源服務的云基礎架構，基礎型云基礎架構的代表系統有：TFS、GFS、Cassandra、KIDC；外向型云基礎架構指直接向用戶提供計算、存儲資源服務的云基礎架構，外向型云基礎架構的代表系統有：IBM Ensembles、Amazon EC2、Amazon S3、HyperCloud、Megastore。
3.3 云基礎架構的結構體系
通過對當前業界主流云基礎架構系統的分析和對相關學術成果的研究，可以看出云基礎架構的作用是通過將物理資源轉化為虛擬資源池，實現對資源的監控、調度和管理以達到為上層應用和用戶提供彈性的計算和存儲資源的目的。云基礎架構結構框架如圖2。
由此本文將云基礎架構分為以下五個層次：
1）物理層是指搭建、部署云基礎架構所需的物理設備和配套環境。起作用時為云基礎架構提供基本的物力資源，并保持物理設備的可靠性。
2）虛擬層是指通過虛擬化技術解除實現方式、地理位置或底層物理配置對計算機資源的限制，打破上層與物力資源之間的耦合關系，形成統一的虛擬資源。虛擬層的作用是為上層提供可靠且能夠靈活按需分配的虛擬資源。虛擬層由虛擬計算資源、虛擬存儲資源和虛擬網絡資源組成。
3）數據層是指對云基礎架構內運行的客戶數據進行基本操作和管理的層次。數據層主要包含兩個部分，既數據處理與數據管理。
4）管理層是整個云基礎架構中的一個抽象層次。它對云基礎架構的各類資源進行監控，根據實際負載狀況對資源進行管理和調度并且根據上層需求對資源進行快速部署，以保證云基礎架構高效運行。云基礎架構管理層主要由資源監控、負載管理、資源部署和安全管理四個部分組成。
5）服務層是指為上層云計算應用調用云基礎架構計算、存儲資源預留的接口和對用戶使用云基礎架構計算、存儲資源提供的交互界面。服務層對云基礎架構效能的影響體現在服務層各類接口的通用性上。因為服務層接口與上層的松耦合性能夠減小底層云基礎架構對上層應用的限制，從而提高云基礎架構自身的可用性。
3.4 云基礎架構實現的主要技術
3.4.1 虛擬化技術
虛擬化是表示計算機資源的一種抽象方法。通過虛擬化，可以簡化基礎設施、系統和軟件等計算機資源的表示、訪問和管理，并為這些資源提供標準的接口來接受輸入和提供輸出[2]。通過虛擬化技術，可以實現在一臺服務器上運行多個虛擬機，從而提供服務器的效率。由于絕大部分PC產品均屬于X86架構，所以本文論述的虛擬化技術主要指X86架構的虛擬化技術。當前X86虛擬化技術的主流產品是VMware的VMware vSphere。
vSphere主要用于服務器的虛擬化，即在一臺物理服務器上運行多臺虛擬機，以次達到服務器整合和優化的目的。vSphere的核心是ESX架構，它可分為兩部分：Service Console和VMKernel。其中前者提供管理服務，后者提供虛擬化能力。
隨著虛擬化技術在云計算中發展中的作用越來越重要，對虛擬化技術的研究也成為熱點。對虛擬資源的管理便是熱點之一，[13]提出將VM模型集成到資源管理框架里，利用兩極調度將VM的管理集成至批調度器里，以次為用戶提供調度服務。
當前如Amazon EC2等云計算產品大多是以虛擬機的形式為用戶提供計算能力，但對于虛擬機的具體配置，需要用戶手動完成，因此虛擬化技術在自適應方面還需要進一步研究。
3.4.2 分布式存儲系統
隨著IT業的發展，網上交易、網上檢索等系統所要處理的數據量越來越大。如何利用最低的資源成本創造最高的運行效率成為各大運營商考慮的首要問題。因此研發人員開發完成了一系列分布式存儲系統，為云計算提供了強有力的后盾。
分布式存儲系統研發目的是為云基礎架構提供高效、海量的數據存儲能力。各大運營商在搭建自己的云基礎架構前都會開發自己的分布式存儲系統如Google的GFS分布式文件系統。Google的GFS（Google File System）[14]是Google研發完成的作用于底層的分布式文件系統。GFS的作用是為大規模分布式應用系統提供強大的數據存儲服務。GFS的核心設計思路是將系統故障當作一種常態來處理，實現這一思路的技術主要是提供多個副本進行操作。在接口方面GFS除提供基本的Creat、Delete、Open、Close、Read、Write外還提供Snapshot和記錄追加兩項操作。Snapshot以最低的開銷創建一個文件或目錄副本，記錄追加則保證多客戶同時對文件進行數據追加時的原子性和正確性。
GFS含有一個主控服務器（Master）和多個塊服務器（Chunk Server）。一份文件由設備經接口，會被分為有限個數據塊（每個數據塊64MB）。此外，每個數據塊都會產生一個元數據（
當前分布式存儲系統已成為云基礎架構重要組成之一。在學術界，對分布式存儲系統的研究逐漸成為熱點。[11]提出并實現了一種對等結構分布式存儲系統NDSS，該系統取消了類似GFS中主控服務器的中心節點，而是利用分布式共享內存（DSM，Distributed Shared Memory）實現了數據一致性模塊，利用分布式共享位圖（DSB，Distributed Shared Bitmap）限制了多個節點對信息的同時訪問，解決了同步訪問控制問題。以此在對等節點中完成了中心節點的主要功能。從測試結果看，NDSS系統的整體性能優于有中心節點的YNS系統[10]。
目前，云基礎架構中著名的分布式存儲系統還有Google的Bigtable分布式存儲系統和Amazon的Dynamo分布式數據存儲中心[11]等。它們雖然為云基礎架構提供了強大的動力，但仍有改進之處。
3.4.3 并行編程模型
并行編程模型是云計算中的一個重要概念。它是指系統為高效并行處理海量數據而設定的一組數據處理規則。研發人員為了解決輸入數據的并行計算、分發數據等問題提出了并行編程模型的概念。
MapReduce是Google公司開發的一種新的抽象模型，也是當前起主導作用的編程模型。它的設計思路來源于函數式編程語言的映射和簡化操作[1]。MapReduce的核心思想是將數據邏輯列表通過Map函數處理成為鍵值對集（），經過排序將具有相同Key值的鍵值對放在一起后通過Reduce函數將具有相同Key值的鍵值對的Value值進行合并。
當前對并行編程模型的研究大多以在MapReduce的基礎上提出改進方案為主。在文獻[15]中。Zaharia等人根據MapReduce建立在系統同構的假設基礎上，提出了LATE（Longest Approximate Time to End）調度算法。通過新型調度算法的改進使得MapReduce在異構環境下運行。
雖然現行并行編程模型為云計算提供了強大的技術支持，在某些具體情況的適用性上還需進一步的完善。
4.結論與展望
當前對云基礎架構的研究主要集中在業界IT運營商，在學術界對云計算基礎架構的研究主要集中在單個技術性能的改進與提高上，明確提出云計算基礎架構概念，并進行整體性理論分析研究相對較少。本文通過分析研究現有云計算基礎架構實例及相關文獻資料，提出了云計算基礎架構定義，指出：云計算基礎架構是指由硬件資源（PC服務器、磁盤陣列、路由器、交換機及相關配套設備）組成，通過虛擬化技術、分布式并行技術整合形成的用以直接對外提供存儲、計算服務或作為基礎設施為上層云計算應用提供存儲、計算能力支撐的一種高效、可靠并且具有良好擴展性的底層分布式系統。根據云計算基礎架構定義，預計在今后的一段時間內，對云計算基礎架構的研究會朝著以下幾個方面進行：
1）更加高效的數據交互體驗。云計算基礎架構為上層應用提供存儲與計算能力，在此過程中必然會存在基于請求的數據交互過程。而數據交互的速度會直接影響用戶對云計算應用的操作體驗。所以對高效的數據交互地研究會成為未來云計算基礎架構的研究重點。
2）更穩定的系統運行過程。云計算基礎架構位于云計算系統的底層，其運行的穩定與否直接關系到整個云計算系統的運作。盡管當前已有多種技術手段（資源監控技術、同步復制技術，心跳檢測技術等）來確保云計算基礎架構的穩定性。但是這些技術手段任然存在自身消耗資源過大、檢測周期與負載變化不適應等問題。而這些問題也會在今后的云計算基礎架構的研究中得到解決。所以系統的穩定性也將是云計算基礎架構研究的重點之一。
3）更靈活的系統擴展。隨著數據量的增加，云計算基礎架構不得不面臨系統擴展的問題。而實時變化的數據交互量，使得云計算基礎架構在擴展的同時更加注重擴展的靈活性。系統的擴展意味著資源的擴充，而系統擴展后的資源合理分配是體現靈活系統擴展的重要部分。當前盡管各類云基礎架構都在努力統一和規范各自系統擴展接口并改進資源分配方式，但資源分配是否能夠與負載變化同步依然是問題的實質和仍未解決的問題。而這也是云計算發展的基本出發點和立足點。所以，靈活的系統擴展能力是云計算基礎架構未來的重要研究方向。
綜上所述，云計算基礎架構是一個具有現實意義并充滿挑戰的新興領域，它的發展將對云計算發展產生巨大的推進作用，而云計算基礎架構也會在未來的發展中扮演越來越重要的角色。
參考文獻
[1]陸嘉恒等.分布式系統與云計算[M].北京：清華大學出版社，2011.5.
[2]吳朱華.云計算核心技術剖析[M].北京：人民郵電出版社，2011.5.
[3]劉鵬.云計算[M].北京：電子工業出版社，2011.7.
[4]Tim Mather，Subra Kumaraswamy，Shahed Latif著.云計算安全與隱私[M].北京：機械工業出版社，2011.5.
[5]朱近之.智慧的云計算[M].北京：電子工業出版社， 2011.4.
[6]VMware and Cloud Computing：An Evolutionary Approach to an IT Revolution.
[7]A.Lenk，M.Klems，J.Nimis，S.Tai.What is Inside the Cloud？An Architectural Map of the Cloud Landscape.http：///portal/web/csdl/doi/10.1109/CLOUD.2009.5071519.
[8]房晶，吳昊，白松林.云計算安全研究綜述[J].電信科學，2011，27（4）：37—42.
[9]陳丹偉，黃秀麗，任勛益.云計算及安全分析[A].計算機技術與發展，2010，20（2）：99—102.
[10]張建勛，古志民，鄧超.云計算研究進展綜述[A].計算機應用研究，2010，27（2）：429—433.
[11]吳英，謝廣軍，劉景.對等結構的分布式存儲系統設計與研究[A].計算機工程與應用，2006，42（4）：135—139.
[12]王剛，劉曉光，劉景.網絡軟RAID的設計與實現[J].計算機研究與發展，2000，37（增刊）：81—83.
[13]FREEMANT T，KEAHEY K.Flying low：simple lease with workspace pilot [C].//Proc of the 14th International Conference on Parallel Processing.
[14]GHEMAWAT S，GOBIOFF H，LEUNG S.The Google file system[C].//The Proceedings of the 19th Symposium on Operating Systems Principles，Lake Georage，New York，2003.
