時間：2023-05-17 16:11:14
序論：在您撰寫大數據開發的過程時，參考他人的優秀作品可以開闊視野，小編為您整理的7篇范文，希望這些建議能夠激發您的創作熱情，引導您走向新的創作高度。
信息技術作為時代不斷發展的象征，不管是在我國行業的發展中，還是在人們的日常生活，都起到了重要作用。同時，在信息技術不斷發展的過程中，大數據時代的應用范圍也在不斷的擴大，其來源渠道也非常多，數量也在不斷增加。在這種情況下，大數據時代的大數據信息管理就顯的尤為重要。由于大數據的數量不斷增加，現有的管理形式已經無法滿足大數據時代的發展，并且在利用計算機對大數據進行全面分析和處理的過程中，也受到了嚴重的影響，因此，要想有效的對大數據進行充分利用，就要對大數據管理形式給予高度重視，采取有效的措施，不斷加強大數據的管理形式，最終實現有效、便捷、安全等管理性能，這也為對我國信息技術提供了重要的發展方向。
1 大數據時代的大數據管理發展歷程
近幾年，在大數據管理不斷發展的過程中，也取得了一定的成績。但是，大數據管理也經歷了一個漫長的過程，主要經歷的人工、文件、數據庫等管理階段。同時，隨著大數據時代的大數據不斷增加，所管理的范圍和環境也在不斷的變化。并且，在大數據管理不斷發展的過程中，一些管理問題逐漸的暴露出來，為大數據管理的發展帶來了新的挑戰和機遇，下面就大數據管理的發展歷程，管理中存在的不足進行簡要的分析和闡述。
1.1 大數據時代的大數據人工管理形式
在20世紀50年代，計算機技術的形成主要是針對科學計算等形式。同時，根據當時的發展技術來說，并沒有磁盤、U盤等一些先進設備，將其計算的結果進行去全面的保存和整理，僅僅只是依靠紙帶、卡片等形式，對大數據的進行有效的記錄。大數據時代的大數據管理的人員管理形式，不僅僅對大數據的記錄存在著一定程度上的誤差，并且在保存的過程中，也會經常發生丟失的現象，對大數據時代的大數據管理形式的發展，是沒有任何的幫助。但是，依照當時的技術水平來看，也只能的依靠人工管理的形式了。
1.2 大數據時代的大數據的文件管理形式
在大數據時代的大數據管理的人員管理形式，不斷發展和改革的過程中，計算機的軟件和硬件都得到了有效的提高，磁盤、磁鼓等儲存軟件，得到了全面的普及和發展。同時，在在不斷發展的過程中，計算機將大數據的組成形式，叫做大數據文件，并且在大數據文件上就可以直接的取名字，直接的進行查看，這對大數據的管理，無疑不是一個新的發展的起點。在大數據時代的大數據文件管理的過程中，由于大數據長期的保存在外面的，這樣在對的大數據處理、分析、查找、刪除、修改等操作的過程中，提供了極大程度上的便利，其對其操作的程序，也具有特點的要求。但是，在文件管理的過程中，由于共享性能較大，數據與數據之間缺乏一定的獨立性，對其管理和維護的費用和時間較大，這樣往往工作效率提高，不能被廣泛的使用。
1.3 大數據時代的大數據庫管理形式
數據庫管理形式是大數據管理不斷發展的重要成果，也是到目前為止最后的一個階段。在計算機技術不斷發展的過程中，計算機內部的容量得到了很大程度的提高，并且大數據的管理和維護成本也相應的有所下降。同時，在大數據管理形式不斷發展的過程中，對其系統管理內存不足等現象，進行了全面的提高，有效的實現了資源共享，也在最大程度上保證了大數據的安全、穩定等性能。另外，在大數據時代的大數據庫管理的過程中，不在近幾年只是固定在某一個計算技術應用體系，而是面向整個管理體系，以此在最大程度上提高了大數據共享的性能，使大數據與大數據形成一個獨立的個體，對其大數據進行了全面、有效的、統一的管理，為我國信息技術的發展提供了重要方向。
2 大數據時代的大數據管理策略
2.1 對大數據時代的大數據管理框架進行創新
在大數據時代的大數據管理形式不斷發展過程中，給企業發展帶來沖擊非常巨大。因此，企業要根據我國信息技術不斷發展的形式，對大數據管理框架進行全面的設計和創新，如圖1所示。在大數據的處理的過程中，主要是圍繞著數據資產進行管理的，同時對大數據時代的大數據管理制度，進行全面的規劃行、設計、創新，這樣對其它信息技術管理領域，提供了便利的條件。其實，大數據時代的大數據管理最主要的目的，就是將大數據的價值進行充分的展現。另外，在大數據時代的大數據管理框架不斷創新的過程中，有效的實現了大數據共享等性能，不斷擴大了大數據時代的大數據管理的內容，對我國現代化信息技術的發展，起到了重要的作用和意義。
2.2 開發與內容的管理形式
在不斷提高大數據時代的大數據管理形式的過程中，可以從兩個方面進行，一是大數據開發管理，二是內容管理。其中大數據開發管理注重于大數據管理的定義，和管理解決策略，對其大數據的存在價值，進行有效的開發。換句話說，其實也就是在大數據時代的大數據管理的過程中，對其管理形式的開發，對大數據的功能和價值，進行充分的理解。
大數據時代的大數據管理中的內容管理是指：企業對大數據進行不斷的獲取、使用、存儲、維護等工作活動。因此，傳統的大數據時代的大數據管理形式，已經無法滿足對這個時展需求。因此，在時代快速發發展的推動下，要對開發管理和內容管理，進行全面的創新和設計，對需要專門設定的管理形式，要給予高度的重視，可以利用的集合型的保存形式，進行全面的保存。
其實，大數據時代的大數據管理主要是為企業提供重要的發展方向，為企業提供重要的價值信息。大數據時代的大數據管理在數據應用和開發的過程中，起到了重要的銜接作用，也為我國信息技術的發展，打下了堅實的基礎。
2.3 對大數據架構進行全面的管理
在大數據時代的大數據管理的過程中，數據框架管理起到了重要的作用，并且與大數據開發的過程中，有很多相似的地方。在傳統的大數據時代的大數據管理的過程中，對其數據的開發、處理、保存等形式，都受到了一定程度上的限制。因此，在對大數據時代的大數據架構管理的過程中，對其操作形式，進行了全面的管理創新，避免受到范圍的限制。另外，隨著大數據不斷的增加，大數據構架管理可以根據大數據的用途，質量良好的應用形態。例如：社交網絡等形式。
與此同時，在最近幾年的發展中，大數據時代的大數據管理形式，也面臨著新的挑戰基機遇。以此，只有對大數據時代的大數據管理形式，對個人信息、隱私等進行全面的管理，避免個人信息、隱私等發生泄露、不對稱等現象的發生，這樣不僅僅企業在發展的過程中，提供了最大程度上的安全保障，也為大數據時代的發展，帶來了新的發展篇章。
3 結語
綜上所述，大數據時代是信息技術時代不斷發展的產物，不管對我國經濟的發展，還是人們在日常工作、生活的過程中，都起到了重要的作用和意義。因此，本文對大數據時代的大數據管理發展的歷程進行了簡要的分析，并對大數據時代的大數據管理形式，提出了一些可參考性的建議，只有對大數據時代的大數據管理形式，進行不斷的創新，對大數據時代的大數據管理框架，進行不斷的構建，也只有這樣的才能在最大程度上促進了我國信息技術的發展，也為我國各行各業的發展，提供了重要的發展方向，對我國經濟的發展，也起到了推動性的作用。
關鍵詞：大數據；軟件工程；群體軟件；關鍵技術
一、大數據時代軟件服務工程與群體軟件工程
所謂軟件服務工程，就是將服務作為主要目標，在應用時需要根據變化不斷通過虛擬的手段與分布式手段進行應用，而這種應用方法不僅能夠使得軟件更加虛擬化，同時也能強化其操作性，與此同時，更能有效解決動態變化與分布變化情況[1]。軟件工程在發展過程中能夠在大數據領域、云計算中得到更加廣泛應用。在網絡化、服務化等大環境影響下，軟件工程可以得到更好的開放空間。工程師利用數據信息交互、學術交流等多種方式開展合作，對軟件進行開發，建設更加具有性價比的軟件系統。在軟件開發中，目前十分成功的就是開源軟件，開源軟件的合作模式與結構都是當前學術界最看重的，然而當前常規研究方式卻未能實現較大突破。很多學者開始嘗試利用網絡分析方法對數據進行有效分析，在一些規模較大的開發項目的開發人員中，外圍開發者占據絕對優勢，并且模塊化特征更加明顯。和群體軟件工程相比，開源軟件有較弱的發展態勢，而群體軟件工程主要是倡導利用眾包形式進行開發。
二、大數據時代眾包軟件服務工程
（一）創新發展態勢
眾包軟件服務工程作為國際各國都密切重視的一種流式數據處理與集密數據處理方式，特別是在服務中對產生的各項數據尤為重視，如何才能將這些密集型數據的存儲設施、平臺、價值分析等作為服務對象，是當前大數據軟件工程在研究過程中的難點與重點部分。從最開始的服務消費，到后來的眾包服務開方，隨后再到軟件平臺管理，運營方都由在線流式數據和離線密集型數據組成。當前開發者版本級別達到GB級別，眾多用戶數據能夠達到PB級別，在線溝通數據更是能達到TB級別，利用直接推送功能可以左右軟件服務時間，對軟件產生關鍵性作用與影響[2]。
（二）軟件生產開發、運營與管理
密集型數據，因為他們本身固有的動態分布形式、動態交互、復雜演化、動態分配、價值隱藏等，都能夠體現大數據的最原始行駛情況。從本質角度來看，這些數據僅僅是用于描述內容模量，但是沒有具體含義，并且缺乏語義化作用。想要對其進行創新，必須打破原有的研究方法與思維，將密集數據作為主要材質課題，并且將其看作是研究的主體，在主體領域，大數據所在流域與主體專家需要制造，傳播大量的數據。他們不僅是大數據的群體用戶，還是最主要的消費者，同時也擔任著運營和管理的作用，能夠將群體智慧匯到一起，逐漸形成系統化的領域和主體知識。將這些知識作為核心與基礎，對研究密集型數據相對應的信息學過程與生命周期進行研究，并且及時推送相應的服務期限，研究數據內容的相關語義和標志，最終賦予其相應的矢量。組織主體部分構建價值服務機制與知識體系，在研究和互通過程中，利用操作式管理方式將關鍵技術應用在密集型數據上，這些都能展示出眾包軟件工程發展內容。
三、大數據背景下關于信息處理技術發展情況
與傳統數據形式相對比可知，在大數據時代下能夠實現各項數據相互聯系，并且這些相互關聯的結構，能夠利用當前所有的框架，對數據進行及時且有效的處理。將硬件作為基礎，通過該基礎搭建的網絡存在相應局限性，并且制約了網絡的性能和發展，因此需不斷探索與創新網絡架構技術，以此實現大數據技術的提高。在日后發展過程中，計算機網絡必須為其提供開放式的結構與傳輸功能，將計算機網絡信息處理與軟件基礎、硬件基礎分開使用，隨后對網絡架構進行定義。相關網絡軟件使得我國網絡技術朝著更高水平發展，隨著大數據時代的不斷深入，計算機能夠實現網絡、硬件、軟件融為一體，并且產生出新的網絡結構，能夠為大數據時展提供重要理論與實踐意義。這種形式不僅能夠突破傳統計算機在處理信息時因為網絡所帶來的限制，同時也能使計算機處理技術開發與應用形式打破單一情況，逐漸朝著多元化方向不斷發展。
四、結語
綜上所述，隨著我國大數據時代的到來，社會各領域都將受到大數據思想和創新技術的影響。大數據對人們的生活方式產生深刻影響，因此將大數據作為當前一種最新興的網絡技術。
參考文獻：
關鍵詞：大數據；軟件工程；軟件服務工程；第四范式
自上個世紀90年代初，信息高速公路在美國提出以來，歷經近30年的發展演進，信息技術發展突飛猛進，信息化領域的新技術、新詞語層出不窮，諸如IT技術、互聯網技術、大數據技術、區塊鏈技術、人工智能等。并且對人們的生產、生活方式產生了深刻的影響，認為現在進入了大數據時代、萬物互聯時代、智能化時代等。筆者認為，一直以來，其中除了硬件的發展，還有兩個關鍵因素同樣值得關注，一是數據，其是基礎和目的；二是軟件，其是方法和工具。唯如此，才能實現在軟件生命周期即設計、開發、運行、優化，實現與大數據生命周期即獲取、清洗、集成、分析、呈現等的互動。[1]換言之，現在來說，就是大數據和軟件工程，二者助推了信息技術的發展，同時也是信息化的產物，在大數據時代背景下，研究軟件工程技術的應用，對于經濟社會的發展有著十分重要的意義。
1大數據和軟件工程簡述
1.1大數據簡述
沃爾瑪的“啤酒與尿布”是眾所周知的大數據經典案例，大數據已經是當今信息社會炙手可熱、耳熟能詳的詞匯，而且已形成共識，即人類已經進入大數據時代。上個世紀80年代初，《第三次浪潮》一書風行全世界。該書作者美國社會思想家阿爾文托夫勒就在文中將人類社會發展劃分為三次浪潮，即以“農業文明”為主導的第一次浪潮，以“工業文明”為主導的第二次浪潮，以“信息化”為主導第三次浪潮。[2]其中首次提出了“大數據”（BigData）一詞，并且，以“第三次浪潮的華彩樂章”這樣的用詞對其進行熱情的謳歌。[3]全球著名咨詢公司麥肯錫于2011年5月了《大數據：創新、競爭和生產力的下一個前沿》報告，公認此報告宣告了大數據時代的到來。由于大數據概念的提出源于不斷的發展實踐，其本身并沒有嚴格、權威的定義。通常認為，大數據的大即大數據集的規模一般應達到10TB左右，現在已經達到了PB級的數據量。維基百科稱“大數據”是這樣一個術語，即其是用以描述用傳統的數據處理應用軟件無法完好處理的龐大的或者復雜的數據集。但“大數據”這一概念并不僅僅指數據規模的龐大，還包括對這些數據對象的處理以及應用活動。IBM提出大數據通常具有“5V”特征：Volume（數據體量大）、Variety（數據類別多樣）、Velocity（處理速度快）、Veracity（數據真實性高）、Volume（數據價值高）。[4]大數據技術分類并分平行關系，而是呈縱向、層級狀結構，詳見圖1所示。
1.2軟件工程簡述
軟件工程本身并沒有嚴格、權威的定義。并且，也是直到20世紀60年代初才出現了“軟件”一詞，于此之前，更多的是程序的概念，后來人們認識到與程序相關的文檔也有著相當重要的作用，才有了“軟件”一詞的出現。軟件發展至今天，已經遠遠不是程序個體或者程序員合作的方式能夠完成的，即使能夠完成，也會是效率低下、程序運行可靠性差，或者說根本就無法完成。于是，在1968年召開的大西洋公約學術會議上提出了軟件工程的概念,簡單理解，就是以工程的方法來進行軟件系統設計、開發、運行、維護、優化等技術的總和，進一步言之，就是用“計算機科學、數學管理科學等原理，以工程化方法制作軟件的工程”，屬于一門交叉學科。[5]通常認為其包含有四個要素：（1）軟件工程目標；（2）軟件工程范型；（3）軟件工程過程；（4）軟件工程原則。
2大數據與軟件工程的結合方式
宏觀上講，軟件工程是比大數據更為寬泛的概念，大數據的技術與應用被軟件工程所涵攝。如圖1所示意，雖然大數據的各項技術與應用屬于垂直領域，而軟件工程牽涉的是橫向領域，更加關注軟件產品及軟件系統工程上的實現及其管理。但是，大數據無論是其產品還是其系統的完成與落地，都離不開軟件工程方法論的支持。換言之，軟件工程的方法與技術貫穿于大數據的開發與應用，大數據也只是在軟件工程發展過程中出現的概念。軟件工程開發具有綜合性，其應用滲透于各個學科和領域，大數據的技術與應用當然是軟件工程所關注和研究的對象，或者說大數據技術的每一環節都離不開軟件工程的支持。大數據應用的基礎是要依賴數據鏈條的完整性，采用相應的算法于海量的數據中進行規律分析，算法要依據相應的實際環境進行相應的升級，遵循開發的基本原理，充分調整數據分布，從而在研究過程中將大數據技術與軟件工程方法結合起來。并在開放的環境中通過網絡與通信技術實現數據的共享，在此過程中，軟件技術和水平亦能得到進一步的提高。在二者相互作用滲透的過程，軟件效率得到提高，軟件效益得以提升，從而實現客戶需求的最大化。在軟件開發過程中，還需要有必備的硬件和軟件的支撐，來支持相應的數據流，隨著數據流的增長，對于硬件和軟件就會有更高的要求。工程技術人員在對數據流進行分析研究的同時，專家學者還會對在線服務進行研究。但是，數據流是重點，包括對數據流的使用方法的研究，對支撐數據流的軟件和硬件的研究。另外，從軟件工程開發角度看，無論是在服務端還是在用戶端，軟件的運行當然會產生大量的數據流，都將產生大量的數據信息，這些數據流對于軟硬件的使用壽命有著決定性的影響。因此，在軟件工程的開發中，對于海量數據產生的環境下，更有必要做好數據流的管理，要高度重視數據流的分析研究，并且對于原始數據進行深入的研究也應該引起重視，以期延長軟件的使用周期。[6]
3大數據時代的軟件服務工程
軟件服務工程即所謂的面向服務的軟件工程，強調的是其相對于傳統軟件工程的擴展。近些年來得到了很快的發展，已經成為當今時代的主流社會需求之一，服務功能已經是軟件開發的基本原則。另一方面，也可以將其直觀理解為“軟件（Software）+服務（Service）+工程（Engineering）”三個方面的交叉融合，或者軟件工程與服務工程兩者的融合等。其內涵可以理解為研究面向服務的軟件工程原則、軟件工程方法以及軟件工程技術，同時利用相應的軟件服務設施和平臺，開發較高水平的軟件服務系統。[7]軟件開發者根據需求變化，在社會實際實用中，以面向服務作為主要建設目標。在開發的初期就要首先搭建好軟件的框架，充分利用編程語言、構思好編程思路，確保開發軟件能夠提供可靠的服務應用，保障軟件運行時的穩定與可靠。在實際的服務過程中，要求開發者運用分布式應用程序，以虛擬操作的方式提供用戶相應的服務。在應用中，融合大數據技術，能夠實現對數據進行編程，達到軟件互操作的效果，并提高對數據的主動協調。軟件工程開發工程師可以對數據信息共享，實現各種學習交流，對軟件進行協同開發，并結合用戶的反饋，對軟件系統進行優化處理，提高軟件的性價比。近年來，開源軟件是較為成功的軟件習作模式，但是，其采用常規的研究方法，應用價值還不是很高。與開源軟件相比，群體軟件工程屬于一種分布式軟件開發模型，能夠依靠網絡進行任務分配，并能實現創造性的查詢，通過眾包形式的開發，解決開發過程中的難題。并且，在整個開發過程中，眾包開發可以貫穿其全過程。所謂眾包，一如其字面含義，是一種分布式的生產開發模式和問題解決方案。通過該種方式，開源軟件和商業軟件均可通過網絡進行任務和責任分配。[8]隨著我國計算機科學技術的不斷發展進步，軟件工程技術也取得了長足發展，軟件服務工程也支持得到拓展和延伸。在大數據時代背景下，我們應當加快大數據技術和軟件工程技術的融合與創新，提升對海量網絡數據進行編程處理的能力，提高軟件的安全和效能，增強其穩定性和可操作性，進一步整合軟件工程系統的集成度。
4數據密集型科研第四范式
圖靈獎獲得者、關系數據庫研究專家詹姆士格雷(JamesGray)曾經從科學哲學的層面將人類科學研究模式總結劃分為最初的實驗科學階段，之后的理論科學階段，到通過模擬的方法進行的計算科學三個階段，相對應地稱之為科學研究的第一范式、第二范式、第三范式。但是伴隨著模擬連同實驗所產生的海量的數據，需要由軟件處理這些由各種儀器或者模擬實驗產生的海量數據，并將處理得到的信息和知識存儲于計算機中。之后，科研人員只需要對這些存儲于計算機中的少量數據進行分析研究，不再是直接通過儀器或者模擬進行研究。因而基于數據密集型科學研究獨特的技術以及其顯著的不同于以往研究的特點，詹姆士格雷在2007于其科研報告中提出了將這種數據密集型的科學研究模式從計算機科學類型中單獨區分出來的思想，隨之產生了一種被稱之為第四范式的新的科研模式。該報告整理后題名“吉姆格雷論e-Science:一種科研模式的變革”，成為微軟于2009的年首次全面對數據密集型數據進行描述的論文集《e-Science：科學研究的第四種范式》的開篇文章。[9]當前，相當多的計算機領域的專家學者對數據密集型科研第四范式予以了關注，并進行了相應的研究，探索出了相應的方式方法，第四范式的研究被認為是大數據時代背景下軟件工程技術研發的關鍵。信息化的發展與滲透，導致一切的事物都在隨之發生著變化。包括實驗、理論分析和計算科學均在數據泛濫的影響下與之前大不相同，軟件工程技術既要適應科研第四范式，又在其中扮演著更加重要的作用。傳統范式下的目的與探索之間不能夠很好地銜接，數據信息的應用效率難以保障，難以滿足項目管理目標的實現。數據密集型科研第四范式下的技術以及理論相關內容，與大數據技術特別是其中的存儲技術有著緊密的關聯性，其待探索的空間和應用價值相當廣闊，其數據信息研發急需相應的理論支撐，該范式下的軟件工程技術應用模塊，亦能夠對其他范式下的數據信息進行分析，對于更好地實現數據的存儲與處理，提升處理效率，有著重要的研究價值。在第四范式模式下，對集成密集型數據的軟件服務價值進行評估是首要的，需要摒棄以往的數據統計方法，構建新的針對大數據進行信息統計和分析的方法，這對軟件工程技術的發展起著重要的作用。在軟件工程技術的研究中，應當更新傳統理念，重視其對大數據的處理和分析能力，使軟件產業呈現全新的面貌，從而亦能促進其對大數據的數據分析能力。在第四范式的基礎上，亦能夠更好地支持第三范式，甚至于第一范式。該范式研究在我國軟件工程開發中還處于初級階段，軟件工程開發人員需在強化已有數據模型研究基礎上，加速由第三范式向第四范式的轉變，盡快實現其應用層面的服務價值。
1大數據技術和軟件工程技術
大數據技術事實上是將人類日常生活中產生的各種數字信息，將這些信息收集起來之后分類處理，設定不同類別的存儲空間，按照類別存儲。大數據技術從功能的角度出發可以劃分為多個類別，諸如分析技術、機器學習技術、遺傳算法技術、自然語音處理技術等。應用大數據技術分析，就是基于當前的科學技術發展起來的一種分析技術。它主要依靠現代科技手段發揮技術的作用，特別網絡技術發揮著基礎性的作用。整理基礎數據，對數據信息進行分類整理，應用相應的計算機算法，將相似特性的數據劃分為一類，最終得到大量的數據，應用大數據技術對這些數據進行分析。大數據分析應用于互聯網行業中，所發揮的優勢是有目共睹的，而且還不斷地引入新技術，在軟件工程技術中應用，對該技術的發展起到了促進作用[1]。
大數據時代，社會各個領域都已經實現了信息化發展，人們對軟件工程的概念越來越熟悉。事實上，軟件工程的歷史始于20世紀的中期，其研究重點是軟件技術和工程管理。將相關工程內容引入其中，使得工程系統化運行，其中所涵蓋的研究內容包括軟件的生命周期、軟件工程設計、軟件的技術維護等方面。因此，在軟件設計的過程中，要控制好技術開發成本，保證工程質量，使其生命周期不斷延長，不同項目的技術需求和用戶的各種技術需求都能夠得到滿足。
2大數據背景下的軟件工程基礎
處于大數據時代環境中，軟件工程的發展中關乎到不同的領域，需要高度重視。大數據技術具有專業性的特點，還具有很強的實用性價值。在軟件工程技術的研究中，要從應用需求出發不斷創新軟件技術，對于傳統的技術要不斷摒棄，對軟件工程的發展創造良好的客觀條件。大數據技術環境下，軟件工程基礎是基于互聯網技術建立起來的，對各種數據信息系統化管理，根據需要進行處理，對工業的發展非常有利[2]。在軟件工程技術中，大數據的安全性問題是需要高度重視的，否則，就會對軟件工程技術造成不良影響，引起嚴重的后果。
2．1軟件服務工程
在軟件工程的研究范疇中，軟件服務工程的數量不斷增多。軟件工程服務化方向發展，就是發揮服務的作用，使其成為軟件開發的基本原則，按照服務項目內容為用戶展開服務。由于軟件工程發展的主題有所，服務內容也要做出相應的調整，同城是對軟件工程的進行技術維護。在具體的服務工作中，需要軟件開發人員使用分布式應用程序，在管理工作中采用虛擬操作的方法為用戶2019.08提供服務[3]。軟件工程技術應用中，結合使用大數據技術，可以對網絡數據進行編程，使得軟件具有互操作性，對于數據主動協調，使其符合動態場景的變化節奏，軟件系統的集成度有所提高。
2．2軟件開源
軟件開源更為注重用戶對軟件技術的體驗。在對軟件開源進行研究的過程中，采用常規的方法，雖然獲得一定的成果，但是應用價值不是很高。一些研究人員在研究軟件工程技術的時候，就是將軟件開源作為突破口，將開發項目劃分為多個模塊，將每個模塊分給指定的研究人員進行開發。
2．3群體軟件工程
群體軟件工程是通過網絡的方式進行軟件開發，具體的實施中采用工程眾包的形式，使得軟件開發技術發揮作用。群體軟件工程是一個分布式軟件開發模型，這個工程項目的運行中，可以通過網絡實現，對各項任務進行分配，也可以進行創造性的查詢，通過眾包解決軟件開發過程中遇到的一些困難和重要問題。同時，在軟件工程開發過程中，軟件工程可以在任何階段通過眾包進行開發[4]。
3大數據與軟件工程技術的未來發展方向
3．1大數據與軟件工程技術開放式的發展
大數據技術的主要前提是大量的數據流，需要技術不斷地升級和創新，尋求開發的研究途徑是非常必要的。計算機網絡的發展意味著計算機可以在開放的環境中相互通信，共享數據資源，軟件等信息的有效利用能力也會有所提升。通過網絡運行可以增加利潤，使得用戶的各種需求得到滿足，提高資源的利用率。
3．2大數據與軟件工程技術融合到其他領域
軟件工程技術在當今許多科學領域有著廣泛的應用。由于軟件工程技術給予各個領域非常大的幫助，從航空到生活中都發揮著軟件工程技術的作用[5]。應用程序的運行，可以使用數據平臺對信息進行收集并分析。比如，用戶在進行股票交易的過程中應用大數據技術，可以使用軟件工程技術構建數據模型，通過對數據模型的分析，預測股票的變化趨勢。
4眾包軟件服務工程中的大數據技術
在軟件開發過程中，必須有足夠的硬件和軟件基礎來支持數據流，隨著數據流的量逐漸增多，對硬件和軟件就有了新的要求。專家學者在分析數據流的時候，還對在線服務進行了研究。數據流是重點內容，主要是對數據流的使用方法進行研究，對支撐數據流的軟件和硬件進行研究[6]。從軟件工程開發的角度而言，軟件運行中都會產生大量的數據流，包括服務端、用戶端等，都會有很多的數據信息產生，這些數據流對軟件和硬件的使用壽命起到了決定性的作用。軟件工程的開發中，要做好數據流的管理工作。有必要對原始數據進行深入的研究，為提高軟件的使用壽命創造條件，對數據流的分析要高度重視[7]。
5密集型數據科研第四范式
第四種科學研究范式是指根據實際情況建立獨立的科學研究方法，探索第四種范式的理論基礎，以及大型數據存儲設備在發展中的重要性。軟件工程中，采用傳統的大數據研究方法，大數據的有效分析是不可能的，大數據的研究還沒有取得突破性的成果。因此，目前大多數軟件不能在短時間內同時實現數據信息的存儲、數據信息的傳輸和有效識別。在探索第四范式理論和研究方法的過程中，首先需要對集成大數據的軟件服務價值進行估計，拋棄傳統的大數據統計方法，建立新的大數據信息統計方法和分析方法[8]。此外，有必要從多個方面研究大數據的處理，對大數據信息進行管理并深入分析，討論大數據的價值以及存在的可變性，這對軟件工程的發展起著重要的作用。在研究軟件工程技術的時候，必須更新傳統的軟件開發理念，重視軟件處理和分析大數據能力的發展，使得軟件產業呈現出新的發展面貌。
在當今大數據時代，軟件工程技術的研究已經區域復雜。隨著數據的指數的不斷增長，軟件技術對硬件設備數據處理能力產生一定的影響。因此，在對軟件工程技術的研究中，就需要對大數據技術的特點進行研究，基于此研究軟件工程技術，使得硬件設備的數據處理能力有所提高。在研發開發軟件技術的過程中，要從應用領域的需求出發對大數據技術進行分析，在大數據開發理論的基礎上創新軟件開發理論，促進軟件技術更好地發展。
參考文獻
關鍵詞：大數據技術；大數據管理模塊組成技術；技術分析；分支技術探析
自從我國各領域對大數據技術產生應用需求之后，已有多個企業并計算機技術開發應用領域人員開始對多個情境下的大數據技術的需求、應用以及發展做出了應有的貢獻。在大數據技術日趨成熟之際，人們對大數據的認知成熟度需要得到普遍提升，而計算機技術領域的專業人員也需要站在專業角度，對大數據技術的構成進行深入了解。這不僅對大數據技術的普及應用和持續發展有益，更對各領域的個人發展、順應時代潮流以及個人的專業素養提升有極大幫助意義。本文中筆者結合自身對于大數據相關技術的正確認知，對大數據技術發展認識基礎上的分支技術體系展開深入討論。
1基于分布式大數據管理模塊構成的技術探究
我們在深入挖掘大數據技術對其進行了解之前，首先要了解它主要需要解決什么問題，以及能夠解決什么問題。一方面，在大數據技術出現之前，IT行業各類技術發展速度不是很快，系統化應用過程中的各類軟件框架體系也足夠完善，普通的單個服務器為基礎平臺的數據庫之計算能力，也足夠支撐各類系統計算業務。但隨著各行業數據越來越多，單機計算能力上限已經被多個行業的計算軟件“觸頂”。在這種情況下，大數據管理模塊技術開始被人們所關注，下面分析支持它進行計算的細分技術。首先，在大量數據儲存方面，HDFS的分布式儲存可以解決數據儲存的困難。它可以讓多個主機對同一任務進行同時計算。那么，它的實現需要周邊便衍生了許多與管理和緩存有關的技術。包括：“yarn”技術可以在程序開發中幫助人解決資源難資源調節難題；“flume”可以幫助解決傳輸數據的問題；“sqoop”可以轉換分布式儲存數據與傳統數據庫之間的數據；“oozie”可以幫助業務程序資源調節計算任務；“kafka”則提供了訂閱機制的消息隊列；“zookeeper”可以有效地幫助用戶快速完成對主備服務的選擇；“hive”在HDFS的基礎上提供了數倉的功能?！癶base”基“hdf”來實現一個列式數據庫。然后從數據處理過程來看，對于數據庫計算技術方面的大數據相關技術應用，是在普通數據庫技術存在和被應用基礎上對計算業務進行邏輯處理的過程。對于單一的業務處理，可以通過編寫健壯的代碼進行定時的任務進行相應數據的結算。若業務冗雜，需要定時獲取多種數據采集分析，則通過代碼實現各個JOB維護成本太高。在“Hadoop2.0”完美解決該問題，采用HQL自動生成數據的mapreduce任務基礎上，多個領域的項目實踐過程中，就會出現多個reduce任務就會被批量刪除掉的情況。因此，Hadoop技術正在走在被淘汰的路上。那么，Hadoop現在是一個可以用硬件集群上進行大規模數據處理的優秀工具，但是若開發人員需要處理動態數據集、點對點分析多進程數據，那么Google已經為我們展示了大大優于MapReduce范型的技術選擇。因此毫無疑問，Percolator、Dremel和Pregel將成為大數據技術未來發展的主流技術。
2支撐大數據管理模塊組成的各類技術詳析
為了能夠更好地架構大數據項目，技術人員、項目經理、架構師等大數據管理模塊開發流程中不同角色人員為了選擇合適的技術，必須了解大數據各種技術之間的關系，以便選擇合適的語言，實現相應的功能。那么，筆者在下面對幾點中提到的大數據分支技術進行詳細分析。
2.1HDFS技術
與普通編程語言應用編寫系統相比，HDFS主要改革在數據儲存形式方面，HDFS即Hadoop是以流式的數據查找和提取模式對文件型數據進行規?；瘍Υ?，而且大數據管理模塊應用中的數據通常是占用內存過大的單元數據，HDFS運行于多個主機集群中，屬于是管理網絡中跨多臺及其進行數據儲存的文件系統支撐基礎。我們從HDFS技術應用的過程來分析使用數據塊的益處：在程序運行過程中，HDFS上的文件會被劃成64MB大的多個分塊，每一個數據塊都可以存儲不同的數據。文件型數據塊不需要儲存在同一個磁盤上，因此它們可以利用集群上的任意一個磁盤實現存儲。所以這從根本上大幅提升了大量數據管理的效率。而HDFS技術也可以提高系統中對數據儲存的容錯力。在業務處理方面HDFS的優點更為明顯：HDFS的應用可以做到簡化儲存子系統的設計，將每個服務器的儲存子系統控制單元設置為“塊”，因此可實現簡化儲存管理，用一個單獨的系統就可以管理這些塊的元數據，這就大幅減輕了服務器的數據管理壓力。
2.2yarn技術
Hadoop集群管理員希望能根據不同的業務組或不同的用戶對集群yarn作業的資源進行控制，也就是對yarn的資源池進行劃分，達到資源管控、任務管控的效果。yarn技術管理分配資源細節如下：yarn默許提供了多種資源分配的策略，用于分配的資源可以是節點的數量、內存的大小、CPU核數，它主要將MP1中JobTracker的資源管理和作業資源調節兩個功能分散，分別由ResourceManager和ApplicationMaster進程來實現管理，以負責整個集群的資源管理和資源調度，并負責處理應用程序提出的事件，比如調節任務及數據資源、監視運行任務情況和出錯信息等，具體作用體現在“模塊提交作業”“初始化作業”“分配任務和運行”“更新模塊運行相關數據”等方面。而Flume可以通過運行可靠的服務模塊，用于有效地收集和移動日志數據，使用簡單的可擴展數據模型，被允許收集日志數據，導進到HDFS中并實現在線分析應用程序。因此，HDFS是Hadoop應用程序中主要的分布式儲存系統。
2.3sqoop技術
sqoop解決了分布式寄存數據與普通數據之間的轉換。它屬于可以將Hadoop和關系型數據庫之間實現數據導進導出的工具型技術。它可以通過sqoop把數據從普通數據庫，包括Mysql數據庫和Oracle數據庫中導進到HDFS中，反之亦可。sqoop通過Hadoop的MapReduce導進導出數據庫中的數據，因此它提供了很高的并行優勢以及良好的容錯性。通過sqoop技術的應用，開發大數據管理模塊的人員可以將數據從普通數據庫中導出，并導進到HDFS中。導進到HDFS的數據形式為數據庫表、查詢結果，以及從HDFS中導出的文件形式則是數據庫表或者集合類型的文件。在HDFS導進數據的多個進程可以并發運行，這時的輸出的可以是多個文件輸出結果。這些文件可能是標準的文本文件，也可以是Avro或者SequeenceFiles的記錄文件。總結來說，sqoop是可以在大數據系統運行模塊中將db數據與hadoop之間交換數據，而將其應用于系統開發過程中，則需要開發人員參照較為冗雜的使用文檔。在優點顯著的同時，sqoop也有些許缺點。因為hbase技術顯然采用的是基于HDFS為核心的列式數據庫存儲數據的形式，是多種分布式、可以擴展的大數據儲存方式，它能夠為各種大數據集上隨機和及時的閱讀、寫數據進行訪問功能，并且能夠實現分布式的列型數據儲存，能快速地索引查詢數據。較其他普通的數據庫處理技術而言，hbase對于寫入的時間更為隨意，因此hbase總會有很多超時的現象，這成為了許多開發者在程序開發后的運行測試中的詬病。因此，此項技術目前仍然正在進行持續的優化。最后是接收數據的“Hive”技術應用模塊，acheHive提供完整的HiveQL查詢功能之外，還是一個數據倉庫系統。而zookeeper可以實現類似“主從后臺事件列序”“分配事件”“協調負載”等多種功能。
2.4Oozie的應用特點和優點
Oozie是用于Hadoop平臺開源的技術，用工作流資源調節引擎，用來管理Hadoop作業，它是屬于Web應用程序。因為Oozie的工作流必須在一個有固定流程的無環結構中，所以，使用Oozie時，若前一個任務執行失敗，后一個任務將不會被資源調節。優點是當用戶需要執行多個關聯的MR任務時，只需要將MR執行順序寫入workflow.xml文件，然后使用Oozie提交本次任務，Oozie會托管此任務流。而Oozie對工作流的指定，與JbossjBPM提供的jPDL一樣，提供了類似的流程定義語言hP?DL，它可以利用XML文件格式來定義流程。對于工作流系統，一般會有很多不同功能的節點，比如分支，并發等等。Oozie的控制流節點和動作節點可以讓開發者定義流程的開始與結束，并能夠以及控制流程和定位具體數據地址。
2.5Kafka的特點和應用優點
Kafka可以用于即時構建數據流傳輸程序以及流式數據處理、應用程序。它具有水平可擴展性、容錯性、速度極快的特點。此外，它的運行過程具備三個特點：“消息”“持久化”“流處理”?？蛻舳朔掌魍ㄟ^使用TCP協議進行模塊間的數據交互，具體的數據流的寫入過程則有支持多種語言的特征，此外，它還支持主題和日志功能，一個主題可以有零個、一個或多個用戶寫入數據。對于每個主題，Kafka可以維護一個模塊日志，每一個分區都成為一個有序且不可變的記錄序列，不斷添加到結構化的提交日志中，這使得Kafka技術應用有“用戶在應用程序過程別容易使用”的特點。
3大數據管理模塊技術成熟之上的應用領域
嚴格意義上講，大數據技術是數據分析的前沿技術，那么，從大量、各類的數據中，及時獲取有價值的信息的技術應用，就是大數據技術得到發展的緣由和最終意義，對于大數據技術在實際生產和生活中的應用領域大致分為以下幾個方面：第一，移動互聯網出現后，為了提升移動設備用戶的用體驗，在移動設備的用戶點擊行為數據記錄過程中，應用到了大數據技術。第二，在數據記錄、保存方面，大數據技術在音樂文件保存、視頻資料保存、監控錄像數據保存方面對大數據技術進行了應用。第三，在交通方面，如百度、高德、Google等電子地圖為了人們出現更加便利，在應用大數據技術過程中同樣利用大數據技術挖掘并提取、計算了大量有價值的信息。第四，隨著移動設備的加入，人們的社交行為產生了大量的數據，這為人們生活環境安全性的鞏固促進了大數據技術發展。第五，人們使用搜索引擎搜索數據期間，搜索引擎為向用戶提供更多有價值的信息，應用了大數據技術。
4結束語
綜上所述，對于大數據技術的成熟的認識，要從大數據技術應用過程以及解決問題過程中應用的不同技術展開分析，這不僅能讓我們在當下社會跟上IT行業發展的步伐，更能減輕我們學習、實踐、應用大數據技術過程中的恐懼心理和畏難情緒，助力我們的專業能力步步高升。
參考文獻：
[1]彭宇,龐景月,劉大同,等.大數據:內涵、技術體系與展望[J].電子測量與儀器學報,2015,29(4):469-482.
關鍵詞：大數據：軟件工程技術：數據分析
1大數據技術和軟件工程技術
大數據技術事實上是將人類日常生活中產生的各種數字信息，將這些信息收集起來之后分類處理，設定不同類別的存儲空間，按照類別存儲。大數據技術從功能的角度出發可以劃分為多個類別，諸如分析技術、機器學習技術、遺傳算法技術、自然語音處理技術等。應用大數據技術分析，就是基于當前的科學技術發展起來的一種分析技術。它主要依靠現代科技手段發揮技術的作用，特別網絡技術發揮著基礎性的作用。整理基礎數據，對數據信息進行分類整理，應用相應的計算機算法，將相似特性的數據劃分為一類，最終得到大量的數據，應用大數據技術對這些數據進行分析。大數據分析應用于互聯網行業中，所發揮的優勢是有目共睹的，而且還不斷地引入新技術，在軟件工程技術中應用，對該技術的發展起到了促進作用[1]。大數據時代，社會各個領域都已經實現了信息化發展，人們對軟件工程的概念越來越熟悉。事實上，軟件工程的歷史始于20世紀的中期，其研究重點是軟件技術和工程管理。將相關工程內容引入其中，使得工程系統化運行，其中所涵蓋的研究內容包括軟件的生命周期、軟件工程設計、軟件的技術維護等方面。因此，在軟件設計的過程中，要控制好技術開發成本，保證工程質量，使其生命周期不斷延長，不同項目的技術需求和用戶的各種技術需求都能夠得到滿足。
2大數據背景下的軟件工程基礎
處于大數據時代環境中，軟件工程的發展中關乎到不同的領域，需要高度重視。大數據技術具有專業性的特點，還具有很強的實用性價值。在軟件工程技術的研究中，要從應用需求出發不斷創新軟件技術，對于傳統的技術要不斷摒棄，對軟件工程的發展創造良好的客觀條件。大數據技術環境下，軟件工程基礎是基于互聯網技術建立起來的，對各種數據信息系統化管理，根據需要進行處理，對工業的發展非常有利[2]。在軟件工程技術中，大數據的安全性問題是需要高度重視的，否則，就會對軟件工程技術造成不良影響，引起嚴重的后果。
2．1軟件服務工程
在軟件工程的研究范疇中，軟件服務工程的數量不斷增多。軟件工程服務化方向發展，就是發揮服務的作用，使其成為軟件開發的基本原則，按照服務項目內容為用戶展開服務。由于軟件工程發展的主題有所，服務內容也要做出相應的調整，同城是對軟件工程的進行技術維護。在具體的服務工作中，需要軟件開發人員使用分布式應用程序，在管理工作中采用虛擬操作的方法為用戶2019.08提供服務[3]。軟件工程技術應用中，結合使用大數據技術，可以對網絡數據進行編程，使得軟件具有互操作性，對于數據主動協調，使其符合動態場景的變化節奏，軟件系統的集成度有所提高。
2．2軟件開源
軟件開源更為注重用戶對軟件技術的體驗。在對軟件開源進行研究的過程中，采用常規的方法，雖然獲得一定的成果，但是應用價值不是很高。一些研究人員在研究軟件工程技術的時候，就是將軟件開源作為突破口，將開發項目劃分為多個模塊，將每個模塊分給指定的研究人員進行開發。
2．3群體軟件工程
群體軟件工程是通過網絡的方式進行軟件開發，具體的實施中采用工程眾包的形式，使得軟件開發技術發揮作用。群體軟件工程是一個分布式軟件開發模型，這個工程項目的運行中，可以通過網絡實現，對各項任務進行分配，也可以進行創造性的查詢，通過眾包解決軟件開發過程中遇到的一些困難和重要問題。同時，在軟件工程開發過程中，軟件工程可以在任何階段通過眾包進行開發[4]。
3大數據與軟件工程技術的未來發展方向
3．1大數據與軟件工程技術開放式的發展
大數據技術的主要前提是大量的數據流，需要技術不斷地升級和創新，尋求開發的研究途徑是非常必要的。計算機網絡的發展意味著計算機可以在開放的環境中相互通信，共享數據資源，軟件等信息的有效利用能力也會有所提升。通過網絡運行可以增加利潤，使得用戶的各種需求得到滿足，提高資源的利用率。
3．2大數據與軟件工程技術融合到其他領域
軟件工程技術在當今許多科學領域有著廣泛的應用。由于軟件工程技術給予各個領域非常大的幫助，從航空到生活中都發揮著軟件工程技術的作用[5]。應用程序的運行，可以使用數據平臺對信息進行收集并分析。比如，用戶在進行股票交易的過程中應用大數據技術，可以使用軟件工程技術構建數據模型，通過對數據模型的分析，預測股票的變化趨勢。
4眾包軟件服務工程中的大數據技術
在軟件開發過程中，必須有足夠的硬件和軟件基礎來支持數據流，隨著數據流的量逐漸增多，對硬件和軟件就有了新的要求。專家學者在分析數據流的時候，還對在線服務進行了研究。數據流是重點內容，主要是對數據流的使用方法進行研究，對支撐數據流的軟件和硬件進行研究[6]。從軟件工程開發的角度而言，軟件運行中都會產生大量的數據流，包括服務端、用戶端等，都會有很多的數據信息產生，這些數據流對軟件和硬件的使用壽命起到了決定性的作用。軟件工程的開發中，要做好數據流的管理工作。有必要對原始數據進行深入的研究，為提高軟件的使用壽命創造條件，對數據流的分析要高度重視[7]。
5密集型數據科研第四范式
第四種科學研究范式是指根據實際情況建立獨立的科學研究方法，探索第四種范式的理論基礎，以及大型數據存儲設備在發展中的重要性。軟件工程中，采用傳統的大數據研究方法，大數據的有效分析是不可能的，大數據的研究還沒有取得突破性的成果。因此，目前大多數軟件不能在短時間內同時實現數據信息的存儲、數據信息的傳輸和有效識別。在探索第四范式理論和研究方法的過程中，首先需要對集成大數據的軟件服務價值進行估計，拋棄傳統的大數據統計方法，建立新的大數據信息統計方法和分析方法[8]。此外，有必要從多個方面研究大數據的處理，對大數據信息進行管理并深入分析，討論大數據的價值以及存在的可變性，這對軟件工程的發展起著重要的作用。在研究軟件工程技術的時候，必須更新傳統的軟件開發理念，重視軟件處理和分析大數據能力的發展，使得軟件產業呈現出新的發展面貌。
6結語
在當今大數據時代，軟件工程技術的研究已經區域復雜。隨著數據的指數的不斷增長，軟件技術對硬件設備數據處理能力產生一定的影響。因此，在對軟件工程技術的研究中，就需要對大數據技術的特點進行研究，基于此研究軟件工程技術，使得硬件設備的數據處理能力有所提高。在研發開發軟件技術的過程中，要從應用領域的需求出發對大數據技術進行分析，在大數據開發理論的基礎上創新軟件開發理論，促進軟件技術更好地發展。
關鍵詞：能力本位；大數據專業；課程體系
高職大數據專業教育的本質是為了培養在大數據采集、存儲、傳輸、分析、處理、應用等領域實踐能力強、綜合素養高的技能型人才[1-4]，以能力為本位的大數據專業課程教學始終貫穿于高職大數據專業教育的全過程，這也是促進新常態下高職大數據專業教育教學發展的主要因素。但是，就目前的發展態勢來看，高職培養的大數據專業人才的數量和質量遠遠未能達到市場和企業的需求，究其原因，主要是因為高職大數據專業課程尚未形成體系，未能在有限的教學課時內有機整合交叉重復的課程內容，從而未能突出體現學生綜合能力的培養[5-9]。因此，構建基于能力本位的高職大數據專業課程體系勢在必行。
1高職大數據專業課程體系構建的必要性
國務院于2015年8月印發的《促進大數據發展行動綱要》指出，“建立健全多層次、多類型的大數據人才培養體系……重點培養職業工程師等大數據專業人才”。為了在一定程度上滿足市場和企業對大數據技術相關人才的需求，截至2020年12月，全國共有289所高職院校開設了大數據專業。由于我國高職院校大數據專業開設的時間短、起步晚、底子薄，大數據技術專業人才總體上來說是短缺的[1-4]。此外，由于人才培養目標和就業定位仍然不夠明確，尚未形成系統性的師資團隊、高效的實踐教學平臺和標準化的課程體系，未能有效構建和運用交叉學科的知識體系和課程內容。因此，不完善的課程體系和課程內容導致教師只著重計算機領域知識的教學，缺乏適合學生學習系統性的大數據課程教學計劃，忽略了大數據專業學生技能的培養，不能適應大數據時代市場和企業對大數據專業高技能型人才的需求。目前我國高職院校大數據專業教學和人才培養仍處于摸索階段，如何從培養學生深度的思維能力和解決廣度問題綜合能力的角度出發，構建基于能力本位的大數據專業課程體系是擺在高職院校面前的一個重要課題[1-9]。
2基于能力本位高職大數據專業課程體系構建的可行性分析
2.1面向計算思維能力的高職大數據專業課程體系。計算思維能力即在管理學和教育學基本理論的基礎上，充分、綜合運用計算機專業領域的基本概念、基本方法、基本手段和基本過程對所需求解的問題進行深度上和廣度上的抽象、挖掘、歸納，從而求得最優解的一種思維能力[5]。高職大數據專業教育的培養目標本質是為了培養在大數據采集、存儲、傳輸、分析、處理、應用等領域實踐能力強、綜合素養高的技能型人才。計算思維能力完美地詮釋了高職大數據專業課程教育教學的內在本質，即將高職大數據專業課程劃分為一種包括通識教育、大類教育、基本認知等模塊課程在內的螺旋遞推式的計算思維課程體系，通識教育課程包括數據科學數學基礎、人工智能導論、操作系統、統計學、管理學基礎、計算機組成原理、數據科學導論、大數據結構、數據庫原理、大數據編程算法等課程，充分、綜合運用管理學領域、教育學領域、計算機專業領域的基本概念、基本理論、基本方法、基本手段和基本過程對所需求解的大數據分析、處理、應用問題進行深度上和廣度上的抽象、挖掘、歸納。因此，通過構建面向計算思維能力的高職大數據專業課程體系并在實際的教學活動中加以實踐，促進學生熟練掌握大數據的基本概念、基本理論、基本知識、基本方法、基本手段、基本過程和基本技能[6]，從而具備初步的項目開發經驗和能力。2.2面向應用能力的高職大數據專業課程體系。高職大數據專業教育的本質是為了培養在大數據采集、存儲、傳輸、分析、處理、應用等領域實踐能力強、綜合素養高的技能型人才，即高職大數據專業教育的本質是以能力為本位的?；诿嫦蛴嬎闼季S能力的高職大數據專業課程體系，面向應用能力的高職大數據專業課程體系是指將大數據主干課程劃分為專業骨干、專業實踐等模塊課程，它們屬于應用能力培養的范疇，專業骨干課程可開設的課程主要包括大數據程序設計、大數據采集、存儲與傳輸、數據庫應用技術，專業實踐課程可開設課程包括大數據核心平臺技術、大數據挖掘、分析與處理、大數據應用、大數據可視化技術等。這是高職大數據專業基于能力本位的課程體系整體框架中的核心課程，也是后期以“專業拓展”“綜合拓展”等模塊課程為標志的工程能力培養課程開設的前提[5-7]。面向應用能力的高職大數據專業課程體系側重于大數據應用框架的部署和理解，課程內容完美地體現了培養學生的大數據編程算法、大數據程序設計、大數據核心平臺技術、大數據可視化應用技術等方面的核心能力。2.3面向工程能力的高職大數據專業課程體系。工程能力是指在計算思維能力和應用能力的基礎上，學生通過團隊協作解決實際工作中較為復雜綜合性的工程項目開發問題的能力。因此，面向工程能力的高職大數據專業課程體系包含專業拓展、綜合拓展等模塊課程，它們屬于工程能力培養的范疇，即培養多元化的具有廣度創造技術、深度人工智能開發技術的大數據分析師、大數據架構師、大數據運維工程師、大數據開發工程師、大數據科學家等工程項目設計與開發人才[6]。面向工程能力的高職大數據專業課程體系通過項目小組團隊協作的形式，以工程項目與企業真實案例為驅動，促使學生搭建大數據工程項目設計與開發的框架，細化框架內部細節，集思廣益，形成最終的工程項目解決方案，并充分運用所學的專業骨干、專業實踐等模塊課程中的大數據程序設計、大數據采集、存儲與傳輸、數據庫應用技術、大數據核心平臺技術、大數據挖掘、分析與處理、大數據應用、大數據可視化技術等課程的核心知識，實施大數據工程項目的大數據采集、存儲、傳輸、分析、處理、應用、作業調度、工程維護、代碼調錯等，從而完美地實現培養學生解決實際工程問題能力的目標[7-9]。
3基于能力本位的高職大數據專業課程體系構建途徑
3.1構建支撐計算思維能力培養的立體化課程資源。面向計算思維能力的課程體系是高職大數據專業發展的一個基礎性課程體系，這是大數據專業能力向應用能力與工程能力縱深發展的延伸性課程，目的在管理學和教育學基本理論的基礎上，充分、綜合運用計算機專業領域的基本概念、基本方法、基本手段和基本過程對所需求解的問題進行深度上和廣度上的抽象、挖掘、歸納，使學生掌握大數據專業的通識教育、大類教育、基本認知等模塊課程，從而為學生拓展應用能力與工程能力打下基礎。因此，需要構建支撐計算思維能力培養的立體化課程資源，其主要形式是利用移動互聯網設置集課程資源、線上線下資源、實踐課程資源為一體的立體化課程體系教學資源模式[5]，并利用移動互聯網構建多樣化的線上線下網上教學環境、學生線上線下學習平臺。課程教學資源以線上線下和任務與項目驅動的實踐課程形式為主，學生在教師的啟發和引導下自主學習，時時講解、時時操作。在此立體化課程資源支撐下，按照“計算思維形成→基本技能訓練→計算思維能力培養”的要求，充分運用混合式翻轉教學方式，對一些重點難點的課程內容進行反復教學，實施數據挖掘與人工智能結合的大數據專業基礎知識的實際操作，對學生進行個別指導，加深學生對基本知識點的掌握和理解。3.2搭建支撐應用能力培養的實訓平臺。高職大數據專業實踐性、應用性極強，面向應用能力的高職大數據專業課程體系要求搭建適當的支撐應用能力培養的實訓平臺以強化學生的應用能力。搭建支撐應用能力培養的實訓平臺，重點是學校應根據大數據專業人才培養目標和計算思維能力培養需求，從硬件環境、軟件環境、線上線下網絡教學平臺等方面入手，構建集大數據編程算法、大數據程序設計、大數據核心平臺技術、大數據可視化應用技術等于一體的核心能力培養平臺[5-6]，大數據編程算法、大數據程序設計、大數據核心平臺技術、大數據可視化應用技術課程采用線上線下模式、理實一體化的教學方式，主要用于大數據專業的“專業骨干”“專業實踐”等模塊課程的實訓教學；軟件條件方面，利用搭建的實訓環境，以學生分組協作形式，可以選擇并行分布式處理軟件Hadoop和Spark，實施大數據預處理、模型的建立模型、參數的選擇，為學生提供大數據編程算法、大數據程序設計、大數據核心平臺技術、大數據可視化應用技術方面的實訓項目，使學生掌握基本方法和技巧，理解基本工作原理，從而可以較好地培養學生應用能力。3.3設計支撐工程能力培養的綜合性工程項目。面向工程能力的高職大數據專業課程體系即培養多元化的具有廣度創造技術、深度人工智能開發技術的大數據分析師、大數據架構師、大數據運維工程師、大數據開發工程師、大數據科學家等工程項目設計與開發人才，它是圍繞學生的工程項目開發能力而設置的。因此，學校應結合大數據專業的人才培養總體目標、計算思維能力培養目標和應用能力培養目標，設計支撐工程能力培養的綜合性工程項目[6-9]，在每個項目中設置相應的實驗，力求做到課程與崗位能力對接，檢驗學生對實踐知識的掌握情況以及解決問題的思想、手段和方法，從而為工程項目開發打下堅實的基礎。在綜合性工程項目類型方面，把支撐工程能力培養的綜合性工程項目分為設計性實驗和綜合性實驗，合理規劃工程能力培養計劃、培養標準以便較好地適應工程能力培養的新形勢，讓學生在“練中學、學中練”，考察學生的實際工程項目開發能力，力求工程項目開發能力與企業標準對接。3.4創新基于學生能力本位的教學模式和教學方法。面向計算思維能力、應用能力、工程能力培養的高職大數據專業課程體系是一種螺旋遞推式的課程體系，它完美地詮釋了高職大數據專業課程教育教學的內在本質?；趯W生能力本位的教學模式和教學方法是實現高職大數據專業課程教育教學內在本質的重要條件。因此，高職院校要從大數據專業人才培養和學生實際需求出發，制作精美的教學視頻，充分利用微課、翻轉課堂、多媒體、遠程協作、虛擬現實、系統仿真、探究式、啟發式、逆向式、互動式等教學方式、方法和手段[1-4]，按照“思維培養—應用細化—工程開發”的教學模式，圍繞大數據專業的課程教學內容，充分利用網絡資源，隨時調整教學細節，合理安排課時，及時記錄教學過程中的反饋信息，使得師生之間的良好互動和溝通達到一定的廣度和深度，為學生掌握大數據專業課程的精髓和將來適應工作崗位打下堅實基礎。3.5加強基于學生能力本位的師資隊伍建設。高質量的專業教師隊伍是構建基于能力本位的高職大數據專業課程體系構建的良好保障，因此高職院校要圍繞學生的計算思維能力培養、應用能力培養、工程能力培養[5-9]，加強基于學生能力本位的師資隊伍建設，讓教師在教學與科研中取長補短，豐富知識結構，相互促進，相互提高，從而為教師專業素質和創新實踐能力提供保障，提升教師授課水平。
4結語
高職大數據專業課程體系的構建為提升學生的計算思維能力、應用能力、工程能力提供了科學的發展平臺，對高職專業人才培養和課程改革具有重要的意義，同時也能使學生成為有知識、有能力的社會主義事業建設者和接班人。大數據對當今社會的重要意義以及大數據專業人才的不足決定了大數據專業人才培養任重道遠，但是不足也是動力，也給未來高職大數據專業預留了很大的發展空間。
參考文獻:
[1]林宛楊.“職教20條”建設背景下大數據課程體系改革[J].電腦知識與技術,2020,16(36):170-171,176.
[2]劉建華,胡文瑜,唐鄭熠,等.數據科學與大數據技術專業課程體系探索[J].科教文匯,2021(2):115-116.
[3]周黎鳴,林英豪,李征,等.新工科背景下大數據專業課程建設[J].計算機時代,2021(1):102-105.
[4]馬曉磊,霍恩澤.面向“互聯網+產學交融”的交通大數據課程體系建設[J].高教學刊,2021(7):86-89.
[5]崔琳,吳孝銀,張志偉.面向學生計算思維培養的數據科學與大數據技術專業課程體系建設模式探究[J].無線互聯科技,2020(4):121-122.
[6]戴牡紅.面向工程能力培養的大數據教學研究[J].軟件工程,2021,24(1):47-50.
[7]袁利平,楊陽.基于能力本位的教師教育課程體系建構[J].河北師范大學學報（教育科學版）,2020,22(5):85-92.
[8]王姝,蘇志東.基于能力本位的反向課程設計方法應用研究[J].微型電腦應用,2020,36(9):77-82.
