五分鐘學(xué)后端技術(shù)：一篇文章告訴你什么是云計算！

　　作者：劉超

　　轉(zhuǎn)載自【劉超的通俗云計算】

　　什么是云計算

　　早在十年前，市場上就出現(xiàn)了很多和云計算相關(guān)的崗位，當(dāng)時正是云計算技術(shù)最火熱的時代，不管是BAT還是華為等企業(yè)都開始布局云計算，于是OpenStack研發(fā)、容器研發(fā)、底層開發(fā)等相關(guān)崗位相應(yīng)地也越來越多，雖然這幾年大數(shù)據(jù)和AI的風(fēng)頭已經(jīng)完全壓過了云計算，但是這一門技術(shù)仍然在現(xiàn)如今的技術(shù)體系中占有很重要的位置。那么，到底什么是云計算，就是我們每一個要學(xué)習(xí)云計算技術(shù)的朋友要了解的事情了，根據(jù)百度百科的介紹

　　大數(shù)據(jù)（big data），IT行業(yè)術(shù)語，是指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。 在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》 [1] 中大數(shù)據(jù)指不用隨機分析法（抽樣調(diào)查）這樣捷徑，而采用所有數(shù)據(jù)進行分析處理。大數(shù)據(jù)的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）。 [2]

　　云計算的發(fā)展史

　　物理機時代

　　云計算的整個過程，用一個詞來講就是“分久必合，合久必分”。

　　云計算其實主要解決了四個方面的內(nèi)容：計算，網(wǎng)絡(luò)，存儲，應(yīng)用。前三者是資源層面的，最后是應(yīng)用層面的。

　　計算是CPU和內(nèi)存，為啥？1+1這個最簡單的算法是把1放在內(nèi)存里面，運行加法是CPU做的，做完了結(jié)果2又保存在內(nèi)存里面。 網(wǎng)絡(luò)就是你插根網(wǎng)線能上網(wǎng)。 存儲就是你下個電影有地方放。本次討論就是圍繞這四個部分來講的。 在原始社會，大家最愛用的是物理設(shè)備：

　　服務(wù)器用的是物理機，例如戴爾，惠普，IBM，聯(lián)想等物理服務(wù)器，隨著硬件設(shè)備的進步，物理服務(wù)器越來越強大了，64核128G內(nèi)存都算是普通配置。 網(wǎng)絡(luò)用的是硬件交換機和路由器，例如思科的，華為的，從1GE到10GE，現(xiàn)在有40GE和100GE，帶寬越來越牛。 存儲方面有的用普通的磁盤，也有了更快的SSD盤。容量從M，到G，連筆記本電腦都能配置到T，更何況磁盤陣列。 如果部署應(yīng)用直接使用物理機，看起來很爽，總有種土豪的感覺，卻又大大的缺點：

　　人工運維：如果你在一臺服務(wù)器上安裝軟件，把系統(tǒng)安裝壞了，怎么辦？只有重裝。當(dāng)你想配置一下交換機的參數(shù)，需要串口連上去進行配置。當(dāng)你想增加一塊磁盤，總要買一塊插進服務(wù)器。這些都需要人工來，而且很大可能要求機房。你們公司在北五環(huán)，機房在南六環(huán)，這酸爽。 浪費資源：其實你只想部署一個小小的網(wǎng)站，卻要用128G的內(nèi)存?；熘渴鸢?，就有隔離性的問題。 隔離性差：你把好多的應(yīng)用部署在同一臺物理機上，他們之間搶內(nèi)存，搶cpu，一個寫滿了硬盤，另一個就沒法用了，一個弄掛了內(nèi)核，另一個也同時掛了，如果部署兩個相同的應(yīng)用，端口還會沖突，動不動就會出錯。 于是有了第一次合久必分的過程，叫做虛擬化。所謂虛擬化，就是把實的變成虛的。

　　虛擬機的誕生

　　物理機變?yōu)樘摂M機：cpu是虛擬的，內(nèi)存是虛擬的，內(nèi)核是虛擬的，硬盤是虛擬的。 物理交換機變?yōu)樘摂M交換機：網(wǎng)卡是虛擬的，交換機是虛擬的，帶寬也是虛擬的。 物理存儲變成虛擬存儲：多塊硬盤虛擬成一大塊。 虛擬化很好的解決了上面的三個問題：

　　人工運維：虛擬機的創(chuàng)建和刪除都可以遠程操作，虛擬機被玩壞了，刪了再建一個分鐘級別的。虛擬網(wǎng)絡(luò)的配置也可以遠程操作，創(chuàng)建網(wǎng)卡，分配帶寬都是調(diào)用接口就能搞定的。 浪費資源：虛擬化了以后，資源可以分配的很小很小，比如1個cpu，1G內(nèi)存，1M帶寬，1G硬盤，都可以被虛擬出來。 隔離性差：每個虛擬機有獨立的cpu, 內(nèi)存，硬盤，網(wǎng)卡，不同虛擬機的應(yīng)用互不干擾。 但是虛擬化還有以下的缺點，通過虛擬化軟件創(chuàng)建虛擬機，需要人工指定放在哪臺機器上，硬盤放在哪個存儲設(shè)備上，網(wǎng)絡(luò)的VLAN ID，帶寬具體的配置，都需要人工指定。所以單單使用虛擬化的運維工程師往往有一個Excel表格，有多少臺機器，每臺機器部署了哪些虛擬機。所以，一般虛擬化的集群數(shù)目都不是特別的大。

　　在虛擬化階段，領(lǐng)跑者是Vmware，可以實現(xiàn)基本的計算，網(wǎng)絡(luò)，存儲的虛擬化。

　　當(dāng)然這個世界有閉源，就有開源，有windows就有l(wèi)inux，有apple就有andord，有Vmware，就有Xen和KVM。在開源虛擬化方面，Xen方面Citrix做的不錯，后來Redhat在KVM發(fā)力不少。

　　對于網(wǎng)絡(luò)虛擬化，有Openvswitch，可以通過命令創(chuàng)建網(wǎng)橋，網(wǎng)卡，設(shè)置VLAN，設(shè)置帶寬。

　　對于存儲虛擬化，對于本地盤，有LVM，可以將多個硬盤變成一大塊盤，然后在里面切出一小塊給用戶。

　　為了解決虛擬化階段剩余的問題，于是有了分久必合的過程。這個過程我們可以形象的稱為池化，也就是說虛擬化已經(jīng)將資源分的很細了，但是對于如此細粒度的資源靠Excel去管理，成本太高，能不能打成一個大的池，當(dāng)需要資源的時候，幫助用戶自動的選擇，而非用戶指定。所以這個階段的關(guān)鍵點：調(diào)度器Scheduler。

　　公有云和私有云

　　于是vmware有了自己的vcloud。

　　于是基于Xen和KVM的私有云平臺CloudStack，后來Citrix將其收購后開源。

　　當(dāng)這些私有云平臺在用戶的數(shù)據(jù)中心里面賣的其貴無比，賺的盆滿缽滿的時候。有其他的公司開始了另外的選擇，這就是AWS和Google，開始了公有云領(lǐng)域的探索。

　　AWS最初就是基于Xen技術(shù)進行虛擬化的，并且最終形成了公有云平臺。也許AWS最初只是不想讓自己的電商領(lǐng)域的利潤全部交給私有云廠商吧，于是自己的云平臺首先支撐起了自己的業(yè)務(wù)，在這個過程中，AWS自己嚴肅的使用了自己的云計算平臺，使得公有云平臺不是對于資源的配置更加友好，而是對于應(yīng)用的部署更加友好，最終大放異彩。

　　如果我們仔細觀察就會發(fā)現(xiàn)，私有云和公有云使用的是類似的技術(shù)，卻在產(chǎn)品設(shè)計上是完全不同的兩種生物。私有云廠商和公有云廠商也擁有類似的技術(shù)，卻在產(chǎn)品運營上呈現(xiàn)出完全不同的基因。

　　私有云廠商都是賣資源的，所以往往在賣私有云平臺的時候往往伴隨著賣計算，網(wǎng)絡(luò)，存儲設(shè)備。在產(chǎn)品設(shè)計上，私有云廠商往往強調(diào)又長又詳盡，但是客戶幾乎不會使用的計算，網(wǎng)絡(luò)，存儲的技術(shù)參數(shù)，因為這些參數(shù)可以用來和友商對標的過程中占盡優(yōu)勢。私有云的廠商幾乎沒有自己的大規(guī)模應(yīng)用，所以私有云廠商的平臺做出來是給別人用的，自己不會大規(guī)模使用，于是產(chǎn)品往往圍繞資源展開，而不會對應(yīng)用的部署友好。

　　公有云的廠商往往都是有自己的大規(guī)模應(yīng)用需要部署的，所以其產(chǎn)品的設(shè)計，可以將常見的應(yīng)用部署所需要的模塊作為組件提供出來，用戶可以像拼積木一樣，拼接一個適用于自己應(yīng)用的架構(gòu)。公有云廠商不必要關(guān)心各種技術(shù)參數(shù)的PK，不必關(guān)心是否開源，是否兼容各種虛擬化平臺，兼容各種服務(wù)器設(shè)備，網(wǎng)絡(luò)設(shè)備，存儲設(shè)備。你管我用什么，客戶部署應(yīng)用方便就好。

　　OpenStack的誕生

　　當(dāng)然公有云的第一名AWS活的很爽，第二名Rackspace就不太爽了，沒錯，互聯(lián)網(wǎng)行業(yè)嘛，基本上就是一家獨大。第二名如何逆襲呢？開源是很好的辦法，讓整個行業(yè)大家一起為這個云平臺出力，兄弟們，大家一起上。于是Rackspace與美國航空航天局（NASA）合作創(chuàng)始了開源云平臺OpenStack。OpenStack現(xiàn)在發(fā)展的和AWS有點像了，所以從OpenStack的模塊組成，可以看到云計算池化的方法。

　　OpenStack包含哪些組件呢？

　　計算池化模塊Nova：OpenStack的計算虛擬化主要使用KVM，然而到底在那個物理機上開虛擬機呢，這要靠nova-scheduler。

　　網(wǎng)絡(luò)池化模塊Neutron：OpenStack的網(wǎng)絡(luò)虛擬化主要使用Openvswitch，然而對于每一個Openvswitch的虛擬網(wǎng)絡(luò)，虛擬網(wǎng)卡，VLAN，帶寬的配置，不需要登錄到集群上配置，Neutron可以通過SDN的方式進行配置。

　　存儲池化模塊Cinder:OpenStack的存儲虛擬化，如果使用本地盤，則基于LVM，使用哪個LVM上分配的盤，也是用過scheduler來的。后來就有了將多臺機器的硬盤打成一個池的方式Ceph，則調(diào)度的過程，則在Ceph層完成。

　　有了OpenStack，所有的私有云廠商都瘋了，原來VMware在私有云市場實在賺的太多了，眼巴巴的看著，沒有對應(yīng)的平臺可以和他抗衡?，F(xiàn)在有了現(xiàn)成的框架，再加上自己的硬件設(shè)備，你可以想象到的所有的IT廠商的巨頭，全部加入到社區(qū)里面來，將OpenStack開發(fā)為自己的產(chǎn)品，連同硬件設(shè)備一起，殺入私有云市場。

　　網(wǎng)易當(dāng)然也沒有錯過這次風(fēng)口，上線了自己的OpenStack集群，網(wǎng)易蜂巢基于OpenStack自主研發(fā)了IaaS服務(wù)，在計算虛擬化方面，通過裁剪KVM鏡像，優(yōu)化虛擬機啟動流程等改進，實現(xiàn)了虛擬機的秒級別啟動。在網(wǎng)絡(luò)虛擬化方面，通過SDN和Openvswitch技術(shù)，實現(xiàn)了虛擬機之間的高性能互訪。在存儲虛擬化方面，通過優(yōu)化Ceph存儲，實現(xiàn)高性能云盤。

　　但是網(wǎng)易并沒有殺進私有云市場，而是使用OpenStack支撐起了自己的應(yīng)用，這是互聯(lián)網(wǎng)的思維，沒錯。僅僅是資源層面彈性是不夠的，還需要開發(fā)出對應(yīng)用部署友好的組件。例如數(shù)據(jù)庫，負載均衡，緩存等，這些都是應(yīng)用部署必不可少的，也是網(wǎng)易在大規(guī)模應(yīng)用實踐中，千錘百煉過的。這些組件稱為PaaS。

　　從IAAS到PAAS

　　前面一直在講IaaS層的故事，也即基礎(chǔ)設(shè)施即服務(wù)，基本上在談計算，網(wǎng)絡(luò)，存儲的事情?，F(xiàn)在應(yīng)該說說應(yīng)用層的事情了。

　　IaaS的定義比較清楚，PaaS的定義就沒那么清楚了，有的把數(shù)據(jù)庫，負載均衡，緩存作為PaaS服務(wù)，有的把大數(shù)據(jù)Hadoop, Spark平臺作為PaaS服務(wù)，有的講應(yīng)用的安裝與管理，例如Puppet, Chef, Ansible作為PaaS服務(wù)。

　　其實PaaS主要用于管理應(yīng)用層的，我總結(jié)兩部分：一部分是你自己的應(yīng)用應(yīng)當(dāng)自動部署，比如Puppet, Chef, Ansible, Cloud Foundry等，可以通過腳本幫你部署，一部分是你覺得復(fù)雜的通用應(yīng)用不用部署，比如數(shù)據(jù)庫，緩存，大數(shù)據(jù)平臺，可以在云平臺上一點即得。

　　要么就是自動部署，要么不用部署，總的來說就是應(yīng)用層您也少操心，就是PaaS的作用。當(dāng)然最好是都不用部署，一鍵可得，所以公有云平臺將通用的服務(wù)都做成了PaaS平臺。另一些應(yīng)用，是您自己開發(fā)的，除了你自己，其他人都不知道，所以您可以用工具變成自動部署。

　　有了PaaS最大的優(yōu)點，就是可以實現(xiàn)應(yīng)用層的彈性伸縮。比如雙十一來了，10個節(jié)點要變成100個節(jié)點，如果使用物理設(shè)備，再買90臺機器固然來不及，僅僅只有IaaS實現(xiàn)資源的彈性是不夠的，再創(chuàng)建90臺虛擬機，也是空的啊，還是需要運維人員一臺一臺的部署。所以有了PaaS就好了，一臺虛擬機啟動后，馬上運行自動部署腳本，進行應(yīng)用的安裝，90臺機器自動安裝好了應(yīng)用，才是真正的彈性伸縮。

　　當(dāng)然這種部署方式也有一個問題，就是無論Puppet, Chef, Ansible把安裝腳本抽象的再好，說到底也是基于腳本的，然而應(yīng)用所在的環(huán)境千差萬別，文件路徑的差別，文件權(quán)限的差別，依賴包的差別，應(yīng)用環(huán)境的差別，Tomcat, PHP, Apache等軟件版本的差別，JDK，Python等版本的差別，是否安裝了一些系統(tǒng)軟件，是否占用了哪些端口，都可能造成腳本執(zhí)行的不成功。所以看起來是一旦腳本寫好，就能夠快速復(fù)制了，但是一旦環(huán)境稍有改變，就需要把腳本進行新一輪的修改，測試，聯(lián)調(diào)。例如在數(shù)據(jù)中心寫好的腳本，移到AWS上就不一定直接能用，在AWS上聯(lián)調(diào)好了，遷移到Google Cloud上去也可能再會出問題。

　　容器的誕生

　　于是容器應(yīng)運而生。容器是Container，Container另一個意思是集裝箱，其實容器的思想就是要變成軟件交付的集裝箱。集裝箱的特點，一是打包，二是標準。設(shè)想沒有集裝箱的時代，如果從A將貨物運到B，中間要經(jīng)過三個碼頭，換三次船的話，每次貨物都要卸下船來，擺的七零八落，然后再換船的時候，需要重新整齊擺好，所以沒有集裝箱的時候，船員們都能夠在岸上待幾天再走。然而有了集裝箱，所有的貨物都打包在一起了，并且集裝箱的尺寸全部一致，所以每次換船的時候，整體一個箱子搬過去就可以了，小時級別就能完成，船員再也不能上岸長時間休息了。所以設(shè)想A就是程序員，B就是用戶，貨物就是代碼及運行環(huán)境，中間的三個碼頭分別是開發(fā)，測試，上線。

　　假設(shè)代碼的運行環(huán)境如下：

　　1. Ubuntu操作系統(tǒng)

　　2. 創(chuàng)建用戶hadoop

　　3. 下載解壓縮JDK 1.7在某個目錄下

　　4. 將這個目錄加入JAVA_HOME和PATH的環(huán)境變量里面

　　5. 將環(huán)境變量的export放在hadoop用戶的home目錄下的.bashrc文件中

　　6. 下載并解壓縮tomcat 7

　　7. 將war放到tomcat的webapp路徑下面

　　8. 修改tomcat的啟動參數(shù)，將Java的Heap Size設(shè)為1024M

　　看，一個簡單的Java網(wǎng)站，就需要考慮這么多零零散散的東西，如果不打包，就需要在開發(fā)，測試，生產(chǎn)的每個環(huán)境上查看保證環(huán)境的一致，甚至要將這些環(huán)境重新搭建一遍，就像每次將貨物打散了重裝一樣麻煩，中間稍有差池，比如開發(fā)環(huán)境用了JDK 1.8，而線上是JDK 1.7，比如開發(fā)環(huán)境用了root用戶，線上需要使用hadoop用戶，都可能導(dǎo)致程序的運行失敗。

　　容器如何對應(yīng)用打包呢？還是要學(xué)習(xí)集裝箱，首先要有個封閉的環(huán)境，將貨物封裝起來，讓貨物之間互不干擾，互相隔離，這樣裝貨卸貨才方便。好在ubuntu中的lxc技術(shù)早就能做到這一點，這里主要使用了兩種技術(shù)，一種是看起來是隔離的技術(shù)，稱為namespace，也即每個namespace中的應(yīng)用看到的是不同的IP地址，用戶空間，進程號等。另一種是用起來是隔離的，稱為cgroup，也即明明整臺機器有很多的CPU，內(nèi)存，而一個應(yīng)用只能用其中的一部分。

　　有了這兩項技術(shù)，集裝箱的鐵盒子我們是焊好了，接下來是決定往里面放什么的時候了。最簡單粗暴的方法，就是將上面列表中所有的都放到集裝箱里面。但是這樣太大了，因為虛擬機的鏡像就是這樣的，動輒幾十G，如果你安裝一個干干靜靜的ubuntu操作系統(tǒng)，什么都不裝，就很大了。這其實相當(dāng)于把船也放到了集裝箱里面，答案當(dāng)然是NO.

　　所以撇下第一項操作系統(tǒng)，剩下的所有的加起來，也就幾百M，就輕便多了。所以一臺服務(wù)器上的容器是共享操作系統(tǒng)內(nèi)核的，容器在不同機器之間的遷移不帶內(nèi)核，這也是很多人聲稱容器是輕量級的虛擬機的原因。輕不白輕，自然隔離性就差了，一個集裝箱把船壓漏水了，所有的集裝箱一起沉。

　　另一個需要撇下的就是隨著應(yīng)用的運行而產(chǎn)生并保存在本地的數(shù)據(jù)，多以文件的形式存在，例如數(shù)據(jù)庫文件，文本文件。這些文件會隨著應(yīng)用的運行，越來越大，如果這些數(shù)據(jù)也放在容器里面，會讓容器變得很大，影響容器在不同環(huán)境的遷移。而且這些數(shù)據(jù)在開發(fā)，測試，線上環(huán)境之間的遷移是沒有意義的，生產(chǎn)環(huán)境不可能用測試環(huán)境的文件，所以往往這些數(shù)據(jù)也是保存在容器外面的存儲設(shè)備上。也是為什么人們稱容器是無狀態(tài)的。

　　至此集裝箱焊好了，貨物也裝進去了，接下來就是如何將這個集裝箱標準化，從而在哪艘船上都能運輸。這里的標準一個是鏡像，一個是容器的運行環(huán)境。所謂的鏡像，就是將你焊好集裝箱的那個時刻，將集裝箱的狀態(tài)保存下來，就像孫悟空說定，集裝箱里面就定在了那一刻，然后將這一刻的狀態(tài)保存成一系列文件。這些文件的格式是標準的，誰看到這些文件，都能還原當(dāng)時定住的那個時刻。將鏡像還原成運行時的過程，就是讀取鏡像文件，還原那個時刻的過程，也就是容器的運行的過程。除了大名鼎鼎的Docker，還有其他的容器，例如AppC，Mesos Container，都能運行容器鏡像。所以說容器不等于Docker。

　　總而言之，容器是輕量級的，隔離差的，適用于無狀態(tài)的，基于鏡像標準實現(xiàn)跨主機，跨環(huán)境的隨意遷移。

　　有了容器，使得PaaS層對于用戶自身應(yīng)用的自動部署變得快速而優(yōu)雅。容器快，快在了兩方面，第一是虛擬機啟動的時候要先啟動操作系統(tǒng)，容器不用啟動操作系統(tǒng)，因為是共享內(nèi)核的。第二是虛擬機啟動后使用腳本安裝應(yīng)用，容器不用安裝應(yīng)用，因為已經(jīng)打包在鏡像里面了。所以最終虛擬機的啟動是分鐘級別，而容器的啟動是秒級。容器咋這么神奇。其實一點都不神奇，第一是偷懶少干活了，第二是提前把活干好了。

　　因為容器的啟動快，人們往往不會創(chuàng)建一個個小的虛擬機來剛剛部署應(yīng)用，因為這樣太費時間了，而是創(chuàng)建一個大的虛擬機，然后在大的虛擬機里面再劃分容器，而不同的用戶不共享大的虛擬機，可以實現(xiàn)操作系統(tǒng)內(nèi)核的隔離。

　　這又是一次合久必分的過程。由IaaS層的虛擬機池，劃分為更細粒度的容器池。

　　容器的粒度更加細，管理起來更難管，甚至是手動操作難以應(yīng)對的。假設(shè)你有100臺物理機，其實規(guī)模不是太大，用Excel人工管理是沒問題的，但是一臺上面開10臺虛擬機，虛擬機的個數(shù)就是1000臺，人工管理已經(jīng)很困難了，但是一臺虛擬機里面開10個容器，就是10000個容器，你是不是已經(jīng)徹底放棄人工運維的想法了。

　　所以容器層面的管理平臺是一個新的挑戰(zhàn)，關(guān)鍵字就是自動化：

　　自發(fā)現(xiàn)：容器與容器之間的相互配置還能像虛擬機一樣，記住IP地址，然后互相配置嗎？這么多容器，你怎么記得住一旦一臺虛擬機掛了重啟，IP改變，應(yīng)該改哪些配置，列表長度至少萬行級別的啊。所以容器之間的配置通過名稱來的，無論容器跑到哪臺機器上，名稱不變，就能訪問到。 自修復(fù)：容器掛了，或是進程宕機了，能像虛擬機那樣，登陸上去查看一下進程狀態(tài)，如果不正常重啟一下么？你要登陸萬臺docker了。所以容器的進程掛了，容器就自動掛掉了，然后自動重啟。 彈性自伸縮 Auto Scaling：當(dāng)容器的性能不足的時候，需要手動伸縮，手動部署么？當(dāng)然也要自動來。 如果有了容器的管理平臺，又是一次分久必合。

　　容器管理平臺

　　當(dāng)前火熱的容器管理平臺有三大流派：

　　一個是Kubernetes，我們稱為段譽型。段譽(Kubernetes)的父親(Borg)武功高強，出身皇族(Google)，管理過偌大的一個大理國(Borg是Google數(shù)據(jù)中心的容器管理平臺)。作為大理段式后裔，段譽的武功基因良好(Kubernetes的理念設(shè)計比較完善)，周圍的高手云集，習(xí)武環(huán)境也好(Kubernetes生態(tài)活躍，熱度高)，雖然剛剛出道的段譽武功不及其父親，但是只要跟著周圍的高手不斷切磋，武功既可以飛速提升。

　　一個是Mesos，我們稱為喬峰型。喬峰(Mesos)的主要功夫降龍十八掌(Mesos的調(diào)度功能)獨步武林，為其他幫派所無。而且喬峰也管理過人數(shù)眾多的丐幫(Mesos管理過Tweeter的容器集群)。后來喬峰從丐幫出來，在江湖中特例獨行(Mesos的創(chuàng)始人成立了公司Mesosphere)。喬峰的優(yōu)勢在于，喬峰的降龍十八掌(Mesos)就是在丐幫中使用的降龍十八掌，相比與段譽初學(xué)其父的武功來說，要成熟很多。但是缺點是，降龍十八掌只掌握在少數(shù)的幾個丐幫幫主手中(Mesos社區(qū)還是以Mesosphere為主導(dǎo))，其他丐幫兄弟只能遠遠崇拜喬峰，而無法相互切磋(社區(qū)熱度不足)。

　　一個是Swarm，我們稱為慕容型。慕容家族(Swarm是Docker家族的集群管理軟件)的個人功夫是非常棒的(Docker可以說稱為容器的事實標準)，但是看到段譽和喬峰能夠管理的組織規(guī)模越來越大，有一統(tǒng)江湖的趨勢，著實眼紅了，于是開始想創(chuàng)建自己的慕容鮮卑帝國(推出Swarm容器集群管理軟件)。但是個人功夫好，并不代表著組織能力強(Swarm的集群管理能力)，好在慕容家族可以借鑒段譽和喬峰的組織管理經(jīng)驗，學(xué)習(xí)各家公司，以彼之道，還施彼身，使得慕容公子的組織能力(Swarm借鑒了很多前面的集群管理思想)也在逐漸的成熟中。

　　云計算方面核心技術(shù)有哪些？

　　云計算是一種以數(shù)據(jù)和處理能力為中心的密集型計算模式，它融合了多項ICT技術(shù)，是傳統(tǒng)技術(shù)“平滑演進”的產(chǎn)物。其中以虛擬化技術(shù)、分布式數(shù)據(jù)存儲技術(shù)、編程模型、大規(guī)模數(shù)據(jù)管理技術(shù)、分布式資源管理、信息安全、云計算平臺管理技術(shù)、綠色節(jié)能技術(shù)最為關(guān)鍵。

　　1、虛擬化技術(shù)

　　虛擬化是云計算最重要的核心技術(shù)之一，它為云計算服務(wù)提供基礎(chǔ)架構(gòu)層面的支撐，是ICT服務(wù)快速走向云計算的最主要驅(qū)動力。可以說，沒有虛擬化技術(shù)也就沒有云計算服務(wù)的落地與成功。隨著云計算應(yīng)用的持續(xù)升溫，業(yè)內(nèi)對虛擬化技術(shù)的重視也提到了一個新的高度。與此同時，我們的調(diào)查發(fā)現(xiàn)，很多人對云計算和虛擬化的認識都存在誤區(qū)，認為云計算就是虛擬化。事實上并非如此，虛擬化是云計算的重要組成部分但不是全部。

　　從技術(shù)上講，虛擬化是一種在軟件中仿真計算機硬件，以虛擬資源為用戶提供服務(wù)的計算形式。旨在合理調(diào)配計算機資源，使其更高效地提供服務(wù)。它把應(yīng)用系統(tǒng)各硬件間的物理劃分打破，從而實現(xiàn)架構(gòu)的動態(tài)化，實現(xiàn)物理資源的集中管理和使用。虛擬化的最大好處是增強系統(tǒng)的彈性和靈活性，降低成本、改進服務(wù)、提高資源利用效率。

　　從表現(xiàn)形式上看，虛擬化又分兩種應(yīng)用模式。一是將一臺性能強大的服務(wù)器虛擬成多個獨立的小服務(wù)器，服務(wù)不同的用戶。二是將多個服務(wù)器虛擬成一個強大的服務(wù)器，完成特定的功能。這兩種模式的核心都是統(tǒng)一管理，動態(tài)分配資源，提高資源利用率。在云計算中，這兩種模式都有比較多的應(yīng)用。

　　2、分布式數(shù)據(jù)存儲技術(shù)

　　云計算的另一大優(yōu)勢就是能夠快速、高效地處理海量數(shù)據(jù)。在數(shù)據(jù)爆炸的今天，這一點至關(guān)重要。為了保證數(shù)據(jù)的高可靠性，云計算通常會采用分布式存儲技術(shù)，將數(shù)據(jù)存儲在不同的物理設(shè)備中。這種模式不僅擺脫了硬件設(shè)備的限制，同時擴展性更好，能夠快速響應(yīng)用戶需求的變化。

　　分布式存儲與傳統(tǒng)的網(wǎng)絡(luò)存儲并不完全一樣，傳統(tǒng)的網(wǎng)絡(luò)存儲系統(tǒng)采用集中的存儲服務(wù)器存放所有數(shù)據(jù)，存儲服務(wù)器成為系統(tǒng)性能的瓶頸，不能滿足大規(guī)模存儲應(yīng)用的需要。分布式網(wǎng)絡(luò)存儲系統(tǒng)采用可擴展的系統(tǒng)結(jié)構(gòu)，利用多臺存儲服務(wù)器分擔(dān)存儲負荷，利用位置服務(wù)器定位存儲信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴展。

　　在當(dāng)前的云計算領(lǐng)域，Google的GFS和Hadoop開發(fā)的開源系統(tǒng)HDFS是比較流行的兩種云計算分布式存儲系統(tǒng)。

　　GFS（Google File System）技術(shù)：谷歌的非開源的GFS（GoogleFile System）云計算平臺滿足大量用戶的需求，并行地為大量用戶提供服務(wù)。使得云計算的數(shù)據(jù)存儲技術(shù)具有了高吞吐率和高傳輸率的特點。

　　HDFS（Hadoop Distributed File System）技術(shù)：大部分ICT廠商，包括Yahoo、Intel的“云”計劃采用的都是HDFS的數(shù)據(jù)存儲技術(shù)。未來的發(fā)展將集中在超大規(guī)模的數(shù)據(jù)存儲、數(shù)據(jù)加密和安全性保證、以及繼續(xù)提高I/O速率等方面。

　　3、編程模式

　　從本質(zhì)上講，云計算是一個多用戶、多任務(wù)、支持并發(fā)處理的系統(tǒng)。高效、簡捷、快速是其核心理念，它旨在通過網(wǎng)絡(luò)把強大的服務(wù)器計算資源方便地分發(fā)到終端用戶手中，同時保證低成本和良好的用戶體驗。在這個過程中，編程模式的選擇至關(guān)重要。云計算項目中分布式并行編程模式將被廣泛采用。

　　分布式并行編程模式創(chuàng)立的初衷是更高效地利用軟、硬件資源，讓用戶更快速、更簡單地使用應(yīng)用或服務(wù)。在分布式并行編程模式中，后臺復(fù)雜的任務(wù)處理和資源調(diào)度對于用戶來說是透明的，這樣用戶體驗?zāi)軌虼蟠筇嵘?。MapReduce是當(dāng)前云計算主流并行編程模式之一。MapReduce模式將任務(wù)自動分成多個子任務(wù)，通過Map和Reduce兩步實現(xiàn)任務(wù)在大規(guī)模計算節(jié)點中的高度與分配。

　　MapReduce是Google開發(fā)的java、Python、C++編程模型，主要用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算。MapReduce模式的思想是將要執(zhí)行的問題分解成Map（映射）和Reduce（化簡）的方式，先通過Map程序?qū)?shù)據(jù)切割成不相關(guān)的區(qū)塊，分配（調(diào)度）給大量計算機處理，達到分布式運算的效果，再通過Reduce程序?qū)⒔Y(jié)果匯整輸出。

　　4、大規(guī)模數(shù)據(jù)管理

　　處理海量數(shù)據(jù)是云計算的一大優(yōu)勢。那么如何處理則涉及到很多層面的東西，因此高效的數(shù)據(jù)處理技術(shù)也是云計算不可或缺的核心技術(shù)之一。對于云計算來說，數(shù)據(jù)管理面臨巨大的挑戰(zhàn)。云計算不僅要保證數(shù)據(jù)的存儲和訪問，還要能夠?qū)Ａ繑?shù)據(jù)進行特定的檢索和分析。由于云計算需要對海量的分布式數(shù)據(jù)進行處理、分析，因此，數(shù)據(jù)管理技術(shù)必需能夠高效的管理大量的數(shù)據(jù)。

　　Google的BT（BigTable）數(shù)據(jù)管理技術(shù)和Hadoop團隊開發(fā)的開源數(shù)據(jù)管理模塊HBase是業(yè)界比較典型的大規(guī)模數(shù)據(jù)管理技術(shù)。

　　BT（BigTable）數(shù)據(jù)管理技術(shù)：BigTable是非關(guān)系的數(shù)據(jù)庫，是一個分布式的、持久化存儲的多維度排序Map.BigTable建立在 GFS,Scheduler, Lock Service和MapReduce之上，與傳統(tǒng)的關(guān)系數(shù)據(jù)庫不同，它把所有數(shù)據(jù)都作為對象來處理，形成一個巨大的表格，用來分布存儲大規(guī)模結(jié)構(gòu)化數(shù)據(jù)。 Bigtable的設(shè)計目的是可靠的處理PB級別的數(shù)據(jù)，并且能夠部署到上千臺機器上。

　　開源數(shù)據(jù)管理模塊HBase:HBase是Apache的Hadoop項目的子項目，定位于分布式、面向列的開源數(shù)據(jù)庫。HBase不同于一般的關(guān)系數(shù)據(jù)庫，它是一個適合于非結(jié)構(gòu)化數(shù)據(jù)存儲的數(shù)據(jù)庫。另一個不同的是HBase基于列的而不是基于行的模式。作為高可靠性分布式存儲系統(tǒng)，HBase在性能和可伸縮方面都有比較好的表現(xiàn)。利用HBase技術(shù)可在廉價PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。

　　5、分布式資源管理

　　云計算采用了分布式存儲技術(shù)存儲數(shù)據(jù)，那么自然要引入分布式資源管理技術(shù)。在多節(jié)點的并發(fā)執(zhí)行環(huán)境中，各個節(jié)點的狀態(tài)需要同步，并且在單個節(jié)點出現(xiàn)故障時，系統(tǒng)需要有效的機制保證其它節(jié)點不受影響。而分布式資源管理系統(tǒng)恰是這樣的技術(shù)，它是保證系統(tǒng)狀態(tài)的關(guān)鍵。

　　另外，云計算系統(tǒng)所處理的資源往往非常龐大，少則幾百臺服務(wù)器，多則上萬臺，同時可能跨躍多個地域。且云平臺中運行的應(yīng)用也是數(shù)以千計，如何有效地管理這批資源，保證它們正常提供服務(wù)，需要強大的技術(shù)支撐。因此，分布式資源管理技術(shù)的重要性可想而知。

　　全球各大云計算方案/服務(wù)提供商們都在積極開展相關(guān)技術(shù)的研發(fā)工作。其中Google內(nèi)部使用的Borg技術(shù)很受業(yè)內(nèi)稱道。另外，微軟、IBM、Oracle/Sun等云計算巨頭都有相應(yīng)解決方案提出。

　　6、信息安全

　　調(diào)查數(shù)據(jù)表明，安全已經(jīng)成為阻礙云計算發(fā)展的最主要原因之一。數(shù)據(jù)顯示，32%已經(jīng)使用云計算的組織和45%尚未使用云計算的組織的ICT管理將云安全作為進一步部署云的最大障礙。因此，要想保證云計算能夠長期穩(wěn)定、快速發(fā)展，安全是首要需要解決的問題。

　　事實上，云計算安全也不是新問題，傳統(tǒng)互聯(lián)網(wǎng)存在同樣的問題。只是云計算出現(xiàn)以后，安全問題變得更加突出。在云計算體系中，安全涉及到很多層面，包括網(wǎng)絡(luò)安全、服務(wù)器安全、軟件安全、系統(tǒng)安全等等。因此，有分析師認為，云安全產(chǎn)業(yè)的發(fā)展，將把傳統(tǒng)安全技術(shù)提到一個新的階段。

　　現(xiàn)在，不管是軟件安全廠商還是硬件安全廠商都在積極研發(fā)云計算安全產(chǎn)品和方案。包括傳統(tǒng)殺毒軟件廠商、軟硬防火墻廠商、IDS/IPS廠商在內(nèi)的各個層面的安全供應(yīng)商都已加入到云安全領(lǐng)域。相信在不久的將來，云安全問題將得到很好的解決.

　　7、云計算平臺管理

　　云計算資源規(guī)模龐大，服務(wù)器數(shù)量眾多并分布在不同的地點，同時運行著數(shù)百種應(yīng)用，如何有效地管理這些服務(wù)器，保證整個系統(tǒng)提供不間斷的服務(wù)是巨大的挑戰(zhàn)。云計算系統(tǒng)的平臺管理技術(shù)，需要具有高效調(diào)配大量服務(wù)器資源，使其更好協(xié)同工作的能力。其中，方便地部署和開通新業(yè)務(wù)、快速發(fā)現(xiàn)并且恢復(fù)系統(tǒng)故障、通過自動化、智能化手段實現(xiàn)大規(guī)模系統(tǒng)可靠的運營是云計算平臺管理技術(shù)的關(guān)鍵。

　　對于提供者而言，云計算可以有三種部署模式，即公共云、私有云和混合云。三種模式對平臺管理的要求大不相同。對于用戶而言，由于企業(yè)對于ICT資源共享的控制、對系統(tǒng)效率的要求以及ICT成本投入預(yù)算不盡相同，企業(yè)所需要的云計算系統(tǒng)規(guī)模及可管理性能也大不相同。因此，云計算平臺管理方案要更多地考慮到定制化需求，能夠滿足不同場景的應(yīng)用需求。

　　包括Google、IBM、微軟、Oracle/Sun等在內(nèi)的許多廠商都有云計算平臺管理方案推出。這些方案能夠幫助企業(yè)實現(xiàn)基礎(chǔ)架構(gòu)整合、實現(xiàn)企業(yè)硬件資源和軟件資源的統(tǒng)一管理、統(tǒng)一分配、統(tǒng)一部署、統(tǒng)一監(jiān)控和統(tǒng)一備份，打破應(yīng)用對資源的獨占，讓企業(yè)云計算平臺價值得以充分發(fā)揮。