五分鐘學(xué)后端技術(shù)：一篇文章告訴你什么是云計(jì)算！

　　作者：劉超

　　轉(zhuǎn)載自【劉超的通俗云計(jì)算】

　　什么是云計(jì)算

　　早在十年前，市場(chǎng)上就出現(xiàn)了很多和云計(jì)算相關(guān)的崗位，當(dāng)時(shí)正是云計(jì)算技術(shù)最火熱的時(shí)代，不管是BAT還是華為等企業(yè)都開始布局云計(jì)算，于是OpenStack研發(fā)、容器研發(fā)、底層開發(fā)等相關(guān)崗位相應(yīng)地也越來越多，雖然這幾年大數(shù)據(jù)和AI的風(fēng)頭已經(jīng)完全壓過了云計(jì)算，但是這一門技術(shù)仍然在現(xiàn)如今的技術(shù)體系中占有很重要的位置。那么，到底什么是云計(jì)算，就是我們每一個(gè)要學(xué)習(xí)云計(jì)算技術(shù)的朋友要了解的事情了，根據(jù)百度百科的介紹

　　大數(shù)據(jù)（big data），IT行業(yè)術(shù)語，是指無法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。 在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時(shí)代》 [1] 中大數(shù)據(jù)指不用隨機(jī)分析法（抽樣調(diào)查）這樣捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理。大數(shù)據(jù)的5V特點(diǎn)（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價(jià)值密度）、Veracity（真實(shí)性）。 [2]

　　云計(jì)算的發(fā)展史

　　物理機(jī)時(shí)代

　　云計(jì)算的整個(gè)過程，用一個(gè)詞來講就是“分久必合，合久必分”。

　　云計(jì)算其實(shí)主要解決了四個(gè)方面的內(nèi)容：計(jì)算，網(wǎng)絡(luò)，存儲(chǔ)，應(yīng)用。前三者是資源層面的，最后是應(yīng)用層面的。

　　計(jì)算是CPU和內(nèi)存，為啥？1+1這個(gè)最簡單的算法是把1放在內(nèi)存里面，運(yùn)行加法是CPU做的，做完了結(jié)果2又保存在內(nèi)存里面。 網(wǎng)絡(luò)就是你插根網(wǎng)線能上網(wǎng)。 存儲(chǔ)就是你下個(gè)電影有地方放。本次討論就是圍繞這四個(gè)部分來講的。 在原始社會(huì)，大家最愛用的是物理設(shè)備：

　　服務(wù)器用的是物理機(jī)，例如戴爾，惠普，IBM，聯(lián)想等物理服務(wù)器，隨著硬件設(shè)備的進(jìn)步，物理服務(wù)器越來越強(qiáng)大了，64核128G內(nèi)存都算是普通配置。 網(wǎng)絡(luò)用的是硬件交換機(jī)和路由器，例如思科的，華為的，從1GE到10GE，現(xiàn)在有40GE和100GE，帶寬越來越牛。 存儲(chǔ)方面有的用普通的磁盤，也有了更快的SSD盤。容量從M，到G，連筆記本電腦都能配置到T，更何況磁盤陣列。 如果部署應(yīng)用直接使用物理機(jī)，看起來很爽，總有種土豪的感覺，卻又大大的缺點(diǎn)：

　　人工運(yùn)維：如果你在一臺(tái)服務(wù)器上安裝軟件，把系統(tǒng)安裝壞了，怎么辦？只有重裝。當(dāng)你想配置一下交換機(jī)的參數(shù)，需要串口連上去進(jìn)行配置。當(dāng)你想增加一塊磁盤，總要買一塊插進(jìn)服務(wù)器。這些都需要人工來，而且很大可能要求機(jī)房。你們公司在北五環(huán)，機(jī)房在南六環(huán)，這酸爽。 浪費(fèi)資源：其實(shí)你只想部署一個(gè)小小的網(wǎng)站，卻要用128G的內(nèi)存?；熘渴鸢桑陀懈綦x性的問題。 隔離性差：你把好多的應(yīng)用部署在同一臺(tái)物理機(jī)上，他們之間搶內(nèi)存，搶cpu，一個(gè)寫滿了硬盤，另一個(gè)就沒法用了，一個(gè)弄掛了內(nèi)核，另一個(gè)也同時(shí)掛了，如果部署兩個(gè)相同的應(yīng)用，端口還會(huì)沖突，動(dòng)不動(dòng)就會(huì)出錯(cuò)。 于是有了第一次合久必分的過程，叫做虛擬化。所謂虛擬化，就是把實(shí)的變成虛的。

　　虛擬機(jī)的誕生

　　物理機(jī)變?yōu)樘摂M機(jī)：cpu是虛擬的，內(nèi)存是虛擬的，內(nèi)核是虛擬的，硬盤是虛擬的。 物理交換機(jī)變?yōu)樘摂M交換機(jī)：網(wǎng)卡是虛擬的，交換機(jī)是虛擬的，帶寬也是虛擬的。 物理存儲(chǔ)變成虛擬存儲(chǔ)：多塊硬盤虛擬成一大塊。 虛擬化很好的解決了上面的三個(gè)問題：

　　人工運(yùn)維：虛擬機(jī)的創(chuàng)建和刪除都可以遠(yuǎn)程操作，虛擬機(jī)被玩壞了，刪了再建一個(gè)分鐘級(jí)別的。虛擬網(wǎng)絡(luò)的配置也可以遠(yuǎn)程操作，創(chuàng)建網(wǎng)卡，分配帶寬都是調(diào)用接口就能搞定的。 浪費(fèi)資源：虛擬化了以后，資源可以分配的很小很小，比如1個(gè)cpu，1G內(nèi)存，1M帶寬，1G硬盤，都可以被虛擬出來。 隔離性差：每個(gè)虛擬機(jī)有獨(dú)立的cpu, 內(nèi)存，硬盤，網(wǎng)卡，不同虛擬機(jī)的應(yīng)用互不干擾。 但是虛擬化還有以下的缺點(diǎn)，通過虛擬化軟件創(chuàng)建虛擬機(jī)，需要人工指定放在哪臺(tái)機(jī)器上，硬盤放在哪個(gè)存儲(chǔ)設(shè)備上，網(wǎng)絡(luò)的VLAN ID，帶寬具體的配置，都需要人工指定。所以單單使用虛擬化的運(yùn)維工程師往往有一個(gè)Excel表格，有多少臺(tái)機(jī)器，每臺(tái)機(jī)器部署了哪些虛擬機(jī)。所以，一般虛擬化的集群數(shù)目都不是特別的大。

　　在虛擬化階段，領(lǐng)跑者是Vmware，可以實(shí)現(xiàn)基本的計(jì)算，網(wǎng)絡(luò)，存儲(chǔ)的虛擬化。

　　當(dāng)然這個(gè)世界有閉源，就有開源，有windows就有l(wèi)inux，有apple就有andord，有Vmware，就有Xen和KVM。在開源虛擬化方面，Xen方面Citrix做的不錯(cuò)，后來Redhat在KVM發(fā)力不少。

　　對(duì)于網(wǎng)絡(luò)虛擬化，有Openvswitch，可以通過命令創(chuàng)建網(wǎng)橋，網(wǎng)卡，設(shè)置VLAN，設(shè)置帶寬。

　　對(duì)于存儲(chǔ)虛擬化，對(duì)于本地盤，有LVM，可以將多個(gè)硬盤變成一大塊盤，然后在里面切出一小塊給用戶。

　　為了解決虛擬化階段剩余的問題，于是有了分久必合的過程。這個(gè)過程我們可以形象的稱為池化，也就是說虛擬化已經(jīng)將資源分的很細(xì)了，但是對(duì)于如此細(xì)粒度的資源靠Excel去管理，成本太高，能不能打成一個(gè)大的池，當(dāng)需要資源的時(shí)候，幫助用戶自動(dòng)的選擇，而非用戶指定。所以這個(gè)階段的關(guān)鍵點(diǎn)：調(diào)度器Scheduler。

　　公有云和私有云

　　于是vmware有了自己的vcloud。

　　于是基于Xen和KVM的私有云平臺(tái)CloudStack，后來Citrix將其收購后開源。

　　當(dāng)這些私有云平臺(tái)在用戶的數(shù)據(jù)中心里面賣的其貴無比，賺的盆滿缽滿的時(shí)候。有其他的公司開始了另外的選擇，這就是AWS和Google，開始了公有云領(lǐng)域的探索。

　　AWS最初就是基于Xen技術(shù)進(jìn)行虛擬化的，并且最終形成了公有云平臺(tái)。也許AWS最初只是不想讓自己的電商領(lǐng)域的利潤全部交給私有云廠商吧，于是自己的云平臺(tái)首先支撐起了自己的業(yè)務(wù)，在這個(gè)過程中，AWS自己嚴(yán)肅的使用了自己的云計(jì)算平臺(tái)，使得公有云平臺(tái)不是對(duì)于資源的配置更加友好，而是對(duì)于應(yīng)用的部署更加友好，最終大放異彩。

　　如果我們仔細(xì)觀察就會(huì)發(fā)現(xiàn)，私有云和公有云使用的是類似的技術(shù)，卻在產(chǎn)品設(shè)計(jì)上是完全不同的兩種生物。私有云廠商和公有云廠商也擁有類似的技術(shù)，卻在產(chǎn)品運(yùn)營上呈現(xiàn)出完全不同的基因。

　　私有云廠商都是賣資源的，所以往往在賣私有云平臺(tái)的時(shí)候往往伴隨著賣計(jì)算，網(wǎng)絡(luò)，存儲(chǔ)設(shè)備。在產(chǎn)品設(shè)計(jì)上，私有云廠商往往強(qiáng)調(diào)又長又詳盡，但是客戶幾乎不會(huì)使用的計(jì)算，網(wǎng)絡(luò)，存儲(chǔ)的技術(shù)參數(shù)，因?yàn)檫@些參數(shù)可以用來和友商對(duì)標(biāo)的過程中占盡優(yōu)勢(shì)。私有云的廠商幾乎沒有自己的大規(guī)模應(yīng)用，所以私有云廠商的平臺(tái)做出來是給別人用的，自己不會(huì)大規(guī)模使用，于是產(chǎn)品往往圍繞資源展開，而不會(huì)對(duì)應(yīng)用的部署友好。

　　公有云的廠商往往都是有自己的大規(guī)模應(yīng)用需要部署的，所以其產(chǎn)品的設(shè)計(jì)，可以將常見的應(yīng)用部署所需要的模塊作為組件提供出來，用戶可以像拼積木一樣，拼接一個(gè)適用于自己應(yīng)用的架構(gòu)。公有云廠商不必要關(guān)心各種技術(shù)參數(shù)的PK，不必關(guān)心是否開源，是否兼容各種虛擬化平臺(tái)，兼容各種服務(wù)器設(shè)備，網(wǎng)絡(luò)設(shè)備，存儲(chǔ)設(shè)備。你管我用什么，客戶部署應(yīng)用方便就好。

　　OpenStack的誕生

　　當(dāng)然公有云的第一名AWS活的很爽，第二名Rackspace就不太爽了，沒錯(cuò)，互聯(lián)網(wǎng)行業(yè)嘛，基本上就是一家獨(dú)大。第二名如何逆襲呢？開源是很好的辦法，讓整個(gè)行業(yè)大家一起為這個(gè)云平臺(tái)出力，兄弟們，大家一起上。于是Rackspace與美國航空航天局（NASA）合作創(chuàng)始了開源云平臺(tái)OpenStack。OpenStack現(xiàn)在發(fā)展的和AWS有點(diǎn)像了，所以從OpenStack的模塊組成，可以看到云計(jì)算池化的方法。

　　OpenStack包含哪些組件呢？

　　計(jì)算池化模塊Nova：OpenStack的計(jì)算虛擬化主要使用KVM，然而到底在那個(gè)物理機(jī)上開虛擬機(jī)呢，這要靠nova-scheduler。

　　網(wǎng)絡(luò)池化模塊Neutron：OpenStack的網(wǎng)絡(luò)虛擬化主要使用Openvswitch，然而對(duì)于每一個(gè)Openvswitch的虛擬網(wǎng)絡(luò)，虛擬網(wǎng)卡，VLAN，帶寬的配置，不需要登錄到集群上配置，Neutron可以通過SDN的方式進(jìn)行配置。

　　存儲(chǔ)池化模塊Cinder:OpenStack的存儲(chǔ)虛擬化，如果使用本地盤，則基于LVM，使用哪個(gè)LVM上分配的盤，也是用過scheduler來的。后來就有了將多臺(tái)機(jī)器的硬盤打成一個(gè)池的方式Ceph，則調(diào)度的過程，則在Ceph層完成。

　　有了OpenStack，所有的私有云廠商都瘋了，原來VMware在私有云市場(chǎng)實(shí)在賺的太多了，眼巴巴的看著，沒有對(duì)應(yīng)的平臺(tái)可以和他抗衡?，F(xiàn)在有了現(xiàn)成的框架，再加上自己的硬件設(shè)備，你可以想象到的所有的IT廠商的巨頭，全部加入到社區(qū)里面來，將OpenStack開發(fā)為自己的產(chǎn)品，連同硬件設(shè)備一起，殺入私有云市場(chǎng)。

　　網(wǎng)易當(dāng)然也沒有錯(cuò)過這次風(fēng)口，上線了自己的OpenStack集群，網(wǎng)易蜂巢基于OpenStack自主研發(fā)了IaaS服務(wù)，在計(jì)算虛擬化方面，通過裁剪KVM鏡像，優(yōu)化虛擬機(jī)啟動(dòng)流程等改進(jìn)，實(shí)現(xiàn)了虛擬機(jī)的秒級(jí)別啟動(dòng)。在網(wǎng)絡(luò)虛擬化方面，通過SDN和Openvswitch技術(shù)，實(shí)現(xiàn)了虛擬機(jī)之間的高性能互訪。在存儲(chǔ)虛擬化方面，通過優(yōu)化Ceph存儲(chǔ)，實(shí)現(xiàn)高性能云盤。

　　但是網(wǎng)易并沒有殺進(jìn)私有云市場(chǎng)，而是使用OpenStack支撐起了自己的應(yīng)用，這是互聯(lián)網(wǎng)的思維，沒錯(cuò)。僅僅是資源層面彈性是不夠的，還需要開發(fā)出對(duì)應(yīng)用部署友好的組件。例如數(shù)據(jù)庫，負(fù)載均衡，緩存等，這些都是應(yīng)用部署必不可少的，也是網(wǎng)易在大規(guī)模應(yīng)用實(shí)踐中，千錘百煉過的。這些組件稱為PaaS。

　　從IAAS到PAAS

　　前面一直在講IaaS層的故事，也即基礎(chǔ)設(shè)施即服務(wù)，基本上在談?dòng)?jì)算，網(wǎng)絡(luò)，存儲(chǔ)的事情?，F(xiàn)在應(yīng)該說說應(yīng)用層的事情了。

　　IaaS的定義比較清楚，PaaS的定義就沒那么清楚了，有的把數(shù)據(jù)庫，負(fù)載均衡，緩存作為PaaS服務(wù)，有的把大數(shù)據(jù)Hadoop, Spark平臺(tái)作為PaaS服務(wù)，有的講應(yīng)用的安裝與管理，例如Puppet, Chef, Ansible作為PaaS服務(wù)。

　　其實(shí)PaaS主要用于管理應(yīng)用層的，我總結(jié)兩部分：一部分是你自己的應(yīng)用應(yīng)當(dāng)自動(dòng)部署，比如Puppet, Chef, Ansible, Cloud Foundry等，可以通過腳本幫你部署，一部分是你覺得復(fù)雜的通用應(yīng)用不用部署，比如數(shù)據(jù)庫，緩存，大數(shù)據(jù)平臺(tái)，可以在云平臺(tái)上一點(diǎn)即得。

　　要么就是自動(dòng)部署，要么不用部署，總的來說就是應(yīng)用層您也少操心，就是PaaS的作用。當(dāng)然最好是都不用部署，一鍵可得，所以公有云平臺(tái)將通用的服務(wù)都做成了PaaS平臺(tái)。另一些應(yīng)用，是您自己開發(fā)的，除了你自己，其他人都不知道，所以您可以用工具變成自動(dòng)部署。

　　有了PaaS最大的優(yōu)點(diǎn)，就是可以實(shí)現(xiàn)應(yīng)用層的彈性伸縮。比如雙十一來了，10個(gè)節(jié)點(diǎn)要變成100個(gè)節(jié)點(diǎn)，如果使用物理設(shè)備，再買90臺(tái)機(jī)器固然來不及，僅僅只有IaaS實(shí)現(xiàn)資源的彈性是不夠的，再創(chuàng)建90臺(tái)虛擬機(jī)，也是空的啊，還是需要運(yùn)維人員一臺(tái)一臺(tái)的部署。所以有了PaaS就好了，一臺(tái)虛擬機(jī)啟動(dòng)后，馬上運(yùn)行自動(dòng)部署腳本，進(jìn)行應(yīng)用的安裝，90臺(tái)機(jī)器自動(dòng)安裝好了應(yīng)用，才是真正的彈性伸縮。

　　當(dāng)然這種部署方式也有一個(gè)問題，就是無論P(yáng)uppet, Chef, Ansible把安裝腳本抽象的再好，說到底也是基于腳本的，然而應(yīng)用所在的環(huán)境千差萬別，文件路徑的差別，文件權(quán)限的差別，依賴包的差別，應(yīng)用環(huán)境的差別，Tomcat, PHP, Apache等軟件版本的差別，JDK，Python等版本的差別，是否安裝了一些系統(tǒng)軟件，是否占用了哪些端口，都可能造成腳本執(zhí)行的不成功。所以看起來是一旦腳本寫好，就能夠快速復(fù)制了，但是一旦環(huán)境稍有改變，就需要把腳本進(jìn)行新一輪的修改，測(cè)試，聯(lián)調(diào)。例如在數(shù)據(jù)中心寫好的腳本，移到AWS上就不一定直接能用，在AWS上聯(lián)調(diào)好了，遷移到Google Cloud上去也可能再會(huì)出問題。

　　容器的誕生

　　于是容器應(yīng)運(yùn)而生。容器是Container，Container另一個(gè)意思是集裝箱，其實(shí)容器的思想就是要變成軟件交付的集裝箱。集裝箱的特點(diǎn)，一是打包，二是標(biāo)準(zhǔn)。設(shè)想沒有集裝箱的時(shí)代，如果從A將貨物運(yùn)到B，中間要經(jīng)過三個(gè)碼頭，換三次船的話，每次貨物都要卸下船來，擺的七零八落，然后再換船的時(shí)候，需要重新整齊擺好，所以沒有集裝箱的時(shí)候，船員們都能夠在岸上待幾天再走。然而有了集裝箱，所有的貨物都打包在一起了，并且集裝箱的尺寸全部一致，所以每次換船的時(shí)候，整體一個(gè)箱子搬過去就可以了，小時(shí)級(jí)別就能完成，船員再也不能上岸長時(shí)間休息了。所以設(shè)想A就是程序員，B就是用戶，貨物就是代碼及運(yùn)行環(huán)境，中間的三個(gè)碼頭分別是開發(fā)，測(cè)試，上線。

　　假設(shè)代碼的運(yùn)行環(huán)境如下：

　　1. Ubuntu操作系統(tǒng)

　　2. 創(chuàng)建用戶hadoop

　　3. 下載解壓縮JDK 1.7在某個(gè)目錄下

　　4. 將這個(gè)目錄加入JAVA_HOME和PATH的環(huán)境變量里面

　　5. 將環(huán)境變量的export放在hadoop用戶的home目錄下的.bashrc文件中

　　6. 下載并解壓縮tomcat 7

　　7. 將war放到tomcat的webapp路徑下面

　　8. 修改tomcat的啟動(dòng)參數(shù)，將Java的Heap Size設(shè)為1024M

　　看，一個(gè)簡單的Java網(wǎng)站，就需要考慮這么多零零散散的東西，如果不打包，就需要在開發(fā)，測(cè)試，生產(chǎn)的每個(gè)環(huán)境上查看保證環(huán)境的一致，甚至要將這些環(huán)境重新搭建一遍，就像每次將貨物打散了重裝一樣麻煩，中間稍有差池，比如開發(fā)環(huán)境用了JDK 1.8，而線上是JDK 1.7，比如開發(fā)環(huán)境用了root用戶，線上需要使用hadoop用戶，都可能導(dǎo)致程序的運(yùn)行失敗。

　　容器如何對(duì)應(yīng)用打包呢？還是要學(xué)習(xí)集裝箱，首先要有個(gè)封閉的環(huán)境，將貨物封裝起來，讓貨物之間互不干擾，互相隔離，這樣裝貨卸貨才方便。好在ubuntu中的lxc技術(shù)早就能做到這一點(diǎn)，這里主要使用了兩種技術(shù)，一種是看起來是隔離的技術(shù)，稱為namespace，也即每個(gè)namespace中的應(yīng)用看到的是不同的IP地址，用戶空間，進(jìn)程號(hào)等。另一種是用起來是隔離的，稱為cgroup，也即明明整臺(tái)機(jī)器有很多的CPU，內(nèi)存，而一個(gè)應(yīng)用只能用其中的一部分。

　　有了這兩項(xiàng)技術(shù)，集裝箱的鐵盒子我們是焊好了，接下來是決定往里面放什么的時(shí)候了。最簡單粗暴的方法，就是將上面列表中所有的都放到集裝箱里面。但是這樣太大了，因?yàn)樘摂M機(jī)的鏡像就是這樣的，動(dòng)輒幾十G，如果你安裝一個(gè)干干靜靜的ubuntu操作系統(tǒng)，什么都不裝，就很大了。這其實(shí)相當(dāng)于把船也放到了集裝箱里面，答案當(dāng)然是NO.

　　所以撇下第一項(xiàng)操作系統(tǒng)，剩下的所有的加起來，也就幾百M(fèi)，就輕便多了。所以一臺(tái)服務(wù)器上的容器是共享操作系統(tǒng)內(nèi)核的，容器在不同機(jī)器之間的遷移不帶內(nèi)核，這也是很多人聲稱容器是輕量級(jí)的虛擬機(jī)的原因。輕不白輕，自然隔離性就差了，一個(gè)集裝箱把船壓漏水了，所有的集裝箱一起沉。

　　另一個(gè)需要撇下的就是隨著應(yīng)用的運(yùn)行而產(chǎn)生并保存在本地的數(shù)據(jù)，多以文件的形式存在，例如數(shù)據(jù)庫文件，文本文件。這些文件會(huì)隨著應(yīng)用的運(yùn)行，越來越大，如果這些數(shù)據(jù)也放在容器里面，會(huì)讓容器變得很大，影響容器在不同環(huán)境的遷移。而且這些數(shù)據(jù)在開發(fā)，測(cè)試，線上環(huán)境之間的遷移是沒有意義的，生產(chǎn)環(huán)境不可能用測(cè)試環(huán)境的文件，所以往往這些數(shù)據(jù)也是保存在容器外面的存儲(chǔ)設(shè)備上。也是為什么人們稱容器是無狀態(tài)的。

　　至此集裝箱焊好了，貨物也裝進(jìn)去了，接下來就是如何將這個(gè)集裝箱標(biāo)準(zhǔn)化，從而在哪艘船上都能運(yùn)輸。這里的標(biāo)準(zhǔn)一個(gè)是鏡像，一個(gè)是容器的運(yùn)行環(huán)境。所謂的鏡像，就是將你焊好集裝箱的那個(gè)時(shí)刻，將集裝箱的狀態(tài)保存下來，就像孫悟空說定，集裝箱里面就定在了那一刻，然后將這一刻的狀態(tài)保存成一系列文件。這些文件的格式是標(biāo)準(zhǔn)的，誰看到這些文件，都能還原當(dāng)時(shí)定住的那個(gè)時(shí)刻。將鏡像還原成運(yùn)行時(shí)的過程，就是讀取鏡像文件，還原那個(gè)時(shí)刻的過程，也就是容器的運(yùn)行的過程。除了大名鼎鼎的Docker，還有其他的容器，例如AppC，Mesos Container，都能運(yùn)行容器鏡像。所以說容器不等于Docker。

　　總而言之，容器是輕量級(jí)的，隔離差的，適用于無狀態(tài)的，基于鏡像標(biāo)準(zhǔn)實(shí)現(xiàn)跨主機(jī)，跨環(huán)境的隨意遷移。

　　有了容器，使得PaaS層對(duì)于用戶自身應(yīng)用的自動(dòng)部署變得快速而優(yōu)雅。容器快，快在了兩方面，第一是虛擬機(jī)啟動(dòng)的時(shí)候要先啟動(dòng)操作系統(tǒng)，容器不用啟動(dòng)操作系統(tǒng)，因?yàn)槭枪蚕韮?nèi)核的。第二是虛擬機(jī)啟動(dòng)后使用腳本安裝應(yīng)用，容器不用安裝應(yīng)用，因?yàn)橐呀?jīng)打包在鏡像里面了。所以最終虛擬機(jī)的啟動(dòng)是分鐘級(jí)別，而容器的啟動(dòng)是秒級(jí)。容器咋這么神奇。其實(shí)一點(diǎn)都不神奇，第一是偷懶少干活了，第二是提前把活干好了。

　　因?yàn)槿萜鞯膯?dòng)快，人們往往不會(huì)創(chuàng)建一個(gè)個(gè)小的虛擬機(jī)來剛剛部署應(yīng)用，因?yàn)檫@樣太費(fèi)時(shí)間了，而是創(chuàng)建一個(gè)大的虛擬機(jī)，然后在大的虛擬機(jī)里面再劃分容器，而不同的用戶不共享大的虛擬機(jī)，可以實(shí)現(xiàn)操作系統(tǒng)內(nèi)核的隔離。

　　這又是一次合久必分的過程。由IaaS層的虛擬機(jī)池，劃分為更細(xì)粒度的容器池。

　　容器的粒度更加細(xì)，管理起來更難管，甚至是手動(dòng)操作難以應(yīng)對(duì)的。假設(shè)你有100臺(tái)物理機(jī)，其實(shí)規(guī)模不是太大，用Excel人工管理是沒問題的，但是一臺(tái)上面開10臺(tái)虛擬機(jī)，虛擬機(jī)的個(gè)數(shù)就是1000臺(tái)，人工管理已經(jīng)很困難了，但是一臺(tái)虛擬機(jī)里面開10個(gè)容器，就是10000個(gè)容器，你是不是已經(jīng)徹底放棄人工運(yùn)維的想法了。

　　所以容器層面的管理平臺(tái)是一個(gè)新的挑戰(zhàn)，關(guān)鍵字就是自動(dòng)化：

　　自發(fā)現(xiàn)：容器與容器之間的相互配置還能像虛擬機(jī)一樣，記住IP地址，然后互相配置嗎？這么多容器，你怎么記得住一旦一臺(tái)虛擬機(jī)掛了重啟，IP改變，應(yīng)該改哪些配置，列表長度至少萬行級(jí)別的啊。所以容器之間的配置通過名稱來的，無論容器跑到哪臺(tái)機(jī)器上，名稱不變，就能訪問到。 自修復(fù)：容器掛了，或是進(jìn)程宕機(jī)了，能像虛擬機(jī)那樣，登陸上去查看一下進(jìn)程狀態(tài)，如果不正常重啟一下么？你要登陸萬臺(tái)docker了。所以容器的進(jìn)程掛了，容器就自動(dòng)掛掉了，然后自動(dòng)重啟。 彈性自伸縮 Auto Scaling：當(dāng)容器的性能不足的時(shí)候，需要手動(dòng)伸縮，手動(dòng)部署么？當(dāng)然也要自動(dòng)來。 如果有了容器的管理平臺(tái)，又是一次分久必合。

　　容器管理平臺(tái)

　　當(dāng)前火熱的容器管理平臺(tái)有三大流派：

　　一個(gè)是Kubernetes，我們稱為段譽(yù)型。段譽(yù)(Kubernetes)的父親(Borg)武功高強(qiáng)，出身皇族(Google)，管理過偌大的一個(gè)大理國(Borg是Google數(shù)據(jù)中心的容器管理平臺(tái))。作為大理段式后裔，段譽(yù)的武功基因良好(Kubernetes的理念設(shè)計(jì)比較完善)，周圍的高手云集，習(xí)武環(huán)境也好(Kubernetes生態(tài)活躍，熱度高)，雖然剛剛出道的段譽(yù)武功不及其父親，但是只要跟著周圍的高手不斷切磋，武功既可以飛速提升。

　　一個(gè)是Mesos，我們稱為喬峰型。喬峰(Mesos)的主要功夫降龍十八掌(Mesos的調(diào)度功能)獨(dú)步武林，為其他幫派所無。而且喬峰也管理過人數(shù)眾多的丐幫(Mesos管理過Tweeter的容器集群)。后來喬峰從丐幫出來，在江湖中特例獨(dú)行(Mesos的創(chuàng)始人成立了公司Mesosphere)。喬峰的優(yōu)勢(shì)在于，喬峰的降龍十八掌(Mesos)就是在丐幫中使用的降龍十八掌，相比與段譽(yù)初學(xué)其父的武功來說，要成熟很多。但是缺點(diǎn)是，降龍十八掌只掌握在少數(shù)的幾個(gè)丐幫幫主手中(Mesos社區(qū)還是以Mesosphere為主導(dǎo))，其他丐幫兄弟只能遠(yuǎn)遠(yuǎn)崇拜喬峰，而無法相互切磋(社區(qū)熱度不足)。

　　一個(gè)是Swarm，我們稱為慕容型。慕容家族(Swarm是Docker家族的集群管理軟件)的個(gè)人功夫是非常棒的(Docker可以說稱為容器的事實(shí)標(biāo)準(zhǔn))，但是看到段譽(yù)和喬峰能夠管理的組織規(guī)模越來越大，有一統(tǒng)江湖的趨勢(shì)，著實(shí)眼紅了，于是開始想創(chuàng)建自己的慕容鮮卑帝國(推出Swarm容器集群管理軟件)。但是個(gè)人功夫好，并不代表著組織能力強(qiáng)(Swarm的集群管理能力)，好在慕容家族可以借鑒段譽(yù)和喬峰的組織管理經(jīng)驗(yàn)，學(xué)習(xí)各家公司，以彼之道，還施彼身，使得慕容公子的組織能力(Swarm借鑒了很多前面的集群管理思想)也在逐漸的成熟中。

　　云計(jì)算方面核心技術(shù)有哪些？

　　云計(jì)算是一種以數(shù)據(jù)和處理能力為中心的密集型計(jì)算模式，它融合了多項(xiàng)ICT技術(shù)，是傳統(tǒng)技術(shù)“平滑演進(jìn)”的產(chǎn)物。其中以虛擬化技術(shù)、分布式數(shù)據(jù)存儲(chǔ)技術(shù)、編程模型、大規(guī)模數(shù)據(jù)管理技術(shù)、分布式資源管理、信息安全、云計(jì)算平臺(tái)管理技術(shù)、綠色節(jié)能技術(shù)最為關(guān)鍵。

　　1、虛擬化技術(shù)

　　虛擬化是云計(jì)算最重要的核心技術(shù)之一，它為云計(jì)算服務(wù)提供基礎(chǔ)架構(gòu)層面的支撐，是ICT服務(wù)快速走向云計(jì)算的最主要驅(qū)動(dòng)力。可以說，沒有虛擬化技術(shù)也就沒有云計(jì)算服務(wù)的落地與成功。隨著云計(jì)算應(yīng)用的持續(xù)升溫，業(yè)內(nèi)對(duì)虛擬化技術(shù)的重視也提到了一個(gè)新的高度。與此同時(shí)，我們的調(diào)查發(fā)現(xiàn)，很多人對(duì)云計(jì)算和虛擬化的認(rèn)識(shí)都存在誤區(qū)，認(rèn)為云計(jì)算就是虛擬化。事實(shí)上并非如此，虛擬化是云計(jì)算的重要組成部分但不是全部。

　　從技術(shù)上講，虛擬化是一種在軟件中仿真計(jì)算機(jī)硬件，以虛擬資源為用戶提供服務(wù)的計(jì)算形式。旨在合理調(diào)配計(jì)算機(jī)資源，使其更高效地提供服務(wù)。它把應(yīng)用系統(tǒng)各硬件間的物理劃分打破，從而實(shí)現(xiàn)架構(gòu)的動(dòng)態(tài)化，實(shí)現(xiàn)物理資源的集中管理和使用。虛擬化的最大好處是增強(qiáng)系統(tǒng)的彈性和靈活性，降低成本、改進(jìn)服務(wù)、提高資源利用效率。

　　從表現(xiàn)形式上看，虛擬化又分兩種應(yīng)用模式。一是將一臺(tái)性能強(qiáng)大的服務(wù)器虛擬成多個(gè)獨(dú)立的小服務(wù)器，服務(wù)不同的用戶。二是將多個(gè)服務(wù)器虛擬成一個(gè)強(qiáng)大的服務(wù)器，完成特定的功能。這兩種模式的核心都是統(tǒng)一管理，動(dòng)態(tài)分配資源，提高資源利用率。在云計(jì)算中，這兩種模式都有比較多的應(yīng)用。

　　2、分布式數(shù)據(jù)存儲(chǔ)技術(shù)

　　云計(jì)算的另一大優(yōu)勢(shì)就是能夠快速、高效地處理海量數(shù)據(jù)。在數(shù)據(jù)爆炸的今天，這一點(diǎn)至關(guān)重要。為了保證數(shù)據(jù)的高可靠性，云計(jì)算通常會(huì)采用分布式存儲(chǔ)技術(shù)，將數(shù)據(jù)存儲(chǔ)在不同的物理設(shè)備中。這種模式不僅擺脫了硬件設(shè)備的限制，同時(shí)擴(kuò)展性更好，能夠快速響應(yīng)用戶需求的變化。

　　分布式存儲(chǔ)與傳統(tǒng)的網(wǎng)絡(luò)存儲(chǔ)并不完全一樣，傳統(tǒng)的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用集中的存儲(chǔ)服務(wù)器存放所有數(shù)據(jù)，存儲(chǔ)服務(wù)器成為系統(tǒng)性能的瓶頸，不能滿足大規(guī)模存儲(chǔ)應(yīng)用的需要。分布式網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷，利用位置服務(wù)器定位存儲(chǔ)信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴(kuò)展。

　　在當(dāng)前的云計(jì)算領(lǐng)域，Google的GFS和Hadoop開發(fā)的開源系統(tǒng)HDFS是比較流行的兩種云計(jì)算分布式存儲(chǔ)系統(tǒng)。

　　GFS（Google File System）技術(shù)：谷歌的非開源的GFS（GoogleFile System）云計(jì)算平臺(tái)滿足大量用戶的需求，并行地為大量用戶提供服務(wù)。使得云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)具有了高吞吐率和高傳輸率的特點(diǎn)。

　　HDFS（Hadoop Distributed File System）技術(shù)：大部分ICT廠商，包括Yahoo、Intel的“云”計(jì)劃采用的都是HDFS的數(shù)據(jù)存儲(chǔ)技術(shù)。未來的發(fā)展將集中在超大規(guī)模的數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)加密和安全性保證、以及繼續(xù)提高I/O速率等方面。

　　3、編程模式

　　從本質(zhì)上講，云計(jì)算是一個(gè)多用戶、多任務(wù)、支持并發(fā)處理的系統(tǒng)。高效、簡捷、快速是其核心理念，它旨在通過網(wǎng)絡(luò)把強(qiáng)大的服務(wù)器計(jì)算資源方便地分發(fā)到終端用戶手中，同時(shí)保證低成本和良好的用戶體驗(yàn)。在這個(gè)過程中，編程模式的選擇至關(guān)重要。云計(jì)算項(xiàng)目中分布式并行編程模式將被廣泛采用。

　　分布式并行編程模式創(chuàng)立的初衷是更高效地利用軟、硬件資源，讓用戶更快速、更簡單地使用應(yīng)用或服務(wù)。在分布式并行編程模式中，后臺(tái)復(fù)雜的任務(wù)處理和資源調(diào)度對(duì)于用戶來說是透明的，這樣用戶體驗(yàn)?zāi)軌虼蟠筇嵘?。MapReduce是當(dāng)前云計(jì)算主流并行編程模式之一。MapReduce模式將任務(wù)自動(dòng)分成多個(gè)子任務(wù)，通過Map和Reduce兩步實(shí)現(xiàn)任務(wù)在大規(guī)模計(jì)算節(jié)點(diǎn)中的高度與分配。

　　MapReduce是Google開發(fā)的java、Python、C++編程模型，主要用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。MapReduce模式的思想是將要執(zhí)行的問題分解成Map（映射）和Reduce（化簡）的方式，先通過Map程序?qū)?shù)據(jù)切割成不相關(guān)的區(qū)塊，分配（調(diào)度）給大量計(jì)算機(jī)處理，達(dá)到分布式運(yùn)算的效果，再通過Reduce程序?qū)⒔Y(jié)果匯整輸出。

　　4、大規(guī)模數(shù)據(jù)管理

　　處理海量數(shù)據(jù)是云計(jì)算的一大優(yōu)勢(shì)。那么如何處理則涉及到很多層面的東西，因此高效的數(shù)據(jù)處理技術(shù)也是云計(jì)算不可或缺的核心技術(shù)之一。對(duì)于云計(jì)算來說，數(shù)據(jù)管理面臨巨大的挑戰(zhàn)。云計(jì)算不僅要保證數(shù)據(jù)的存儲(chǔ)和訪問，還要能夠?qū)Ａ繑?shù)據(jù)進(jìn)行特定的檢索和分析。由于云計(jì)算需要對(duì)海量的分布式數(shù)據(jù)進(jìn)行處理、分析，因此，數(shù)據(jù)管理技術(shù)必需能夠高效的管理大量的數(shù)據(jù)。

　　Google的BT（BigTable）數(shù)據(jù)管理技術(shù)和Hadoop團(tuán)隊(duì)開發(fā)的開源數(shù)據(jù)管理模塊HBase是業(yè)界比較典型的大規(guī)模數(shù)據(jù)管理技術(shù)。

　　BT（BigTable）數(shù)據(jù)管理技術(shù)：BigTable是非關(guān)系的數(shù)據(jù)庫，是一個(gè)分布式的、持久化存儲(chǔ)的多維度排序Map.BigTable建立在 GFS,Scheduler, Lock Service和MapReduce之上，與傳統(tǒng)的關(guān)系數(shù)據(jù)庫不同，它把所有數(shù)據(jù)都作為對(duì)象來處理，形成一個(gè)巨大的表格，用來分布存儲(chǔ)大規(guī)模結(jié)構(gòu)化數(shù)據(jù)。 Bigtable的設(shè)計(jì)目的是可靠的處理PB級(jí)別的數(shù)據(jù)，并且能夠部署到上千臺(tái)機(jī)器上。

　　開源數(shù)據(jù)管理模塊HBase:HBase是Apache的Hadoop項(xiàng)目的子項(xiàng)目，定位于分布式、面向列的開源數(shù)據(jù)庫。HBase不同于一般的關(guān)系數(shù)據(jù)庫，它是一個(gè)適合于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫。另一個(gè)不同的是HBase基于列的而不是基于行的模式。作為高可靠性分布式存儲(chǔ)系統(tǒng)，HBase在性能和可伸縮方面都有比較好的表現(xiàn)。利用HBase技術(shù)可在廉價(jià)PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群。

　　5、分布式資源管理

　　云計(jì)算采用了分布式存儲(chǔ)技術(shù)存儲(chǔ)數(shù)據(jù)，那么自然要引入分布式資源管理技術(shù)。在多節(jié)點(diǎn)的并發(fā)執(zhí)行環(huán)境中，各個(gè)節(jié)點(diǎn)的狀態(tài)需要同步，并且在單個(gè)節(jié)點(diǎn)出現(xiàn)故障時(shí)，系統(tǒng)需要有效的機(jī)制保證其它節(jié)點(diǎn)不受影響。而分布式資源管理系統(tǒng)恰是這樣的技術(shù)，它是保證系統(tǒng)狀態(tài)的關(guān)鍵。

　　另外，云計(jì)算系統(tǒng)所處理的資源往往非常龐大，少則幾百臺(tái)服務(wù)器，多則上萬臺(tái)，同時(shí)可能跨躍多個(gè)地域。且云平臺(tái)中運(yùn)行的應(yīng)用也是數(shù)以千計(jì)，如何有效地管理這批資源，保證它們正常提供服務(wù)，需要強(qiáng)大的技術(shù)支撐。因此，分布式資源管理技術(shù)的重要性可想而知。

　　全球各大云計(jì)算方案/服務(wù)提供商們都在積極開展相關(guān)技術(shù)的研發(fā)工作。其中Google內(nèi)部使用的Borg技術(shù)很受業(yè)內(nèi)稱道。另外，微軟、IBM、Oracle/Sun等云計(jì)算巨頭都有相應(yīng)解決方案提出。

　　6、信息安全

　　調(diào)查數(shù)據(jù)表明，安全已經(jīng)成為阻礙云計(jì)算發(fā)展的最主要原因之一。數(shù)據(jù)顯示，32%已經(jīng)使用云計(jì)算的組織和45%尚未使用云計(jì)算的組織的ICT管理將云安全作為進(jìn)一步部署云的最大障礙。因此，要想保證云計(jì)算能夠長期穩(wěn)定、快速發(fā)展，安全是首要需要解決的問題。

　　事實(shí)上，云計(jì)算安全也不是新問題，傳統(tǒng)互聯(lián)網(wǎng)存在同樣的問題。只是云計(jì)算出現(xiàn)以后，安全問題變得更加突出。在云計(jì)算體系中，安全涉及到很多層面，包括網(wǎng)絡(luò)安全、服務(wù)器安全、軟件安全、系統(tǒng)安全等等。因此，有分析師認(rèn)為，云安全產(chǎn)業(yè)的發(fā)展，將把傳統(tǒng)安全技術(shù)提到一個(gè)新的階段。

　　現(xiàn)在，不管是軟件安全廠商還是硬件安全廠商都在積極研發(fā)云計(jì)算安全產(chǎn)品和方案。包括傳統(tǒng)殺毒軟件廠商、軟硬防火墻廠商、IDS/IPS廠商在內(nèi)的各個(gè)層面的安全供應(yīng)商都已加入到云安全領(lǐng)域。相信在不久的將來，云安全問題將得到很好的解決.

　　7、云計(jì)算平臺(tái)管理

　　云計(jì)算資源規(guī)模龐大，服務(wù)器數(shù)量眾多并分布在不同的地點(diǎn)，同時(shí)運(yùn)行著數(shù)百種應(yīng)用，如何有效地管理這些服務(wù)器，保證整個(gè)系統(tǒng)提供不間斷的服務(wù)是巨大的挑戰(zhàn)。云計(jì)算系統(tǒng)的平臺(tái)管理技術(shù)，需要具有高效調(diào)配大量服務(wù)器資源，使其更好協(xié)同工作的能力。其中，方便地部署和開通新業(yè)務(wù)、快速發(fā)現(xiàn)并且恢復(fù)系統(tǒng)故障、通過自動(dòng)化、智能化手段實(shí)現(xiàn)大規(guī)模系統(tǒng)可靠的運(yùn)營是云計(jì)算平臺(tái)管理技術(shù)的關(guān)鍵。

　　對(duì)于提供者而言，云計(jì)算可以有三種部署模式，即公共云、私有云和混合云。三種模式對(duì)平臺(tái)管理的要求大不相同。對(duì)于用戶而言，由于企業(yè)對(duì)于ICT資源共享的控制、對(duì)系統(tǒng)效率的要求以及ICT成本投入預(yù)算不盡相同，企業(yè)所需要的云計(jì)算系統(tǒng)規(guī)模及可管理性能也大不相同。因此，云計(jì)算平臺(tái)管理方案要更多地考慮到定制化需求，能夠滿足不同場(chǎng)景的應(yīng)用需求。

　　包括Google、IBM、微軟、Oracle/Sun等在內(nèi)的許多廠商都有云計(jì)算平臺(tái)管理方案推出。這些方案能夠幫助企業(yè)實(shí)現(xiàn)基礎(chǔ)架構(gòu)整合、實(shí)現(xiàn)企業(yè)硬件資源和軟件資源的統(tǒng)一管理、統(tǒng)一分配、統(tǒng)一部署、統(tǒng)一監(jiān)控和統(tǒng)一備份，打破應(yīng)用對(duì)資源的獨(dú)占，讓企業(yè)云計(jì)算平臺(tái)價(jià)值得以充分發(fā)揮。