大數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)三層剖析

傳統(tǒng)的的大數(shù)據(jù)中心目的是為了根據(jù)功能模塊開展區(qū)域規(guī)劃，比如WEB、APP、DB，辦公場所、業(yè)務(wù)流程區(qū)、內(nèi)聯(lián)區(qū)、外鏈區(qū)這些。不一樣地區(qū)中間根據(jù)網(wǎng)關(guān)ip和安全防護設(shè)備互相訪問，確保不一樣地區(qū)的穩(wěn)定性、安全系數(shù)。與此同時，不一樣地區(qū)因為具備不一樣的作用，因而必須互相瀏覽數(shù)據(jù)信息時，只需終端設(shè)備中間可以通訊就可以，并不一定規(guī)定通訊彼此處在同一VLAN或二層互聯(lián)網(wǎng)。

傳統(tǒng)的的大數(shù)據(jù)中心互聯(lián)網(wǎng)技術(shù)，STP是二層網(wǎng)絡(luò)中非常重要的一種協(xié)議書?？蛻舸罱ɑヂ?lián)網(wǎng)時，為了確保穩(wěn)定性，一般會選用多余機器設(shè)備和多余鏈接，這樣就不可避免的產(chǎn)生環(huán)城路。而二層互聯(lián)網(wǎng)處在同一個廣播域下，廣播節(jié)目報文格式在環(huán)城路時會不斷持續(xù)傳輸，產(chǎn)生廣播風(fēng)暴，一瞬間就可以造成端口號堵塞和機器設(shè)備麻痹。因而，為了避免廣播風(fēng)暴，就需要避免產(chǎn)生環(huán)城路。那樣，不僅避免產(chǎn)生環(huán)城路，還得確保穩(wěn)定性，就只有將多余機器設(shè)備和多余鏈接變?yōu)閭浞輸?shù)據(jù)機器設(shè)備和備份數(shù)據(jù)鏈接。即多余的機器設(shè)備端口號和鏈接在通常情況下被堵塞掉，不參加數(shù)據(jù)信息報文格式的分享。僅有現(xiàn)階段分享的機器設(shè)備、端口號、鏈接出現(xiàn)異常，造成網(wǎng)絡(luò)不通的情況下，多余的機器設(shè)備端口號和鏈接才會被開啟，促使互聯(lián)網(wǎng)可以恢復(fù)過來。完成這種自動控制系統(tǒng)作用的便是STP(SpanningTreeProtocol，生成樹協(xié)議)。

因為STP的收斂性特性等因素，一般情況下STP的互聯(lián)網(wǎng)經(jīng)營規(guī)模不容易超出100臺網(wǎng)絡(luò)交換機。與此同時因為STP必須堵塞掉多余機器設(shè)備和鏈接，也降低了互聯(lián)網(wǎng)資源的網(wǎng)絡(luò)帶寬使用率。所以在具體網(wǎng)絡(luò)規(guī)劃時，從分享特性、使用率、穩(wěn)定性等層面考慮到，會盡量操縱STP網(wǎng)絡(luò)范疇。

大二層也就是為了商品流通的規(guī)定

伴隨著數(shù)據(jù)信息大集中化的發(fā)展趨勢和桌面虛擬化的運用，大數(shù)據(jù)中心的范圍與日俱增，不但對二層互聯(lián)網(wǎng)的區(qū)域范圍規(guī)定也越來越大，在要求和管理能力上也提出了新的挑戰(zhàn)。

大數(shù)據(jù)中心地區(qū)范圍和業(yè)務(wù)處理要求的提升，針對群集解決的使用愈來愈多，群集里的網(wǎng)絡(luò)服務(wù)器必須在一個二層VLAN下。與此同時，虛擬技術(shù)的運用，在產(chǎn)生業(yè)務(wù)流程布署的方便性和協(xié)調(diào)能力前提下，vm虛擬機的轉(zhuǎn)移難題也變成一定要考慮到的難題。為了確保vm虛擬機承重業(yè)務(wù)流程的持續(xù)性，vm虛擬機轉(zhuǎn)移前后左右的IP地址不會改變，因而vm虛擬機的轉(zhuǎn)移范疇必須在同一個二層VLAN下。

相反即，二層互聯(lián)網(wǎng)經(jīng)營規(guī)模是不是很大，vm虛擬機才可以轉(zhuǎn)移多遠(yuǎn)。

傳統(tǒng)的的根據(jù)STP備份數(shù)據(jù)機器設(shè)備和鏈接計劃方案早已無法滿足大數(shù)據(jù)中心經(jīng)營規(guī)模、網(wǎng)絡(luò)帶寬的要求，而且STP協(xié)議書幾秒鐘至數(shù)分鐘的常見故障收斂性時長，也無法滿足大數(shù)據(jù)中心的穩(wěn)定性需求。因而，必須可以有新的技術(shù)性，在達到二層互聯(lián)網(wǎng)范圍的與此同時，也可以靈活運用多余機器設(shè)備和鏈接，提高線路使用率，并且大數(shù)據(jù)中心的常見故障收斂性時長可以減少到亞秒乃至ms級。

大二層必須是不是很大

即然二層互聯(lián)網(wǎng)經(jīng)營規(guī)模必須擴張，那么大到什么程度適合?這在于應(yīng)用領(lǐng)域和工藝挑選。

1、大數(shù)據(jù)中心內(nèi)

大二層最先必須處理是指大數(shù)據(jù)中心內(nèi)部結(jié)構(gòu)的互聯(lián)網(wǎng)拓展難題，根據(jù)規(guī)模性二層互聯(lián)網(wǎng)和VLAN拓寬，完成vm虛擬機在云數(shù)據(jù)中心內(nèi)部結(jié)構(gòu)的大范圍轉(zhuǎn)移。因為大數(shù)據(jù)中心里的大二層互聯(lián)網(wǎng)都需要遮蓋好幾個匯聚交換機和核心交換機，關(guān)鍵有下列兩大類技術(shù)性。

虛似網(wǎng)絡(luò)交換機技術(shù)性

虛似網(wǎng)絡(luò)交換機技術(shù)性的起點非常簡單，歸屬于工程項目派。即然二層互聯(lián)網(wǎng)的核心是環(huán)城路難題，而環(huán)城路問題是伴隨著多余機器設(shè)備和鏈接出現(xiàn)的，那樣如果將互相多余的兩部或幾臺機器設(shè)備、兩根或好幾條鏈接合拼成一臺機器設(shè)備和一條鏈接，就還可以返回以前的單機器設(shè)備、多肽鏈路狀況，環(huán)城路當(dāng)然也就沒有了。特別是網(wǎng)絡(luò)交換機技術(shù)發(fā)展，虛似網(wǎng)絡(luò)交換機從中低端盒式機器設(shè)備到高檔條式機器設(shè)備都已廣泛運用，具有了非常的質(zhì)量指標(biāo)和穩(wěn)定性。因而，虛似網(wǎng)絡(luò)交換機技術(shù)性變成現(xiàn)階段運用較廣的大二層解決方法。

虛似網(wǎng)絡(luò)交換機技術(shù)性的表示是H3C企業(yè)的IRF、Cisco企業(yè)的VSS，其特點是只必須網(wǎng)絡(luò)交換機軟件更新就可以適用，運用低成本，布署簡易?，F(xiàn)階段這種工藝全是各生產(chǎn)商單獨完成和實現(xiàn)的，只有同一廠家的同樣產(chǎn)品系列中間才可以執(zhí)行虛擬化技術(shù)。與此同時，因為高檔條式網(wǎng)絡(luò)交換機的特性、相對密度越來越高，對虛似網(wǎng)絡(luò)交換機的技術(shù)標(biāo)準(zhǔn)也越來越高，現(xiàn)階段條式網(wǎng)絡(luò)交換機的虛擬化技術(shù)密度最高為4：1.虛似網(wǎng)絡(luò)交換機的相對密度限制了二層互聯(lián)網(wǎng)的范圍大概在1萬～2萬部網(wǎng)絡(luò)服務(wù)器上下。

隧道施工技術(shù)性

隧道施工技術(shù)性歸屬于技術(shù)派，立足點是借船出航。二層互聯(lián)網(wǎng)不可以有環(huán)城路，多余鏈接一定要堵塞掉，但三層互聯(lián)網(wǎng)顯而易見不會有這種情況，而且還能做ECMP(等額的鏈接)，能不能使用來呢?

根據(jù)在二層報文格式前插進附加的幀頭，而且選用路由器計算出來的方法操縱整網(wǎng)數(shù)據(jù)信息的分享，不僅僅能夠在多余鏈接下避免廣播風(fēng)暴，并且能做ECMP.這樣可以將二層互聯(lián)網(wǎng)的范圍拓展到一整張互聯(lián)網(wǎng)，而不容易受匯聚交換機總數(shù)的限定。

隧道施工技術(shù)性的表示是TRILL、SPB，全是根據(jù)使用IS-ISospf協(xié)議的估算和分享方式，完成二層互聯(lián)網(wǎng)的大量拓展。這種新技術(shù)的特點是能夠搭建比虛似網(wǎng)絡(luò)交換機技術(shù)性更高的集成電路工藝二層互聯(lián)網(wǎng)(用于規(guī)模性群集測算)，但并未徹底完善，現(xiàn)階段已經(jīng)規(guī)范化情況下。與此同時傳統(tǒng)式網(wǎng)絡(luò)交換機不但必須軟件更新，還要硬件支持。

2、跨大數(shù)據(jù)中心

伴隨著大數(shù)據(jù)中心多中心的布署，vm虛擬機的跨大數(shù)據(jù)中心轉(zhuǎn)移、容災(zāi)，跨大數(shù)據(jù)中心業(yè)務(wù)流程負(fù)荷分?jǐn)偟纫?，促使二層互?lián)網(wǎng)的拓展不僅僅是在云數(shù)據(jù)中心的界限才行，還要考慮到超越數(shù)據(jù)中心機房的地區(qū)，拓寬到同城網(wǎng)備份數(shù)據(jù)核心、遠(yuǎn)程控制容災(zāi)核心。

一般情況下，多大數(shù)據(jù)中心中間的聯(lián)接是通過路由器連接的，純天然是一個三層互聯(lián)網(wǎng)。而要實現(xiàn)根據(jù)三層數(shù)據(jù)連接的2個二層互聯(lián)網(wǎng)相通，就一定要完成“L2overL3”。

L2oL3技術(shù)性也是有許多種，比如傳統(tǒng)式的VPLS(MPLSL2VPN)技術(shù)性，還有新型的CiscoOTV、H3CEVI技術(shù)性，全是依靠隧道施工的方法，將二層數(shù)據(jù)信息報文格式封裝形式在三層報文格式中，超越正中間的三層互聯(lián)網(wǎng)，完成兩個地方二層數(shù)據(jù)信息的相通。這類隧道施工就像一個虛似的橋，將好幾個大數(shù)據(jù)中心的二層互聯(lián)網(wǎng)圍繞在一起。

此外，也是有一部分虛擬化技術(shù)和軟件商提出了手機軟件的L2overL3技術(shù)解決方案。比如VMware的VXLAN、微軟公司的NVGRE，在虛擬化技術(shù)層的vSwitch里將二層數(shù)據(jù)信息封裝形式在UDP、GRE報文格式中，在物理學(xué)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)上搭建一層虛擬化技術(shù)傳輸層，進而解決對計算機設(shè)備層的二層、三層限定。

這種技術(shù)性因為特性、可擴展性等難題，都沒有獲得普遍的采用。

大數(shù)據(jù)中心中間的互連形式

互聯(lián)網(wǎng)三層互連。也稱之為大數(shù)據(jù)中心前面網(wǎng)絡(luò)互聯(lián)，所說"前面互聯(lián)網(wǎng)"就是指大數(shù)據(jù)中心面對公司園區(qū)網(wǎng)或企業(yè)局域網(wǎng)的出入口。不一樣大數(shù)據(jù)中心(主核心、容災(zāi)核心)的前面互聯(lián)網(wǎng)根據(jù)IP技術(shù)實現(xiàn)互連，產(chǎn)業(yè)園區(qū)或支系的手機客戶端根據(jù)前面網(wǎng)站訪問各大數(shù)據(jù)中心。當(dāng)主大數(shù)據(jù)中心產(chǎn)生災(zāi)禍時，前面互聯(lián)網(wǎng)將完成迅速收斂性，手機客戶端根據(jù)瀏覽容災(zāi)核心以確保業(yè)務(wù)連續(xù)性;

互聯(lián)網(wǎng)二層互連。也稱之為大數(shù)據(jù)中心網(wǎng)絡(luò)服務(wù)器網(wǎng)絡(luò)互聯(lián)。在不一樣的大數(shù)據(jù)中心網(wǎng)絡(luò)服務(wù)器互聯(lián)網(wǎng)接入層，搭建一個跨大數(shù)據(jù)中心的大二層網(wǎng)(VLAN)，以達到集群服務(wù)器或vm虛擬機動態(tài)性轉(zhuǎn)移等情景對二層互聯(lián)網(wǎng)接入的要求;

SAN互連。

也稱之為后面儲存網(wǎng)絡(luò)互聯(lián)。依靠無線通信技術(shù)(DWDM、SDH等)完成主核心和容災(zāi)核心間磁盤陣列的數(shù)據(jù)復(fù)制。

大數(shù)據(jù)中心二層互連的業(yè)務(wù)需求

網(wǎng)絡(luò)服務(wù)器高可用性群集

集群服務(wù)器(Cluster)，是依靠集群軟件將網(wǎng)絡(luò)上的多個網(wǎng)絡(luò)服務(wù)器關(guān)系在一起，給予一致的業(yè)務(wù)，對外開放主要表現(xiàn)為一臺邏輯性網(wǎng)絡(luò)服務(wù)器。大部分生產(chǎn)商(HP、IBM、微軟公司、Veritas等)的集群軟件必須各網(wǎng)絡(luò)服務(wù)器間選用二層網(wǎng)絡(luò)互聯(lián)。將群集里的網(wǎng)絡(luò)服務(wù)器布署于不一樣大數(shù)據(jù)中心，可建立跨大數(shù)據(jù)中心的軟件系統(tǒng)容災(zāi)備份。

網(wǎng)絡(luò)服務(wù)器拆遷和vm虛擬機動態(tài)性轉(zhuǎn)移

大數(shù)據(jù)中心開展改建或遷移時，必須將物理服務(wù)器從一個大數(shù)據(jù)中心遷往另一個大數(shù)據(jù)中心。

在這里情況下，考慮到下面2個要素，必須在大數(shù)據(jù)中心間搭建二層互聯(lián)網(wǎng)：

當(dāng)網(wǎng)站服務(wù)器被遷往新主機房，如未搭建新舊核心間的二層互聯(lián)網(wǎng)，則遭遇重新規(guī)劃新中心網(wǎng)絡(luò)服務(wù)器IP地址的難題，與此同時還需改動DNS，或改動手機客戶端應(yīng)用軟件配備的網(wǎng)絡(luò)服務(wù)器IP.因而，搭建跨核心的二層互聯(lián)網(wǎng)可保存被轉(zhuǎn)移服務(wù)器的IP地址，從而簡單化轉(zhuǎn)移全過程;

在網(wǎng)絡(luò)服務(wù)器拆遷期內(nèi)，常常在已知的時間內(nèi)，只有將網(wǎng)絡(luò)服務(wù)器群的一部分網(wǎng)絡(luò)服務(wù)器遷往新中心，為確保業(yè)務(wù)連續(xù)性，需創(chuàng)建跨核心的集群服務(wù)器，搭建超越核心的二層互聯(lián)網(wǎng)可完成網(wǎng)絡(luò)服務(wù)器光滑轉(zhuǎn)移。

與服務(wù)器拆遷相近的狀況是"vm虛擬機轉(zhuǎn)移".現(xiàn)階段，一些服務(wù)器虛擬化手機軟件可完成在兩部虛擬化技術(shù)的物理服務(wù)器中間對vm虛擬機做動態(tài)性轉(zhuǎn)移。轉(zhuǎn)移至另一核心的vm虛擬機不但保存原來IP地址，而且還維持轉(zhuǎn)移前運行狀態(tài)(如TCP對話情況)，因此需要將涉及到vm虛擬機轉(zhuǎn)移的物理服務(wù)器連接同一個二層互聯(lián)網(wǎng)(vm虛擬機在轉(zhuǎn)移前后左右的網(wǎng)關(guān)ip不會改變)，這類應(yīng)用領(lǐng)域規(guī)定搭建跨核心的二層互聯(lián)網(wǎng)。

大數(shù)據(jù)中心二層互連設(shè)計要點

1、前提條件因素——現(xiàn)網(wǎng)情況

挑選大數(shù)據(jù)中心二層互連計劃方案的條件因素是確立客戶在眾多大數(shù)據(jù)中心中間具有哪些互聯(lián)網(wǎng)資源?；ヂ?lián)網(wǎng)資源的差異立即取決于客戶將采取哪種組網(wǎng)方案：

營運商、大中型互聯(lián)網(wǎng)公司：裸光纖線或DWDM傳送網(wǎng)絡(luò)資源，相匹配RRPP雙回路計劃方案或HUB-SPOKE計劃方案;

營運商、大型企業(yè)、金融業(yè)、政府部門：MPLS互聯(lián)網(wǎng)，相匹配VPLS組網(wǎng)方案;

中小型企業(yè)顧客：IP網(wǎng)絡(luò)，相匹配VPLSoverGRE組網(wǎng)方案

2.核心要素——特性

時延

大數(shù)據(jù)中心中間二層互連就是為了完成vm虛擬機的外地生產(chǎn)調(diào)度和群集外地運用，為了實現(xiàn)這一點，務(wù)必達到vm虛擬機VMotion和群集儲存外地瀏覽的時延規(guī)定。第一個限定是VMotion同歩對話間距。第二個要求是儲存互聯(lián)網(wǎng)。DC中間的儲存務(wù)必完成同歩瀏覽或者鏡像系統(tǒng)瀏覽。

需要注意的是，在VPLS或者IP網(wǎng)絡(luò)環(huán)境中，因為網(wǎng)絡(luò)中存有很多繁雜的運用，因此需要根據(jù)布署各大網(wǎng)站QoS來確保DCI互連數(shù)據(jù)流分析的服務(wù)水平?？偭髁孔匀画h(huán)境越繁雜，則QoS配備任務(wù)量越多，時延指標(biāo)值越無法達到。VPLS互聯(lián)網(wǎng)一般用于公司或者領(lǐng)域的專用型業(yè)務(wù)流程，總流量自然環(huán)境相對于IP網(wǎng)絡(luò)較簡易，因此在布署QoS層面有一定競爭優(yōu)勢。

網(wǎng)絡(luò)帶寬

大數(shù)據(jù)中心互連的核心需求之一便是確保vm虛擬機跨DC的轉(zhuǎn)移。vSphere5.0以前的版，VMotion針對轉(zhuǎn)移鏈接的網(wǎng)絡(luò)帶寬有明晰的標(biāo)準(zhǔn)-網(wǎng)絡(luò)帶寬不小于622M;vSphere5.0的版，VMotion針對轉(zhuǎn)移鏈接的網(wǎng)絡(luò)帶寬不小于250M.

從網(wǎng)絡(luò)帶寬網(wǎng)絡(luò)資源的分配原則看來，裸光纖線或DWDM的網(wǎng)絡(luò)帶寬網(wǎng)絡(luò)資源更為充裕，VPLS和IP網(wǎng)絡(luò)的網(wǎng)絡(luò)帶寬網(wǎng)絡(luò)資源相對性焦慮不安，務(wù)必布署各大網(wǎng)站端到端的QoS優(yōu)先來確保DCI業(yè)務(wù)流程總流量的網(wǎng)絡(luò)帶寬規(guī)定。

3、關(guān)鍵要素——HA

大數(shù)據(jù)中心二層互連的首要條件便是如何提高易用性。提升HA的一個最有效的方法便是設(shè)計方案備份數(shù)據(jù)鏈接、備份數(shù)據(jù)連接點。假如融合提升互連網(wǎng)絡(luò)帶寬的要求，則提議設(shè)計方案負(fù)荷分?jǐn)偟幕ミB途徑，在提升互連網(wǎng)絡(luò)帶寬的與此同時，也可以保證系統(tǒng)出現(xiàn)異常時可以保持業(yè)務(wù)流程的迅速收斂性，提升HA指標(biāo)。

以DWDM互聯(lián)網(wǎng)為例子，提議運用IRF完成DCI鏈接的高HA和鏈路負(fù)荷分?jǐn)偡桨冈O(shè)計。

在裸光纖線或者DWDM互連組網(wǎng)方案中，DCI互連的兩邊PE機器設(shè)備務(wù)必適用IRF，將PE兩者之間的兩根(或好幾條)鏈接根據(jù)匯聚(LACP)技術(shù)性產(chǎn)生一條邏輯性鏈接，會很大的簡單化DCI的組網(wǎng)方案拓?fù)浣Y(jié)構(gòu)。與此同時，這兩根HA鏈接的網(wǎng)絡(luò)帶寬會獲得100%的運用，做到1：1的負(fù)荷分?jǐn)倢嶋H效果。

大數(shù)據(jù)中心二層互連設(shè)計方案

1、根據(jù)裸光纖線或DWDM路線的二層互連

裸光纖線或DWDM二層互連計劃方案必須客戶在現(xiàn)網(wǎng)中有著光纖線或傳送網(wǎng)絡(luò)資源，對客戶規(guī)定比較高，但從應(yīng)用的視角看來，裸光纖線或DWDM計劃方案的特性是最好的。

根據(jù)裸光纖線或DWDM路線的二層互連計劃方案有二種挑選：HUB-SPOKE計劃方案和RRPP雙回路計劃方案。前面一種的特點是根據(jù)最短路徑算法分享，因此分享高效率;后面一種的優(yōu)勢乃是雙回路純天然的分享途徑冗余技術(shù)，因此HA特性比較高。

Hub-Spoke組網(wǎng)方案

通過裸光纖線或者DWDM將好幾個(比如4個)大數(shù)據(jù)中心互連。因為便捷拓展更多的是大數(shù)據(jù)中心連接點，一個常用計劃方案便是選用HUB-SPOKE組網(wǎng)方案實體模型，即根據(jù)一個核心連接點與各大數(shù)據(jù)中心的匯聚層互連。在邏輯結(jié)構(gòu)上，好幾個核心與關(guān)鍵連接點構(gòu)成了一個Hub-Spoke的星型拓?fù)浣Y(jié)構(gòu)，在其中關(guān)鍵連接點為HUB，各核心匯聚層為Spoke.

在Hub-Spoke組網(wǎng)方案環(huán)境中，關(guān)鍵連接點是最主要的，關(guān)聯(lián)到各大網(wǎng)站能否正常運轉(zhuǎn)，是確保多大數(shù)據(jù)中心HA的主要因素。如何提高關(guān)鍵連接點的HA特性?一個最主要的設(shè)計構(gòu)思便是在關(guān)鍵連接點運用IRF技術(shù)性，將兩部機器設(shè)備根據(jù)IRF技術(shù)性產(chǎn)生一臺機器設(shè)備，將關(guān)鍵機械故障出現(xiàn)異常的有界時長從幾十秒減少到ms級，換句話說能將系統(tǒng)軟件的HA特性提升接近2個數(shù)量級。這一點針對Hub-Spoke組網(wǎng)方案是非常重要的。

騰佑科技十多年的IDC運營經(jīng)驗，給予全世界世界各國服務(wù)器租賃代管、服務(wù)器機柜租定、網(wǎng)絡(luò)帶寬租定、云虛擬主機、云服務(wù)器、CDN等業(yè)務(wù)流程，與此同時給予服務(wù)器安全保障，熱烈歡迎廣大客戶來電咨詢。