CDN詳細的技術解釋和實現(xiàn)原則

概述

Internet快速發(fā)展給人們的工作和生活帶來了極大的便利Internet對服務質量和訪問速度的要求越來越高。雖然帶寬在增加，但用戶數(shù)量也在增加Web由于服務器負載和傳輸距離等因素的影響，響應速度慢或經(jīng)常抱怨和麻煩。

解決方案是在網(wǎng)絡傳輸中使用緩存技術Web就近訪問服務數(shù)據(jù)流是優(yōu)化網(wǎng)絡數(shù)據(jù)傳輸?shù)姆浅Ｓ行У募夹g，從而獲得高速體驗和質量保證。

網(wǎng)絡緩存技術的目的是減少網(wǎng)絡中冗余數(shù)據(jù)的重復傳輸，最小化廣域傳輸?shù)奖镜鼗蚋浇L問?；ヂ?lián)網(wǎng)上傳輸?shù)拇蟛糠謨热荻际侵貜偷腤eb/FTP數(shù)據(jù)，Cache服務器及應用Caching技術網(wǎng)絡設備可以大大優(yōu)化數(shù)據(jù)鏈路性能，消除數(shù)據(jù)峰值訪問造成的結點設備堵塞。

Cache服務器具有緩存功能，因此大多數(shù)網(wǎng)頁對象(Webpageobject)，如html,htm,PHP等待頁面文件，gif,tif,png,bmp在有效期內，圖片文件等格式文件(TTL)對于重復訪問，無需從原始網(wǎng)站重新傳輸文件實體，通過簡單的認證(FreshnessValidation)-幾十字節(jié)的傳輸Header，本地副本可直接傳遞給訪問者。

由于緩存服務器通常部署在靠近用戶端的地方，因此可以獲得類似局域網(wǎng)的響應速度，有效減少廣域帶寬的消耗。據(jù)統(tǒng)計，Internet超過80%的用戶重復訪問20%的信息資源，為緩存技術的應用提供了先決條件。

緩存服務器的系統(tǒng)結構和Web服務器不同，緩存服務器能比Web服務器性能更高，緩存服務器不僅可以提高響應速度，節(jié)省帶寬，還可以加速Web有效減輕源服務器負荷的服務器非常有效。

高速緩存服務器(CacheServer)是軟硬件高度集成的專業(yè)功能服務器，主要從事高速緩存加速服務，一般部署在網(wǎng)絡邊緣。根據(jù)加速對象的不同，分為客戶端加速和服務器加速，客戶端加速Cache在網(wǎng)絡出口部署，在本地緩存經(jīng)常訪問的內容，提高響應速度，節(jié)省帶寬；服務器加速，Cache作為服務器前端部署Web提高服務器的前置機Web加快訪問速度的服務器性能。如果多臺Cache通過有效的機制管理加速服務器并分布在不同地區(qū)Cache網(wǎng)絡，引導用戶就近訪問，全球負荷平衡流量，即CDN網(wǎng)絡內容傳輸?shù)幕舅枷搿?/p>

什么是CDN內容分發(fā)網(wǎng)絡

CDN的全稱是ContentDeliveryNetwork，即內容分發(fā)網(wǎng)絡。其目的是通過現(xiàn)有Internet添加一層新的網(wǎng)絡架構，將網(wǎng)站內容發(fā)布到最接近用戶的網(wǎng)絡”邊緣”，用戶可以在附近獲取所需內容并解決問題Internet提高用戶訪問網(wǎng)站的響應速度。全面解決網(wǎng)絡帶寬小、用戶訪問量大、網(wǎng)絡分布不均等原因，解決用戶訪問網(wǎng)站響應速度慢的根本原因。

狹義地說，內容分發(fā)網(wǎng)絡(CDN)它是一種新型的網(wǎng)絡建設方式，是傳統(tǒng)的IP從廣義的角度來看，網(wǎng)絡發(fā)布了豐富媒體的網(wǎng)絡覆蓋層；CDN它代表了基于質量和秩序的網(wǎng)絡服務模式。

簡單地說，內容發(fā)布網(wǎng)絡(CDN)它是一個戰(zhàn)略部署的整體系統(tǒng)，包括分布式存儲、負載平衡、網(wǎng)絡要求重定位和內容管理四個要素，以及內容管理和全球網(wǎng)絡流量管理(TrafficManagement)是CDN核心所在。判斷用戶就近性和服務器負載，CDN確保內容以極高效的方式為用戶的請求提供服務。

一般來說，基于緩存服務器的內容服務也被稱為代理緩存(Surrogate)，它位于網(wǎng)絡的邊緣，距離用戶只有”一跳”(SingleHop)之遙。同時，代理緩存是內容提供商源服務器(通常位于CDN服務提供商數(shù)據(jù)中心)的透明鏡像。這種結構CDN服務提供商可以代表他們的客戶，即內容提供商，為最終用戶提供盡可能好的體驗，而這些用戶不能容忍任何延遲請求響應時間。

據(jù)統(tǒng)計，采用CDN該技術可以處理70%~95%的內容訪問，減輕服務器壓力，提高網(wǎng)站的性能和可擴展性。

與現(xiàn)有的內容發(fā)布模式相比，CDN強調網(wǎng)絡在內容發(fā)布中的重要性。通過引入積極的內容管理層和整體負荷平衡，CDN與傳統(tǒng)的內容發(fā)布模式基本不同。在傳統(tǒng)的內容發(fā)布模式下，內容發(fā)布是由ICP應用服務器完成，網(wǎng)絡只表現(xiàn)為透明的數(shù)據(jù)傳輸通道，網(wǎng)絡質量保證僅保持在數(shù)據(jù)包層面，不能根據(jù)不同的內容對象區(qū)分服務質量。

此外，由于IP網(wǎng)的”盡力而為”其質量保證的特點取決于在用戶和應用服務器之間端到端提供足夠的帶寬通量，遠遠大于實際所需的帶寬通量。在這種內容發(fā)布模式下，不僅占用了大量寶貴的骨干帶寬，而且占用了ICP應用服務器的負載也變得非常重，不可預測。

當一些熱事件和浪涌流量發(fā)生時，會產(chǎn)生局部熱效應，使應用服務器過載退出服務。這種基于中心的應用服務器內容發(fā)布模式的另一個缺陷是缺乏個性化服務和扭曲寬帶服務價值鏈。內容提供商承擔了他們不應該做或做得不好的內容發(fā)布服務。

縱觀整個寬帶服務的價值鏈，內容提供商和用戶位于整個價值鏈的兩端，依靠網(wǎng)絡服務提供商將其連接起來。隨著互聯(lián)網(wǎng)行業(yè)的成熟和商業(yè)模式的改變，價值鏈中的角色越來越細分。

如運營商、托管服務提供商、骨干網(wǎng)絡服務提供商、接入服務提供商等。價值鏈中的每一個角色都要分工合作，各司其職，為客戶提供良好的服務，從而帶來多贏的局面。從內容與網(wǎng)絡的結合模式來看，內容的發(fā)布已經(jīng)過去ICP服務器和內容(應用程序)IDC這兩個階段。IDC熱潮也催生了托管服務提供商的角色。但是，IDC并不能解決內容的有效發(fā)布問題。位于網(wǎng)絡中心的內容無法解決骨干帶寬的占用和建立IP網(wǎng)絡上的流量秩序。因此，將內容推到網(wǎng)絡的邊緣，為用戶提供就近的邊緣服務，以確保整個網(wǎng)絡的服務質量和訪問秩序已成為一個明顯的選擇。這就是內容發(fā)布網(wǎng)(CDN)服務模式。CDN內容運營商困擾內容運營商的內容問題”集中與分散”兩難選擇。毫無疑問，建立一個好的互聯(lián)網(wǎng)價值鏈是有價值的，也是不可或缺的。

CDN新應用和客戶

目前的CDN服務主要應用于證券、金融保險、ISP、ICP、網(wǎng)上交易、門戶網(wǎng)站、媒體網(wǎng)站、大中型公司、網(wǎng)絡教學等領域。此外，還可以用于行業(yè)專網(wǎng)和互聯(lián)網(wǎng)，甚至可以優(yōu)化局域網(wǎng)。利用CDN，這些網(wǎng)站不需要投資昂貴的各種服務器，建立分站點，特別是廣泛使用流媒體信息、遠程教學課件和其他媒體信息來消耗帶寬資源CDN網(wǎng)絡將內容復制到網(wǎng)絡的最邊緣，將內容請求點與交付點之間的距離縮小到最小，從而促進Web網(wǎng)站性能的提高具有重要意義。

CDN網(wǎng)絡建設主要包括企業(yè)建設CDN服務企業(yè)的網(wǎng)絡；IDC的CDN網(wǎng)絡，主要服務IDC和增值服務；網(wǎng)絡運營主建CDN主要提供內容推送服務的網(wǎng)絡；CDN網(wǎng)絡服務提供商，專門建設CDN用戶通過做服務CDN機構合作，CDN負責信息傳輸，確保信息正常傳輸，維護傳輸網(wǎng)絡，網(wǎng)站只需要內容維護，不再需要考慮流量問題。

CDN它可以保證網(wǎng)絡的快速、安全、穩(wěn)定和可擴展性。

IDC建立CDN網(wǎng)絡，IDC運營商一般需要多個分支機構IDC中心，服務對象是托管IDC中心的客戶，利用現(xiàn)有的網(wǎng)絡資源，投資較少，容易建設。例如某IDC全國有10個機房加入IDC的CDN網(wǎng)絡，托管在節(jié)點Web服務器，相當于有10個鏡像服務器供客戶就近訪問。

寬帶城域網(wǎng)，域內網(wǎng)絡速度快，出城帶寬一般會有瓶頸。為了體現(xiàn)城域網(wǎng)的高速體驗，解決方案是Internet網(wǎng)絡內容高速緩存到本地，Cache城域網(wǎng)各部署POP在點上，用戶可以通過形成高效有序的網(wǎng)絡來訪問大部分內容，這也是加速所有網(wǎng)站的一種方式CDN的應用。

CDN的工作原理

在描述CDN實現(xiàn)原則，讓我們先看看傳統(tǒng)的未加緩存服務訪問過程，以便了解CDN緩存訪問與未加緩存訪問的區(qū)別

從上圖可以看出，用戶訪問沒有使用CDN緩存網(wǎng)站的過程為：

用戶向瀏覽器提供要訪問的域名；

瀏覽器調用域名解析函數(shù)庫分析域名，以獲得該域名對應的域名IP地址;

使用瀏覽器獲得的IP域名服務主機發(fā)出數(shù)據(jù)訪問請求；

瀏覽器根據(jù)域名主機返回的數(shù)據(jù)顯示網(wǎng)頁的內容。

通過以上四個步驟，瀏覽器完成從用戶接收域名到從域名服務主機獲取數(shù)據(jù)的整個過程。CDN網(wǎng)絡在用戶和服務器之間增加Cache層，如何引導用戶的請求Cache源服務器的數(shù)據(jù)主要通過接管獲取DNS讓我們來看看訪問的使用。CDN緩存后的網(wǎng)站的過程：

通過上圖，我們可以理解使用了它CDN緩存網(wǎng)站的訪問過程變?yōu)椋?/p>

用戶向瀏覽器提供要訪問的域名；

由于瀏覽器調用域名解析庫分析域名，CDN對域名解析過程進行了調整，所以解析函數(shù)庫一般得到的是該域名對應的CNAME記錄，以獲得現(xiàn)實IP瀏覽器需要重新獲得地址CNAME解析域名以獲得實用性IP地址；在此過程中，全局負載均衡DNS例如，根據(jù)地理位置信息進行分析IP地址，使用戶能夠就近訪問。

得到這個分析CDN緩存服務器IP瀏覽器正在獲得實際地址IP地址以后，向緩存服務器發(fā)出訪問請求;

根據(jù)瀏覽器提供的域名，緩存服務器通過Cache內部專用DNS該域名的實際分析得到了解析IP地址，然后從緩存服務器到現(xiàn)實IP提交地址訪問請求；

從實際出發(fā)，緩存服務器IP獲取地址內容后，一方面在本地保存，以備將來使用，另一方面將獲得的數(shù)據(jù)返回客戶端，完成數(shù)據(jù)服務流程；

客戶端在獲得緩存服務器返回的數(shù)據(jù)后顯示并完成整個瀏覽數(shù)據(jù)請求過程。

通過以上分析，我們可以得到，為了實現(xiàn)對普通用戶的透明度（即用戶客戶端加入緩存后不需要設置，可以直接訪問加速網(wǎng)站的原始域名），同時為指定網(wǎng)站提供加速服務ICP只要在整個訪問過程中修改域名分析部分，以實現(xiàn)透明的加速服務，以下是CDN網(wǎng)絡實現(xiàn)的具體操作過程。

作為ICP，只需要把域名解釋權交給CDN運營商，其他方面不需要任何修改；操作時，ICP修改域名的分析記錄，一般使用cname方式指向CDN網(wǎng)絡Cache服務器地址。

作為CDN運營商，首先要做的ICP域名為實現(xiàn)提供公開分析sortlist，一般是把ICP域名解釋結果指向一個CNAME記錄;

當需要進行sorlist時，CDN運營商可以使用DNS對CNAME特殊處理指向域名解析過程，使DNS服務器可以根據(jù)客戶端接收客戶端請求IP返回不同域名的地址IP地址;

由于從cname獲得的IP并帶有地址hostname信息，請求到達Cache之后，Cache必須知道源服務器IP地址，所以在CDN運營商內部維護DNS用于解釋用戶訪問域名的真實性的服務器IP地址;

在維護內部DNS服務器時，還需要維護授權服務器來控制哪些域名可以緩存，哪些域名不能緩存，以避免開放代理。

CDN的技術手段

實現(xiàn)CDN高速緩存和鏡像服務器是主要技術手段?？梢怨ぷ鱀NS解析或HTTP通過兩種方式，重定向Cache服務器或異地鏡像站點完成內容傳輸和同步更新。

DNS判斷用戶位置的準確性大于85%，HTTP方式準確率為99%上；一般情況下，各Cache用戶訪問流入數(shù)據(jù)量和服務器組Cache服務器從原始網(wǎng)站獲取內容的數(shù)據(jù)量之比在2:1到3:1之間，即在原始網(wǎng)站上重復訪問數(shù)據(jù)量的50%到70%（主要是圖片、流媒體文件等）；對于鏡像，除數(shù)據(jù)同步流量外，其余均在本地完成，不訪問原始服務器。

鏡像站點(MirrorSite)我們經(jīng)?？梢钥吹椒掌?，它使內容直接本地分布，適用于靜態(tài)和準動態(tài)數(shù)據(jù)同步。但是，購買和維護新服務器的成本很高。此外，必須在各地區(qū)設置鏡像服務器，并配備專業(yè)技術人員進行管理和維護。在隨時更新各地服務器的同時，大型網(wǎng)站對帶寬的需求也會顯著增加，因此普通互聯(lián)網(wǎng)公司不會建立太多的鏡像服務器。

成本低，適用于靜態(tài)內容。Internet統(tǒng)計顯示，80%以上的用戶經(jīng)常訪問20%的網(wǎng)站內容。在這個規(guī)則下，緩存服務器可以處理大多數(shù)客戶的靜態(tài)請求，而原始的WWW服務器只需處理約20%的非緩存請求和動態(tài)請求，大大加快了客戶請求的響應時間，減少了原始請求WWW負載服務器。根據(jù)美國IDC作為公司的調查CDN重要指標——緩存的市場正在以每年近100%的速度增長，全球的營業(yè)額在2004年將達到45億美元。網(wǎng)絡流媒體的發(fā)展也將刺激市場需求。

CDN的網(wǎng)絡架構

CDN網(wǎng)絡架構主要分為中心和邊緣兩部分，中心是指CDN網(wǎng)管中心和DNS重定向解析中心，負責全局負載均衡，設備系統(tǒng)安裝在管理中心機房，邊緣主要指異地節(jié)點，CDN主要由分配載體組成Cache和負載均衡器等組成。

當用戶訪問加入時CDN在服務網(wǎng)站時，域名分析請求最終將交給全球負載平衡DNS進行處理。全局負載均衡DNS為用戶提供最接近用戶的節(jié)點地址，通過一組提前定義的策略，使用戶能夠獲得快速的服務。與此同時，它還分布在世界各地CDNC節(jié)點保持通信，收集各節(jié)點的通信狀態(tài)，確保用戶請求不分配給不可用的CDN其實節(jié)點是通過的DNS平衡全局負載。

對于普通的Internet對一個用戶CDN節(jié)點相當于放置在它周圍的節(jié)點WEB。全局負載均衡DNS在節(jié)點中，用戶的請求被透明地指向最近的節(jié)點CDN服務器將響應用戶的要求，就像網(wǎng)站的原始服務器一樣。因為它更接近用戶，響應時間必須更快。

每個CDN節(jié)點由負載均衡設備和高速緩存服務器兩部分組成

負載均衡設備負責每個節(jié)點的每個節(jié)點Cache負載平衡，保證節(jié)點的工作效率；同時，負載平衡設備還負責收集節(jié)點和周圍環(huán)境的信息，并與整體負載保持一致DNS通信，實現(xiàn)整個系統(tǒng)的負載平衡。

高速緩存服務器(Cache)負責存儲客戶網(wǎng)站的大量信息，響應當?shù)赜脩舻脑L問請求，就像一個靠近用戶的網(wǎng)站服務器一樣。

CDN管理系統(tǒng)是整個系統(tǒng)正常運行的保證。它不僅可以實時監(jiān)控系統(tǒng)中的各個子系統(tǒng)和設備，對各種故障發(fā)出相應的報警，還可以實時監(jiān)控系統(tǒng)中的總流量和節(jié)點流量，并保存在系統(tǒng)數(shù)據(jù)庫中，方便網(wǎng)絡管理人員進一步分析。通過完善的網(wǎng)絡管理系統(tǒng)，用戶可以修改系統(tǒng)配置。

理論上，最簡單CDN網(wǎng)絡負責整體負荷平衡DNS和每個節(jié)點一起Cache，即可運行。DNS根據(jù)用戶源支持IP不同的地址分析IP，實現(xiàn)就近訪問。為了保證高可用性，需要監(jiān)控各節(jié)點的流量和健康狀況。單臺節(jié)點Cache當承載能力不足時，需要多臺Cache，多臺Cache同時，工作需要負載平衡器Cache小組合作。

騰佑科技15年IDC運營經(jīng)驗，全球海外服務器租賃托管、機柜租賃、帶寬租賃、虛擬主機、云主機、CDN同時提供高防服務器安全服務，歡迎廣大客戶來電咨詢！