自動(dòng)分層使混合存儲(chǔ)發(fā)揮最大效益

這是一個(gè)不平衡的世界。很少有富人占據(jù)絕大多數(shù)財(cái)富，少數(shù)領(lǐng)先品牌制造商占據(jù)全行業(yè)絕大多數(shù)利潤(rùn)……，在80/20法則中描述的類(lèi)似的不平衡現(xiàn)象IT存儲(chǔ)應(yīng)用領(lǐng)域也很常見(jiàn)——儲(chǔ)存設(shè)備的大部分效率實(shí)際上是由一小部分應(yīng)用程序消耗的。也就是說(shuō)，絕大多數(shù)應(yīng)用程序不會(huì)消耗太多I/O效率，所以我們只需要為那些極度消耗I/O對(duì)于效率的關(guān)鍵應(yīng)用，可以準(zhǔn)備少量的高效存儲(chǔ)裝置。對(duì)于其他應(yīng)用的存儲(chǔ)需求，可以使用廉價(jià)的低價(jià)存儲(chǔ)設(shè)備來(lái)滿(mǎn)足。

混合存儲(chǔ)的好處——在刀口上使用高效裝置

從存儲(chǔ)裝置本身的特性來(lái)看，SSD效率高，但單位容量成本也高；傳統(tǒng)硬盤(pán)單位容量成本低，效率相對(duì)較差。

存儲(chǔ)系統(tǒng)的配置以80/20規(guī)則為基礎(chǔ)，采用全方位SSD配置不合理——事實(shí)上，只需要一小部分應(yīng)用程序SSD無(wú)論應(yīng)用是否緊迫，都給予高效率SSD資源顯然不符合成本效益；然而，傳統(tǒng)的全硬盤(pán)配置已經(jīng)逐漸失敗。雖然傳統(tǒng)硬盤(pán)足以應(yīng)付I/O一般應(yīng)用需求低，但受先天架構(gòu)限制，只有通過(guò)形成大規(guī)模陣列的笨拙方式，才能拼湊出關(guān)鍵應(yīng)用所需的高度I/O高效率，為了一小部分關(guān)鍵應(yīng)用I/O需求往往需要幾十個(gè)甚至幾百個(gè)硬盤(pán)組成陣列，即使?jié)M足了I/O但也消耗了大量的空間和電力，顯然不符合效率。

因此，為了兼顧效率和成本，同時(shí)使用SSD與傳統(tǒng)硬盤(pán)的混合存儲(chǔ)架構(gòu)是當(dāng)前的IT最合理的環(huán)境方法是在存儲(chǔ)設(shè)備中混合小比例SSD(一般來(lái)說(shuō)，占總存儲(chǔ)容量的10~15%)，這足以滿(mǎn)足一小部分關(guān)鍵應(yīng)用的需要I/O其他應(yīng)用程序通過(guò)傳統(tǒng)硬盤(pán)提供存儲(chǔ)服務(wù)。

自動(dòng)分層技術(shù)使混合結(jié)構(gòu)真正實(shí)用化

就高原而言，同時(shí)使用SSD與傳統(tǒng)硬盤(pán)的分層結(jié)構(gòu)是最合理、最有效的存儲(chǔ)配置。但在實(shí)踐中，這種混合結(jié)構(gòu)將面臨如何將各種數(shù)據(jù)放置在合適的存儲(chǔ)層的困難。

理論上，我們可以用人工分層存儲(chǔ)和配置MIS預(yù)測(cè)每個(gè)主機(jī)的應(yīng)用程序I/O需求，然后分別配置不同層次的存儲(chǔ)資源，并視為I/O調(diào)整存儲(chǔ)資源的配置。

然而，這種人工調(diào)整存儲(chǔ)資源配置的方式可能適用于個(gè)人端或極小規(guī)模的應(yīng)用環(huán)境，但適用于企業(yè)IT其實(shí)環(huán)境是不可行的。

首先，企業(yè)環(huán)境規(guī)模大，存儲(chǔ)系統(tǒng)必須服務(wù)大量的主機(jī)和應(yīng)用程序；其次，主機(jī)和應(yīng)用程序I/O需求會(huì)隨時(shí)間而變化。面對(duì)大量的前端主機(jī)應(yīng)用程序，將隨著時(shí)間的推移而變化，為了保持存儲(chǔ)資源的最佳配置，必須繼續(xù)跟蹤每個(gè)主機(jī)應(yīng)用程序I/O并針對(duì)負(fù)載變化I/O負(fù)載變化，存儲(chǔ)配置的頻繁調(diào)整，管理負(fù)擔(dān)，遠(yuǎn)遠(yuǎn)超過(guò)人工作業(yè)的負(fù)擔(dān)。

因此，只有通過(guò)自動(dòng)分層存儲(chǔ)和數(shù)據(jù)遷移技術(shù)，分層存儲(chǔ)架構(gòu)才能真正實(shí)用，并由軟件執(zhí)行I/O存取負(fù)載的追蹤與統(tǒng)計(jì)工作，并依照預(yù)設(shè)政策或演算法，自動(dòng)在各儲(chǔ)存層間遷移資料，從而自動(dòng)讓整個(gè)儲(chǔ)存資源的配置達(dá)到最佳化。這也就是說(shuō)，如何「自動(dòng)化」，是分層存儲(chǔ)的關(guān)鍵。

自動(dòng)分層存儲(chǔ)技術(shù)的四個(gè)方向

自動(dòng)分層存儲(chǔ)技術(shù)的高原理非常簡(jiǎn)單。首先，必須建立跨多個(gè)存儲(chǔ)層的磁盤(pán)區(qū)域，然后通過(guò)一個(gè)I/O監(jiān)控單元，跟蹤和統(tǒng)計(jì)磁盤(pán)區(qū)域的每個(gè)塊I/O負(fù)載，然后由數(shù)據(jù)移動(dòng)單元，根據(jù)每個(gè)塊I/O負(fù)載程度，定期進(jìn)行數(shù)據(jù)遷移操作，并將每個(gè)塊放置在適當(dāng)?shù)拇鎯?chǔ)層

雖然高原管理并不復(fù)雜，但由于設(shè)計(jì)理念和存儲(chǔ)基礎(chǔ)設(shè)施的差異，各廠(chǎng)家的自動(dòng)分層存儲(chǔ)技術(shù)在結(jié)構(gòu)和運(yùn)行模式上也存在許多差異。我們可以通過(guò)存儲(chǔ)分層類(lèi)型、分層操作粒度、分層遷移操作周期和管理政策權(quán)限來(lái)檢查和比較各廠(chǎng)家的自動(dòng)分層存儲(chǔ)技術(shù)特點(diǎn)。

存儲(chǔ)分層類(lèi)型

最基本的分層類(lèi)型是將存儲(chǔ)裝置簡(jiǎn)單地分為SSD和硬盤(pán)兩層，比如早版IBMEasyTier，以及普安ESDS3000的AutomatedStorageTiering，采用兩層架構(gòu)。

只分為SSD硬盤(pán)兩層的主要出發(fā)點(diǎn)是機(jī)械硬盤(pán)的速度遠(yuǎn)低于任何速度SSD，因此，沒(méi)有必要細(xì)分硬盤(pán)類(lèi)型，如果只分為兩層，分層判斷和管理將更加簡(jiǎn)單。

但就實(shí)際環(huán)境而言，雖然I/O效率遠(yuǎn)低于硬盤(pán)，但1萬(wàn)轉(zhuǎn)和1萬(wàn)轉(zhuǎn).5萬(wàn)轉(zhuǎn)的高速硬盤(pán)和7200轉(zhuǎn)的低成本硬盤(pán)在單位成本上還有很大的差距，所以絕大多數(shù)廠(chǎng)家都采用分層結(jié)構(gòu)SSD、高速硬盤(pán)和低速硬盤(pán)的三層區(qū)，將硬盤(pán)分為高速和低成本兩種類(lèi)型。由于主流磁盤(pán)裝置的典型效率，三層可以提供比二層架構(gòu)更詳細(xì)的分層——成本區(qū)分，但分層運(yùn)作也會(huì)更復(fù)雜。

少數(shù)廠(chǎng)家的自動(dòng)分層功能，如EMCVMAX的FASTVP與普安ESVA的AutomatedStorageTiering，它還可以支持最多4層，分層更詳細(xì)，但架構(gòu)和操作將變得非常復(fù)雜。

最詳細(xì)的分層是DellCompellentStorageCenter的DataProgression自動(dòng)分層技術(shù)，DataProgression也是三層架構(gòu)，但區(qū)分方式不同。自StorageCenterOS6.4版以后，DataProgression采取由SLCSSD、MLCSSD前兩層由傳統(tǒng)硬盤(pán)組成的三層架構(gòu)分別有兩種類(lèi)型SSD，所有傳統(tǒng)硬盤(pán)都屬于第三層。同時(shí)使用兩種獨(dú)特的方法SSD架構(gòu)，DataProgression設(shè)定由寫(xiě)入效能優(yōu)越的SLCSSD承擔(dān)所有寫(xiě)入I/O，可以考慮高讀取效率和成本MLCSSD承擔(dān)高讀取I/O，低成本的傳統(tǒng)硬盤(pán)與低成本的傳統(tǒng)硬盤(pán)一起儲(chǔ)存I/O負(fù)載數(shù)據(jù)。

除磁盤(pán)裝置類(lèi)型分為基本三層外，DataProgression也可以在每個(gè)儲(chǔ)存層內(nèi)按照RAID型式與組成RAID組的磁盤(pán)數(shù)量等，進(jìn)一步分層更細(xì)，DataProgression在目前的分層存儲(chǔ)技術(shù)中，這種夾有小分層的架構(gòu)也是獨(dú)一無(wú)二的，大多數(shù)其他制造商只允許在每個(gè)存儲(chǔ)層中使用一種RAID群組。

分層作業(yè)的粒度

存取行為分析和數(shù)據(jù)移動(dòng)采用自動(dòng)分層存儲(chǔ)功能「粒度(granularity)」，一般來(lái)說(shuō)，容量單位越小越有利，有幾百個(gè)KB對(duì)于單位塊進(jìn)行搬遷作業(yè)，顯然比以數(shù)GB整個(gè)單位Volume或LUN不僅消耗的資源較少，而且能達(dá)到更高的儲(chǔ)存資源配置效率，它還可以更準(zhǔn)確地遷移真正需要遷移的數(shù)據(jù)塊。

數(shù)十或數(shù)百GB的Volume或LUN在中間，通常只有一小部分塊經(jīng)常被訪(fǎng)問(wèn)。因此，在實(shí)施數(shù)據(jù)分層遷移操作時(shí)，如果自動(dòng)分層存儲(chǔ)系統(tǒng)能夠以較小的塊為單位，則可以更準(zhǔn)確地將真正經(jīng)常訪(fǎng)問(wèn)的塊保留在高效存儲(chǔ)區(qū)，其余塊將遷移到低成本存儲(chǔ)區(qū)，從而更有效地利用存儲(chǔ)空間。若粒度較大，則在遷移數(shù)據(jù)時(shí)，很容易連帶遷移到不需要遷移到數(shù)據(jù)塊的地方，從而造成存儲(chǔ)資源的浪費(fèi)。

但另一方面，如果操作的精細(xì)度越小，系統(tǒng)對(duì)應(yīng)的塊數(shù)和相應(yīng)的塊數(shù)metadata控制器的負(fù)載越多，越多。

目前的自動(dòng)分層儲(chǔ)存技術(shù)都是屬于「Sub-LUN」或「Sub-Volume」等級(jí)，即可比LUN或Volume較小的單位來(lái)執(zhí)行數(shù)據(jù)遷移作業(yè)，但是差別很大，粒度最細(xì)的可以達(dá)到幾百。KB或數(shù)MB等級(jí)，如DellCompellent的DataProgression(512KB～4MB)、普安的AutomatedStorageTiering(256KB～2MB)，以及EMCVMAX的FASTVP(7.5MB)等。

常見(jiàn)的粒度是幾十個(gè)MB到上百M(fèi)B等級(jí)，如HDS的HitachiDynamicTiering(32MB與