將1500節(jié)點(diǎn)無盤服務(wù)器群發(fā)展成完全虛擬化系統(tǒng)

這位具有22年經(jīng)驗(yàn)的行業(yè)老手在 2000 年加入 NetApp 之前就曾擔(dān)任過工程師、系統(tǒng)管理員和 IT 經(jīng)理等多個(gè)職位。Gregg 在幫助建立了原來的 NetApp 北卡羅來納州分公司后，在該處擔(dān)任了 4 年多的系統(tǒng)工程師，之后又回到 NetApp 工程 IT 團(tuán)隊(duì)。

憑借在客戶環(huán)境方面的多年經(jīng)驗(yàn)，他構(gòu)想并設(shè)計(jì)了 Kilo-Client 測試實(shí)驗(yàn)室。他目前管理一支五人團(tuán)隊(duì)，該團(tuán)隊(duì)平均支持 12 至 14 個(gè)虛擬環(huán)境并管理 1,498 個(gè)刀片、7102 個(gè) Fabric 端口及 87 個(gè)涵蓋 1038TB 存儲的存儲控制器。

我們最初是想把工程測試實(shí)驗(yàn)室設(shè)在三角研究園，以滿足 NetApp 內(nèi)部不斷增長需求：能夠針對大型網(wǎng)格或服務(wù)器群測試產(chǎn)品，并快速重現(xiàn)顧客在這種環(huán)境中可能遇到的問題。我們最初計(jì)劃使用服務(wù)器刀片，其中每個(gè)刀片都是從本地磁盤啟動(dòng)。但隨著項(xiàng)目進(jìn)展我們開始明白，將啟動(dòng)映像復(fù)制到上千個(gè)本地磁盤所需的時(shí)間和管理開銷，會(huì)導(dǎo)致配置和管理集群的時(shí)間超過運(yùn)行實(shí)際測試。

因此，我們在設(shè)計(jì)測試實(shí)驗(yàn)室時(shí)包括了通過 iSCSI 啟動(dòng)的 1,120 個(gè)服務(wù)器刀片。我們給這個(gè)實(shí)驗(yàn)室取名為 Kilo-Client，并相信其在 2005 年啟動(dòng)時(shí)會(huì)成為全世界最大的基于 iSCSI 的無盤服務(wù)器群（可能現(xiàn)在還是！）。后來我們還添加了 98 個(gè)帶 iSCSI HBA 的刀片和 280 個(gè)能夠通過光纖通道啟動(dòng)的刀片。查看特定硬件和軟件組件的選項(xiàng)。

結(jié)果：1,500 節(jié)點(diǎn)服務(wù)器群將高度的性能和靈活性融入到僅占 389 平方英尺多一點(diǎn)的空間中。

盡管 Kilo-Client 目前多少仍保持著它在開始時(shí)的動(dòng)機(jī)，但這個(gè)實(shí)驗(yàn)室已經(jīng)發(fā)展到了可與新興技術(shù)媲美的程度。此外，在過去的兩年中，我們掌握了許多有關(guān)操作和維護(hù)大型環(huán)境的知識。本文著重介紹了目前測試實(shí)驗(yàn)室設(shè)計(jì)當(dāng)中客戶和合作伙伴最感興趣的幾個(gè)方面，包括：

  快速配置服務(wù)器
配置虛擬環(huán)境
通過 iSCSI、FC 和 NFS 啟動(dòng)
通過 10 千兆位以太網(wǎng)實(shí)現(xiàn) iSCSI
管理自動(dòng)化
簡化配置
數(shù)據(jù)中心冷卻

但在深入探究之前，我想讓大家明白 Kilo-Client 僅建立在五、六種不同技術(shù)的基礎(chǔ)之上，其中每種技術(shù)目前都在成百上千個(gè) NetApp 客戶的網(wǎng)站上使用。建立體系結(jié)構(gòu)很大程度上就是將所有這些要素整合到單個(gè)基礎(chǔ)設(shè)施中，其中每個(gè)要素我都在擔(dān)任 NetApp 系統(tǒng)工程師時(shí)接觸過。

簡言之：每一位 NetApp 客戶都可以利用我們測試實(shí)驗(yàn)室中的一切資源。

快速配置服務(wù)器

我們早期的一個(gè)目標(biāo)是快速配置能夠符合特定測試特點(diǎn)的計(jì)算網(wǎng)格。這就意味著必須能夠通過任意操作系統(tǒng)/應(yīng)用程序環(huán)境快速啟動(dòng)服務(wù)器。我們使用 NetApp FlexClone? 技術(shù)解決了此問題，從而能夠快速創(chuàng)建系統(tǒng)映像，而無需對這些映像進(jìn)行完全的物理拷貝。

這樣，就為服務(wù)器群中所需的每個(gè)操作系統(tǒng)和應(yīng)用程序堆棧創(chuàng)建一套"黃金"啟動(dòng)映像（如 iSCSI、光纖通道 SAN LUN）。使用 SnapMirror 和 FlexClone，我們可快速復(fù)制出數(shù)百個(gè)克隆（每臺配置用于測試的服務(wù)器一個(gè) FlexClone 克隆）；僅需將特定于主機(jī)的"個(gè)性化"添加到每個(gè)受配置服務(wù)器的核心映像。這種獨(dú)特方法提供的近乎即時(shí)的映像配置幾乎不占任何空間（只需將不同的映像塊添加到存儲系統(tǒng)，由存儲系統(tǒng)來跟蹤各個(gè)映像），從而使我們在數(shù)分鐘內(nèi)即可配置并啟動(dòng)全部或部分近 1500 個(gè)刀片。

虛擬環(huán)境

盡管我們的方法非常有效，我們最終發(fā)現(xiàn)僅配置服務(wù)器環(huán)境還不夠。NetApp 工程師需要、并且我們必須能夠做到的就是快速配置完整的虛擬環(huán)境，其中包括計(jì)算網(wǎng)格、互連 Fabric 及存儲網(wǎng)格。

這正是我們現(xiàn)在所做的工作。我們可以自動(dòng)配置幾乎可運(yùn)行所有操作系統(tǒng)（包括 VMware）的計(jì)算網(wǎng)格，并通過 vLAN (IP)、vSAN（光纖通道）、NFS 甚至通過 CIFS（我們無法通過 CIFS 啟動(dòng)，但可以測試 CIFS 功能）將其連接至五個(gè)可能的存儲網(wǎng)格中的任意一個(gè)。

典型的虛擬環(huán)境（可能包括 100 個(gè)服務(wù)器、多個(gè)操作系統(tǒng)及五至六個(gè)存儲控制器）通常可在一個(gè)小時(shí)或更短時(shí)間內(nèi)就可啟動(dòng)運(yùn)行。我們創(chuàng)建過的最復(fù)雜的環(huán)境花了近 10 個(gè)小時(shí)才啟動(dòng)運(yùn)行，它包括 500 個(gè)服務(wù)器、30 個(gè) NetApp FAS 6070、72 個(gè) 300GB FC 驅(qū)動(dòng)器托架（約 500TB）及 Data ONTAP GX 操作系統(tǒng)。

無論何時(shí)，我們的實(shí)驗(yàn)室都在運(yùn)行著 12 到 15 個(gè)虛擬環(huán)境，用于從產(chǎn)品和互操作性測試、故障診斷到概念驗(yàn)證測試的一切任務(wù)。您可以通過中斷服務(wù)器并創(chuàng)建該系統(tǒng)的空間高效的派生克隆（使用 FlexClone）來預(yù)先進(jìn)行測試。

甚至在其它系統(tǒng)上（雖然具有同樣的體系結(jié)構(gòu)），也可以保存或與其他用戶共享任何環(huán)境的測試配置，并在數(shù)月或數(shù)年后重新運(yùn)行。構(gòu)建環(huán)境之后，再也不需要重新構(gòu)建。比如說，我們構(gòu)建了 Red Hat Linux環(huán)境并且團(tuán)隊(duì)要求該環(huán)境加載 Oracle 10g。測試完畢后，他們可以創(chuàng)建克隆，并且將來必要時(shí)可重新使用該預(yù)配置環(huán)境。

最后一個(gè)要強(qiáng)調(diào)的是，您可以在世界各地訪問和管理這些虛擬環(huán)境。在 NetApp 全球六個(gè)公司就職的工程師或全球任何位置的 NetApp 系統(tǒng)工程師都可以遠(yuǎn)程規(guī)劃資源并運(yùn)行測試。

最初的 Kilo-Client 設(shè)計(jì)允許我們使用硬件啟動(dòng)端 (iSCSI HBA) 通過 iSCSI 來啟動(dòng)服務(wù)器刀片。現(xiàn)在我們可使用以下四種方法種的任意一種來啟動(dòng)服務(wù)器：

使用硬件啟動(dòng)端（1,218 個(gè)刀片）通過 iSCSI 來啟動(dòng)
使用軟件啟動(dòng)端（整個(gè)環(huán)境）通過 iSCSI來啟動(dòng)
使用 FC HBA（280 個(gè)刀片）通過光纖通道來啟動(dòng))
通過 NFS（整個(gè)環(huán)境）來啟動(dòng)

這樣我們就可以測試并比較各種環(huán)境和啟動(dòng)方法。如果我們并非專門測試啟動(dòng)方法，則可根據(jù)測試要求來定制方法。比如，如果有人想通過故障注入來執(zhí)行光纖通道測試，我們一般會(huì)通過 iSCSI 或 NFS 來啟動(dòng)正用于進(jìn)行其它測試的服務(wù)器，從而閑置光纖通道以便進(jìn)行測試。

通過 10GBE 實(shí)現(xiàn) iSCSI

不久以前，在 blade.org 贊助的一次活動(dòng)中有人要求我就 Kilo-Client 的設(shè)計(jì)發(fā)表演講。我講完之后，幾乎在場的所有供應(yīng)商都希望把他/她的新技術(shù)出售給我用于 Kilo-Client。某個(gè)銷售人員過度熱情，我甚至躲進(jìn)了洗手間！

到家時(shí)，我看了一下那些硬塞給我的所有名片，發(fā)現(xiàn)有幾個(gè)供應(yīng)商可提供 10 千兆位以太網(wǎng)產(chǎn)品。我給他們一一打了電話，最后我們通過 IBM Blade Center 制作了一個(gè)測試套件，連接 NetApp 集群的 NetXen 控制器也配備了 10 千兆位以太網(wǎng)卡。

最后確定了采用端到端 10 千兆位以太網(wǎng)的配置，可使用 iSCSI 進(jìn)行無盤啟動(dòng)。我們將該配置帶到了新奧爾良的一次活動(dòng)當(dāng)中，在那里引起了廣泛的關(guān)注，該硬件又相繼在巴黎和新加坡展出（盡管我沒有去）。

到目前為止，我們已完成大部分功能測試，該體系結(jié)構(gòu)讓我們能夠?qū)?10 千兆位以太網(wǎng)與光纖通道以及希望測試的其它產(chǎn)品進(jìn)行大范圍的性能比較。

自動(dòng)化配置管理

創(chuàng)建 Kilo-Client 時(shí)，我們有一些腳本可用來幫助處理配置及相關(guān)事項(xiàng)。由于可以隨意使用，這是薄弱的環(huán)節(jié)。現(xiàn)在，我們的工作遵循可預(yù)測模式，這包括規(guī)劃'配置'監(jiān)控'根據(jù)負(fù)載調(diào)節(jié)資源'撤消配置'重新規(guī)劃，等等。

我們有一個(gè)自動(dòng)化框架，可以處理所有這些任務(wù)的大約 70%，這是一個(gè)很大的進(jìn)步。受困于可擴(kuò)展性問題的客戶對我們的管理方法很感興趣，因?yàn)樗w現(xiàn)了數(shù)量極為有限的員工可以如何有效地管理動(dòng)態(tài)、高容量、高要求的環(huán)境。

簡化配置

在 Gartner 的一名分析人員指出 Kilo-Client 是現(xiàn)實(shí)中的一個(gè)規(guī)模最大、最好的簡化配置實(shí)例之前，我實(shí)際上從未將"簡化配置"這個(gè)術(shù)語與 Kilo-Client 關(guān)聯(lián)起來。他說得對，我們的實(shí)驗(yàn)室極具空間效益，可提供 1500 倍以上的容量效率，因?yàn)榭寺∮诚?(LUN) 僅占用啟動(dòng)映像更改所需的額外磁盤空間。

比如，我們想使用 Red Hat Linux 啟動(dòng)所有 1,498 個(gè)服務(wù)器。我們的測試實(shí)驗(yàn)室需要的存儲總量是 7.63TB（假定七個(gè)啟動(dòng)存儲系統(tǒng)每個(gè)需要 20GB，每個(gè)刀片需要 5GB）。在傳統(tǒng)的服務(wù)器群（甚至采用傳統(tǒng)的無盤啟動(dòng)）中，每個(gè)服務(wù)器足足需要 20GB，這樣我們的存儲總量就需要 30TB。天啊！正如我前面所說，配置和管理集群所花的時(shí)間比運(yùn)行測試的時(shí)間還要多。

針對緊密配置的冷卻設(shè)計(jì)

人們經(jīng)常問我一個(gè)問題，"您究竟有什么辦法來冷卻這個(gè)龐然大物？"其部分原因與我描述的簡化配置的特點(diǎn)有關(guān)：它需要冷卻的熱量遠(yuǎn)不及傳統(tǒng)環(huán)境中的熱量。

固然，將 1,500 個(gè)刀片、7102 個(gè) Fabric 端口和 87 個(gè)存儲控制器集中到一個(gè)區(qū)域，設(shè)備確實(shí)是非常密集。在我們原來的數(shù)據(jù)中心，我們采用的是一種熱通道/冷通道方法。我們在設(shè)備的前面（吸入空氣的地方）添加了額外的冷卻設(shè)備，從而制作了一個(gè)冷通道。這使得由前至后形成了 30 度角。

最近我們遷移到了新的數(shù)據(jù)中心，并在新實(shí)驗(yàn)室中采取了一種不同的方法-建立了一個(gè)制冷室。我們購買了全新的地板到天花板式機(jī)柜，并確保由前至后的所有縫隙都已完全密封，從而形成一個(gè)空調(diào)系統(tǒng)。

設(shè)備前面的冷氣只能在設(shè)備內(nèi)流動(dòng)，并且也決不會(huì)與設(shè)備后面散出的熱氣混合在一起。冷空氣一側(cè)的氣壓也要稍高一些，以確保氣流僅往一個(gè)方向流動(dòng)。使用此方法，我們在實(shí)驗(yàn)室中實(shí)現(xiàn)了約 8 千瓦的冷卻效果，而先前的設(shè)計(jì)只能達(dá)到 4 千瓦。

有時(shí)，一些來訪者會(huì)詢問我們是否使用受控電源條帶來給那些未使用的客戶端斷電。實(shí)話說，我們甚至都沒這樣想過，因?yàn)閺牡谝惶炱鹞覀兊哪繕?biāo)就一直是要達(dá)到 100% 的利用率。這些服務(wù)器都受到 100% 的利用，并且會(huì)徹夜運(yùn)行自動(dòng)化測試，因此從來不會(huì)關(guān)閉。

摘要

在過去的兩年中，我們掌握了許多有關(guān)管理大型環(huán)境的知識。我們也從客戶和分析人士那里了解到該體系結(jié)構(gòu)影響到了他們考慮技術(shù)和數(shù)據(jù)中心設(shè)計(jì)的方式。主要優(yōu)點(diǎn)包括：

  服務(wù)器配置時(shí)間大幅縮減
在基礎(chǔ)設(shè)施的快速重新配置方面實(shí)現(xiàn)了極大的靈活性
只需小型團(tuán)隊(duì)即可管理基礎(chǔ)設(shè)施
保存并重新使用已經(jīng)配置的環(huán)境

該基礎(chǔ)設(shè)施的最終保證是可擴(kuò)展性強(qiáng)。公司如何在不增加 30% 比率的硬件的情況下實(shí)現(xiàn) 30% 的增長？許多公司都無法繼續(xù)快速地?cái)U(kuò)建數(shù)據(jù)中心來適應(yīng)增長，并且我們現(xiàn)在所使用的技術(shù)類型可能要依掌握時(shí)間而定。

服務(wù)器租用/服務(wù)器托管中國五強(qiáng)！虛擬主機(jī)域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]