數據中心IRF2虛擬化網絡架構與應用

申請免費試用、咨詢電話：400-8352-114

網絡已經成為企業(yè)IT運行的基石，隨著IT業(yè)務的不斷發(fā)展，企業(yè)的基礎網絡架構也不斷調整和演化，以支持上層不斷變化的應用要求。

在傳統(tǒng)數據中心網絡的性能、安全、永續(xù)基礎上，隨著企業(yè)IT應用的展開，業(yè)務類型快速增長,運行模式不斷變化，基礎網絡需要不斷變化結構、不斷擴展以適應這些變化，這給運維帶來極大壓力。傳統(tǒng)的網絡規(guī)劃設計依據高可靠思路，形成了冗余復雜的網狀網結構，如圖1所示。

企業(yè)數據中心IT基礎架構網狀網 結構化網狀網的物理拓撲在保持高可靠、故障容錯、提升性能上有著極好的優(yōu)勢，是通用設計規(guī)則。這樣一種依賴于純物理冗余拓撲的架構，在實際的運行維護中卻同時也承擔了極其繁冗的工作量。

多環(huán)的二層接入、Full Mesh的路由互聯，網絡中各種鏈路狀態(tài)變化、節(jié)點運行故障都會引起預先規(guī)劃配置狀態(tài)的變遷，帶來運維診斷的復雜性;而應用的擴容、遷移對網絡涉及更多的改造，復雜的網絡環(huán)境下甚至可能影響無關業(yè)務系統(tǒng)的正常運行。 因此，傳統(tǒng)網絡技術在支撐業(yè)務發(fā)展的同時，對運維人員提出的挑戰(zhàn)是越來越嚴峻的。

隨著上層應用不斷發(fā)展，虛擬化技術、大規(guī)模集群技術廣泛應用到企業(yè)IT中，作為底層基礎架構的網絡，也進入新一輪技術革新時期。H3C IRF2以極大簡化網絡邏輯架構、整合物理節(jié)點、支撐上層應用快速變化為目標，實現IT網絡運行的簡捷化，改變了傳統(tǒng)網絡規(guī)劃與設計的繁冗規(guī)則。

1. 數據中心的應用架構與服務器網絡

對于上層應用系統(tǒng)而言，當前主流的業(yè)務架構主要基于C/S與B/S架構，從部署上，展現為多層架構的方式，如圖2所示，常見應用兩層、三層、四層的部署方式都有，依賴于服務器處理能力、業(yè)務要求和性能、擴展性等多種因素。

多層應用架構

基礎網絡的構建是為上層應用服務，因此，針對應用系統(tǒng)的不同要求，數據中心服務器區(qū)的網絡架構提供了多種適應結構，圖3展示了四種H3C提供的常用網絡拓撲結構：

多種數據中心ServerFarm結構

根據H3C的數據中心架構理解和產品組合能力，可提供獨立的網絡、安全、優(yōu)化設備組網，也可以提供基于框式交換平臺集成安全、優(yōu)化的網絡架構。ServerFarm 1和2是一種扁平化架構，多層應用服務器(WEB、App、DB)群共用同一網關，適用于一般規(guī)模服務器群，可擴展性有一定限制，網關層控制策略比較復雜;ServerFarm 3和4是一種展開式架構，與應用的多層訪問架構保持了一致性，具有更清晰的數據流路徑，更強的業(yè)務擴展能力和良好的策略控制能力。

2. 數據中心ServerFarm 交換網絡IRF2虛擬化設計方案

對于傳統(tǒng)的數據中心服務器區(qū)交換網絡(如圖4所示)，針對無環(huán)設計和有環(huán)設計有多種選擇方案。

傳統(tǒng)的多種服務器區(qū)接入網絡拓撲

在數據中心更為通用的是采用環(huán)路接入拓撲模式，以生成樹協(xié)議(MSTP)配合第一跳網關冗余協(xié)議(VRRP)提供服務器接入的可靠性。同時，服務器以多網卡連接網絡以進一步提供冗余能力。圖5為常用的三種接入設計方法，雖然這幾種方式已經成為數據中心接入設計的最佳實踐，但從網絡的拓撲設計、環(huán)路規(guī)避、冗余備份等角度考慮，設計過程是極其復雜的。如VLAN的規(guī)劃、生成樹實例的拓撲阻塞、網關冗余選擇，包括相應技術的參數選擇、配置，故障切換的預期判斷等，需要一套十分詳細的流程，而在后期網絡運行維護過程中面臨的壓力和復雜度是顯而易見的。

生成樹+VRRP的設計方式

引入虛擬化設計方式之后，在不改變傳統(tǒng)設計的網絡物理拓撲、保證現有布線方式的前提下，以IRF2的技術實現網絡各層的橫向整合，即將交換網絡每一層的兩臺、多臺物理設備使用IRF2技術形成一個統(tǒng)一的交換架構，減少了邏輯的設備數量，如圖6所示

IRF2對網絡橫向虛擬化整合過程

在虛擬化整合過程中，被整合設備的互聯電纜成為IRF2的內部互聯電纜，對IRF2系統(tǒng)外部就不可見了.原來兩臺設備之間的捆綁互聯端口歸屬的VLAN三層接口網段均能被其它設備可達(如ping通)，而歸屬到IRF2系統(tǒng)內部后，不對互聯電纜接口進行IP配置，因此隔離于IRF2外部網絡。

虛擬化整合后的IRF2系統(tǒng)，對外表現為單臺物理設備，因此，在保持基本網絡互聯條件下(如圖6左圖所示)，可將一對IRF2系統(tǒng)之間的多條線纜進行鏈路捆綁聚合動作(如圖6中圖所示)，從而將不同網絡層之間的網狀互聯簡化成單條邏輯鏈路(如圖6右圖所示)。

以IRF2組網后，整個網絡的配置管理情況發(fā)生了很大變化。原來的多臺物理設備組成為一臺邏輯設備，所有IRF2成員可以統(tǒng)一管理配置。因為只有一個管理IP，所以不需要登陸到不同設備各自管理運維，可以直接對所有端口、VLAN等特性進行配置，如圖7所示。

IRF2組網的網絡配置管理方式

對于接入層設備來說，以Top of Rack接入為例：一般使用兩臺接入交換機對同類業(yè)務系統(tǒng)服務器進行接入，以滿足服務器雙網卡的上行要求。使用IRF2進行網絡簡化時，對網絡匯聚層或服務器網關層的虛擬化整合是必要的，因為這是消除生成樹和VRRP的關鍵網絡層。對接入層網絡來說，有如圖8所示的兩種選擇：

接入層不同的IRF2應對方式

第一種，保持原有網絡拓撲和設備獨立性不變，如圖8方式A，通過IRF2將匯聚網關層虛擬化，Top of Rack交換機雙歸屬上聯的兩條鏈路直接進行捆綁，消除了環(huán)路，服務器網卡歸屬到獨立的兩臺交換機。

第二種，在Top of Rack兩臺交換機之間增加IRF2互聯線纜，使得接入層也實現虛擬化整合，如圖8方式B，服務器雙網卡連接的兩臺交換機虛擬化成一臺，這兩臺交換機的所有上聯線纜可實現跨設備的捆綁，進一步減少邏輯鏈路數。方式B還可實現更多的接入層設備整合，網絡物理設備與邏輯節(jié)點的整合比可大大超過2:1。

對于服務器而言，上行到IRF2系統(tǒng)的所有網卡如同接入一臺交換機，可滿足各種工作模式，特別是服務器的雙網卡捆綁方式，如圖9所示。除了支持網卡主備模式，對于網卡需要捆綁(LACP功能)的業(yè)務要求，由于IRF2本身可支持跨設備的鏈路聚合，因此服務器多網卡上行到一個IRF2系統(tǒng)的不同交換機均可實現捆綁，實現網卡吞吐帶寬增強和提升可靠性。

基于IRF2的服務器多網卡適配

服務器雙網卡接入網絡有多種模式：網卡的主備、網卡雙活。雙網卡主備方式下，服務器兩個網卡分別接入IRF2的不同交換機成員，實際等同于接在同一臺交換機下，因此網卡鏈路狀態(tài)發(fā)生變化時，IRF2系統(tǒng)能夠立刻感知，網卡業(yè)務切換后，對交換機IRF2系統(tǒng)只是表現為網卡地址遷移到同一臺交換機的不同物理端口。由于IRF2交換系統(tǒng)對上層網絡隔離了地址端口遷移(對上層設備來說，服務器地址總是在與接入層IRF2的上行鏈路對應的網絡接口下，并沒有漂移)，表項變化只在接入層設備處理，因此網絡能夠快速適應網卡流量切換。網卡雙活模式下，兩塊網卡可以工作在聚合捆綁方式，則可將雙網卡分別連接IRF2的不同交換機成員接入端口，并可以基于IRF2將不同交換機上的端口進行聚合捆綁，由于雙網卡具有相同的Mac和IP地址，而IRF2將不同交換機端口聚合捆綁后，聚合組內不同端口下不會存在地址漂移，網卡地址在IRF2上只被作為分布式設備的虛擬聚合鏈路下的一個地址，優(yōu)化了雙網卡組網方式。

在實施數據中心IRF2架構中，VLAN和IP的設計變得十分簡單，在網絡各層互聯上使用鏈路捆綁方式在多條物理鏈路上虛擬出了一個聚合層，也就是捆綁后的邏輯鏈路，因此聚合組替代了原來的物理端口成為VLAN設計的考慮因素，因為聚合/捆綁后的交換機端口群(可能分布在IRF2不同的成員上)被視為單個邏輯端口使用。

由于網絡采用IRF2設計中，已經消除了環(huán)路，在不考慮生成樹協(xié)議條件下，VLAN的設計在滿足業(yè)務連通性上已經十分簡單。

基于IRF2的VLAN、IP設計

如圖10所示，在接入層配置了A-H共8個接入VLAN，用于數據中心8類服務器接入，分屬到兩個業(yè)務網關層。核心層與網關層(匯聚層)均采用IRF2實現每層兩臺設備的虛擬化整合，接入層分別采用兩種方式：左邊模塊Top of Rack接入不進行IRF2虛擬化;右邊模塊采用IRF2虛擬化橫向整合。

對于VLAN A，服務器上聯到兩臺Top of Rack交換機，每臺交換機雙上行捆綁到網關，邏輯上形成了一個倒V的拓撲，VLAN A在網關的IRF2系統(tǒng)上只需配置一個IP地址10.1.1.1/24。

對于VLAN H，由于右邊模塊下的Top of Rack交換機以IRF2形式接入服務器，服務器的雙網卡所在的兩個端口只表現為一臺交換機同一VLAN H的兩個端口，上行只有一個邏輯鏈路，因此VLAN H簡單地通過此鏈路終結在匯聚層網關上，只需配置一個IP地址10.2.4.1/24. 核心層與匯聚層之間的連接也簡化為只通過一個VLAN進行三層互聯了，將本來full mesh全連接的網狀網變成了簡單的單邏輯鏈路連接。

IRF2網絡架構對路由設計的簡化

圖11左圖的網絡結構中，三層互聯鏈路成網狀，所需網段多，且一般一條物理鏈路對應一個互聯網段，在運行動態(tài)路由、使能接入環(huán)路生成樹條件下，任意物理鏈路的故障(Up/Down)都會引起網絡路由的振蕩、VRRP狀態(tài)變化或生成樹的重新計算，同時可能引起應用系統(tǒng)業(yè)務流的中斷(在協(xié)議計算收斂條件下的業(yè)務恢復時間可達到數秒甚至分鐘級)。

而圖11右圖采用IRF2的網絡結構，網絡節(jié)點之間以多鏈路捆綁組模式互聯(普通方式下為1～4條物理鏈路)，捆綁組中任意一條物理鏈路發(fā)生故障(引起Up/Down)，由于整個捆綁組在邏輯上仍然有效，接口狀態(tài)正常，整個網絡拓撲沒有變化，因此不會引發(fā)上層路由協(xié)議重計算，極大保持了網絡穩(wěn)定運行。同時基于IRF2的網絡架構所需互聯IP大量減少，減少了網絡可管理的IP對象，也消除了潛在隱患。此結構中，動態(tài)路由設計面對的網絡區(qū)域，也因架構橫向整合而使得動態(tài)路由區(qū)域可能變成了簡單的鏈狀，參與路由計算的節(jié)點大量減少，設計上更簡單和易穩(wěn)定。

面向server farm多層應用架構的IRF2組網

對于數據中心應用的多層架構，按圖5的組網模式，采用IRF2技術進行改良。如圖12所示，端到端的IRF2設計可以將大規(guī)模數據中心網狀網變成線性/樹狀輻射網，在網絡每一層具有靈活擴展能力、簡單配置管理方式，提升網絡的運行管理效率。 對于數據中心已有核心，擴建業(yè)務模塊的網絡設計，可在匯聚/網關層以下的網絡層次使用IRF2技術進行構建。

在現有數據中心采用IRF2架構擴建新業(yè)務模塊

如圖13左圖，新建業(yè)務模塊的網絡連接與已有業(yè)務模塊區(qū)可采用相同連接拓撲，新建業(yè)務模塊通過IRF2消除本模塊內的環(huán)路設計，網關/匯聚節(jié)點創(chuàng)建兩個接口分別與核心兩臺設備連接，如圖15右圖，出入此新建業(yè)務模塊的訪問流量可通過兩條(或多條)等價路由實現連通。

3. 如何通過IRF2網絡構建適應VMotion的虛擬化應用

VMware的VMotion是當前服務器虛擬化技術的熱點內容，主要好處是解決了業(yè)務在運行過程中的動態(tài)遷移問題，使得應用可以根據計算容量需求動態(tài)調整計算資源。

VMoiton過程示意

如圖14所示，在VMotion過程中，選擇好目的物理服務器后，啟動遷移流程，VMWare虛擬系統(tǒng)將處于工作運行中的虛擬機(VM)的實時狀態(tài)，包括內存、寄存器狀態(tài)等信息同步拷貝到目的VM，并激活目的VM從而完成遷移。

VMotion過程對于網絡設計本無特殊要求，但遷移的范圍要求網絡二層連通，即源VM與目的VM在同一VLAN內，這就要求VM虛擬化應用所在的網絡是一個二層網絡。如圖15所示，VMotion的網絡中存在三種VLAN：管理VLAN如VLAN 10，遷移VMotion VLAN如VLAN 20，VM業(yè)務VLAN如VLAN 105/106。

VMotion的二層VLAN類型

傳統(tǒng)MSTP的二層設計在小范圍網絡環(huán)境也基本滿足VMotion的應用要求，但是隨著VM 二層域規(guī)模的不斷擴大，有些企業(yè)甚至要建數據中心范圍內的二層網絡，如果采用MSTP+VRRP構建數據中心網絡，不論是前期規(guī)劃還是建成后的運營都會極其復雜。

基于IRF2的大規(guī)模VMotion網絡架構

圖16提供了端到端全面構建VMotion網絡的方案。由于IRF2消除了環(huán)路和冗余網關協(xié)議帶來的問題，整個網絡可搭建一個大范圍的二層互聯平臺，在此平臺上合理部署相應的管理VLAN、VMotion VLAN和VM業(yè)務VLAN即可滿足虛擬化業(yè)務需求。

在虛擬化環(huán)境中遇到的另一個問題是安全策略問題，有外部流量訪問VM的安全策略，也有VM之間的安全策略。對此存在不同的部署意見，有的認為安全策略需要部署到服務器內部的vSwitch上，有的建議由安全設備如防火墻集中執(zhí)行。

安全策略部署在服務器內的vsSwitch上，便于做到控制精細，并且在VM的遷移過程中，相應的控制策略也能跟隨虛擬化系統(tǒng)軟件的遷移功能隨著VM到達相應的vSwitch。但根據思博倫測試專家的觀點，策略在vSwitch上部署過多對于vSwitch性能有一定影響。同時，對大二層網絡，策略過于分散，不利于運行維護。并且在當前企業(yè)數據中心運維架構中，服務器虛擬化帶來的Switch管理歸屬成為問題。(是網絡運營部門?還是應用運營部門?) 另一種集中式的控制策略部署在網絡設備上。對IRF2構建的網絡，如果對外部訪問VM的流量進行策略控制，則可在所有VM的網關層設置入方向的ACL控制策略，如圖16所示，控制集中、便于策略維護。