现有数据中心网络的问题
近年来,服务器高可用集群技术和虚拟服务器动态迁移技术(如VMware的VMotion),在数据中心容灾及计算资源调配方面得以广泛应用,这两种技术不仅要求在数据中心内实现大二层网络接入,而且要求在数据中心间也实现大范围二层网络扩展。
动态迁移的要求:业务不间断。运行中的VM可实现动态迁移到不同物理机的虚拟平台上。
一些服务器虚拟化软件可实现在两台虚拟化的物理服务器之间对虚拟机做动态迁移,迁移至另一中心的虚拟机不仅保留原有IP地址,而且还保持迁移前的运行状态(如TCP会话状态),所以必须将涉及虚拟机迁移的物理服务器接入同一个二层网络(虚拟机在迁移前后的网关不变),这种应用场景要求构建跨中心的二层互联网络。
如上图所示,在VMotion过程中,选择好目的物理服务器后,启动迁移流程,VMWare虚拟系统将处于工作运行中的虚拟机(VM)的实时状态,包括内存、寄存器状态等信息同步拷贝到目的VM,并激活目的VM从而完成迁移。
VMotion过程对于网络设计本无特殊要求,但迁移的范围要求网络二层连通,即源VM与目的VM在同一VLAN内,这就要求VM虚拟化应用所在的网络是一个二层网络。如下所示,VMotion的网络中存在三种VLAN:管理VLAN如VLAN 10、迁移VMotion VLAN如VLAN 20、VM业务VLAN如VLAN 105/106。
传统MSTP的二层设计在小范围网络环境也基本满足VMotion的应用要求,但是随着VM二层域规模的不断扩大,现在有些企业甚至要建数据中心范围内的二层网络,如果采用MSTP+VRRP构建数据中心网络,不论是前期规划还是建成后的运营都会极其复杂。
传统二层网络的维护
在汇聚交换机上指定根桥,汇聚交换机上不需要参与STP的端口关闭STP特性
接入交换机与服务器直连端口设置为“边缘端口”;
接入交换机与服务器相连的端开启“BPDU保护”功能,标■的端口;
接入交换机上行端口开启“环路保护”功能,标■的端口;
汇聚交换机(根桥和备份根桥)与接入交换机互联的端口开启“root保护”功能,标■的端口;
交换机上开启“TC-BPDU保护”功能;
在交换机上开启loopback-detection(端口环回检测)功能,防止错误的配置或连接形成端口自环;
利用VLAN与MSTP实例映射关系,实现业务流量负载分担。
在汇聚交换机或汇聚层L4/L7模块上规划多个VRRP组,实现服务器网关的备份和负载分担
现有技术的问题
构建二层网络方面,原先的标准——生成树协议(STP)因其一些故有缺陷将不再适合超大型数据中心的扩展。
STP在数据中心网络应用中的缺陷表现为以下几点:
STP是通过端口阻止来工作的,所有冗余的链路不进行数据转发,该方式虽然解决了二层数据环路的问题,却造成了带宽资源的浪费,而数据中心因其巨大的数据通讯量,对带宽资源的浪费是难以接受的。
以太网数据帧是没有TTL的,这会造成一旦数据在二层网络中出现环路,会造成整个网络立即瘫患,尤其是广播帧,这虽然不是STP协议的问题,但我们可归其为STP网络的问题。
当VLAN进行重配置的时候,STP(MSTP)会造成VLAN分隔,这对于数据中心网络而言也是非常严重的问题,尤其是存储网,因为存储网对不间断服务的要求很高。对云计算和数据中心网络中,虚拟机迁移更是致命。
数据中心虚拟化多变一适应虚拟机迁移
引入虚拟化设计方式之后,在不改变传统设计的网络物理拓扑、保证现有布线方式的前提下,以VSU的技术实现网络各层的横向整合,即将交换网络每一层的两台、多台物理设备使用IRF技术形成一个统一的交换架构,减少了逻辑的设备数量。
数据中心核心交换机RG-S12000两台之间使用VSU实现多变一。
数据中心接入交换机RG-S6200两台之间或RG-S6000两台之间使用VSU实现多变一。
部署方式
在虚拟化整合过程中,被整合设备的互联电缆成为VSU的内部互联电缆,对VSU系统外部就不可见了,原来的两台设备之间的捆绑互联端口因归属的VLAN三层接口网段均能被其它设备可达(如ping通),而归属到VSU系统内部后,不对互联电缆接口进行IP配置,因此隔离于VSU外部网络。
虚拟化整合后的VSU系统,对外表现为单台物理设备,因此,在保持基本网络互联条件下,可将一对VSU系统之间的多条线缆进行链路捆绑聚合动作,从而将不同网络层之间的网状互联简化成单条逻辑链路。
VSU组网条件下,对整个网络的配置管理情况就发生了很大变化:原来的多台物理设备现在成为一台逻辑设备,其中的所有VSU成员可以统一管理配置,因为也只有一个管理IP,不需要登陆到不同设备去各自管理运维了,可以直接对所有端口、VLAN等特性进行配置,如图所示。
对于接入层设备来说,以Top of Rack接入为例:一般使用两台接入交换机对同类业务系统服务器进行接入,以满足服务器双网卡的上行要求。使用VSU进行网络简化时,对网络汇聚层或服务器网关层的虚拟化整合是必要的,因为这是消除生成树和VRRP的关键网络层。
对于服务器而言,上行到VSU系统的所有网卡如同接入一台交换机,可满足各种工作模式,特别是服务器的双网卡捆绑方式,如图所示。除了支持网卡主备模式,对于网卡需要捆绑(LACP功能)的业务要求,由于VSU本身可支持跨设备的链路聚合,因此服务器多网卡上行到一个VSU系统的不同交换机均可实现捆绑,实现网卡吞吐带宽增强和提升可靠性。
如何适应虚拟机迁移
下图提供了采用端到端全面构建VMotion网络的方案,由于VSU消除了环路和冗余网关协议带来的问题,整个网络可搭建一个大范围的二层互联平台,在此平台上合理部署相应的管理VLAN、VMotion VLAN和VM业务VLAN即可满足虚拟化业务需求。
在虚拟化环境中遇到的另一个问题是安全策略问题,有外部流量访问VM的安全策略,也有VM之间的安全策略。对此有不同的部署意见,有的认为安全策略需要部署到服务器内部的vswitch上,有的建议由安全设备如防火墙集中执行。
安全策略部署在服务器内的vswitch上,便于做到控制精细,并且在VM的迁移过程中,相应的控制策略也能跟随虚拟化系统软件的迁移功能随着VM到达相应的vswitch。但根据思博伦测试专家的观点,策略在vswitch上部署过多对于vswitch性能有一定影响。同时,对大二层网络,策略过于分散,不利于运行维护。并且在当前企业数据中心运维架构中,服务器虚拟化带来的vswitch管理归属成为问题。
另一种集中式的控制策略部署在网络设备上结合RG-S6200的802.1Qbg的方案。对VSU构建的网络,如果对外部访问VM的流量进行策略控制,则可在所有VM的网关层设置入方向的ACL控制策略,如下图所示,控制集中、便于策略维护。
云计算(分布式数据中心)互联路由网络简介
云计算大大扩展了IT服务能够提供的种类和范围,作为云计算服务提供者与使用者的联系纽带,路由平台为云计算提供高速、可靠、扩展性强、简单易用的广域数据传输平台。
云计算主要包括公有云与私有云,云计算中心通过广域数据传输平台与终端用户互联,为公众用户或企业内部用户提供云服务。由于使用云服务的终端用户数量大、分布广泛、接入方式多种多样,因此将承载云计算的数据传输平台称为路由平台。
公有云路由平台
公有云的服务对象是公众用户,用户主要通过互联网接入方式与云计算中心连接。因此,公有云泛联路由平台是面向全互联网用户的,提供大容量、快速、高可用、安全的互联网接入平台。
公有云通常规模庞大,具有2个甚至多个数据中心,具有多个高速互联网出口,其泛联路由平台主要由核心层路由器、外联层路由器组成:
核心层路由器:连接云计算数据中心与互联网出口,执行高速数据转发;
外联层路由器:连接各运营商互联网出口,执行大容量路由、会话处理。
公有云泛联路由平台的主要功能特点是:
全网路由处理:外联层路由器与运营商的高速互联网专线连接,并与运营商交互互联网全网路由(约17~20万条),利于提高互联网访问速度,执行更有效的流量分流与负载策略;
高速收敛:路由平台必须具备电信级的可靠性,能够在链路故障、设备故障、互联网路由收敛等情况下完成无缝倒换,确保云计算服务不中断;
路由级联:多个云计算数据中心的核心层路由通过专线级联,通过灵活可扩展的分布式架构实现多数据中心的高速数据交换与备份,提供更高性能和更可靠的云计算服务。
私有云路由平台
私有云的服务对象是企业内部用户,用户可通过局域网、广域专网、互联网VPN等多种方式与云计算中心连接。相比公有云,私有云虽然一般规模较小,接入用户数量较少,但用户连接方式更为多样,路由平台的多业务处理能力要求更高,具有“核心高速化、边缘智能化”的特点。
较小规模的私有云路由平台通常采用扁平化架构
扁平化路由平台采用核心层、接入层两级路由架构:
核心层路由器:连接云计算数据中心与接入层路由器,执行各接入层路由汇聚,以及高速数据转发;支持互联网用户、远程VPN用户接入;
接入层路由器:接入终端用户。由于云计算对终端的要求必须尽可能简化,因此要求接入层路由器更加智能化、自动化、多业务融合,例如支持丰富网络接入方式,如有线/无线PC、PDA、手持终端等,支持IPv4单播/组播、IPv6单播/组播、MPLS VPN虚拟网络等数据传输类型,具备丰富的QoS策略、安全控制策略、应用流量控制、应用加速等业务处理能力。
较大规模的私有云路由平台,例如大型集团为多个内部企业、合作伙伴提供云计算服务,所提供的云计算服务类型、终端用户数量都具备一定的规模,通常拥有多个云计算中心,对可靠性、可扩增性要求更高,采用层次化架构。
层次化泛联路由平台采用核心层、区域中心、接入层多级路由架构:
核心层路由器:云计算数据中心出口核心路由器,执行云计算服务高速数据交换;
区域中心路由器:核心层路由器与接入层路由器的中间层设备,通过上下两级路由成环,分别用于汇聚各区域接入层路由器,以及与核心层路由器形成高速互联网络;
接入层路由器:接入终端用户,与扁平化平台架构类似,支持丰富网络接入方式,以及丰富的业务处理能力。
相对于扁平化架构,层次化泛联路由平台架构能够提供更清晰的管理界面,以及更灵活的扩展性。新增云计算数据中心可通过核心层路由直接与区域中心路由连接,不影响路由平台架构的运行;新增接入层路由器也可直接上行到区域中心路由,实现对云计算数据中心的访问。
虚拟机迁移的在云计算网络的两个阶段
数据中心的发展正在经历从整合,虚拟化到自动化的演变,基于云计算的数据中心是未来的更远的目标。
整合是基础,虚拟化技术为自动化、云计算数据中心的实现提供支持。
虚拟化技术是云计算的关键技术之一,将一台物理服务器虚拟化成多台逻辑虚拟机VM,不仅可以大大提升云计算环境IT计算资源的利用效率、节省能耗,同时虚拟化技术提供的动态迁移、资源调度,使得云计算服务的负载可以得到高效管理、扩展,云计算的服务更具有弹性和灵活性。
数据中心虚拟化发展的第一个阶段
是通过整合实现服务器和应用的虚拟化服务,这阶段的数据中心也是很多公司已经做的或正要做的。
数据中心虚拟化发展的第二个阶段
是通过虚拟主机迁移技术(VM's Mobility)实现跨物理服务器的虚拟化服务。
在这个阶段,实现了数据中心内的跨区域虚拟化,虚拟机可以在不同的物理服务器之间切换。
对于虚拟化云计算服务,需要构建大范围(数据中心内部、数据中心之间)的二层互联网络,以支持虚拟机算资源的迁移和调度(对于大型集群计算,也可构建二层网络,以保持集群的简单,但目前也有构建路由网络连接实现大型集群)。
二层网络的好处是对虚拟机的透明化,但是为保证网络的高性能、可靠性,需要解决网络环路问题。
面向虚拟化,透明交换云计算网络
虚拟化的云中,计算资源能够按需扩展、灵活调度部署,这由虚拟机的迁移功能实现,虚拟化环境的计算资源必须在二层网络范围内实现透明化迁移
透明环境不仅限于数据中心内部,对于多个数据中心共同提供的云计算服务,要求云计算的网络对数据中心内部、数据中心之间均实现透明化交换(如图所示),这种服务能力可以使客户分布在云中的资源逻辑上相对集中(如在相同的一个或数个VLAN内),而不必关心具体物理位置;对云服务供应商而言,透明化网络可以在更大的范围内优化计算资源的供应,提升云计算服务的运行效率、有效节省资源和成本。
对于虚拟化云计算服务,需要构建大范围(数据中心内部、数据中心之间)的二层互联网络,以支持虚拟机算资源的迁移和调度(对于大型集群计算,也可构建二层网络,以保持集群的简单,但目前也有构建路由网络连接实现大型集群)。二层网络的好处是对虚拟机的透明化,但是为保证网络的高性能、可靠性,需要解决网络环路问题。
VSU构建透明交换网络
数据中心内部,通过采用VSU技术(智能弹性架构),可以构建大型的二层透明交换网络,具有网络结构简单、保持高性能与高可靠、避免环路的好处。在数据中心内部,构建端到端的VSU虚拟化网络,实现内部虚拟化计算的透明交互;构建VSU核心网,核心网设备位于不同地域,但是虚拟化成一台逻辑设备,数据中心与核心网以跨地域聚合链路互联,消除了网络环路,也保证了网络的可靠性和链路充分利用。
中小型云计算网络,数据中心内部,通过采用VSU技术(智能弹性架构),可以构建大型的二层透明交换网络,具有网络结构简单、保持高性能与高可靠、避免环路的好处。
1、在数据中心内部,构建端到端的VSU虚拟化网络,实现内部虚拟化计算的透明交互;
2、构建VSU核心网,核心网设备位于不同地域,但是虚拟化成一台逻辑设备,数据中心与核心网以跨地域聚合链路互联,消除了网络环路,也保证了网络的可靠性和链路充分利用
TRILL技术构建透明交换网络
多链接透明互联(Transparent Interconnection of Lots of Links,TRILL,IETF标准)协议把2层配置和灵活性与3层融合和规模有效结合在一起。大二层不需要配置的情况下,就可实现整网无环路转发。
为数据中心虚拟化(虚拟机+网络)奠定基础,更是为跨地域的数据中心之间的承载网网络(云网络)奠定基础。
技术特点:
在二层网络上可以通过多个路径数据转发(这原是三层网络的特性)
提升网络带宽(STP生成树协议为防止环路需要堵塞网络端口降低带宽)
实现二层网络的流量负载分担和最短路径转发
比生成树收敛速度更快
在FCoE(下一代数据中心标准)构建的二层网络中,可以更好的实现数据转发
TRILL作为二层转发技术,通过引入三层路由的链路状态发现协议将此前的Bridget升级为了具备路由能力的Route-Bridge。云计算网络:TRILL协议互联,实现整网二层环境下的互联互通,同时适应云计算跨地域的服务器大规模虚拟化。
TRILL技术的本质是改造交换技术和IS-IS路由技术,实现在IS-IS路由网络下的大规模二层交换承载
数据中心内部
数据中心内部,通过采用VSU技术或者TRILL技术,可以构建大型的二层透明交换网络,具有网络结构简单、保持高性能与高可靠、避免环路的好处。在数据中心内部,构建端到端的二层透明网络,实现内部虚拟化计算的透明交互。
数据中心交换矩阵(TRILL协议进行内部交互实现),用户只需要在一个二层网络里即可实现整网的互联互通,没有环路。再也不需要部署并维护复杂的三层网络。让整个网络就像是一台交换机一样运行,形成一个交换矩阵。适应云计算和大规模数据中心流量猛增、虚拟机动态迁移不中断的业务需求。
数据中心二层互联
TRILL协议互联,实现整网二层环境下的互联互通,同时适应云计算跨地域的服务器大规模虚拟化。 TRILL网络的链路层可以是以太网,也可以是PPP链路,因此这种新的标准具有很大的适应性,可在数据中心内部高速网络实现,也可以用于连接基于PPP链路的广域网络。
TRILL协议互联,实现整网二层环境下的互联互通,同时适应云计算跨地域的服务器大规模虚拟化。