传统数据中心的问题及I/O融合趋势
传统业务结构下,由于多种技术之间的孤立性(LAN与SAN),使得数据中心服务器总是提供多个对外I/O接口(在此,可理解成服务器的网卡):用于数据计算与交互的LAN接口以及数据访问的存储接口,某些特殊环境如特定HPC(高性能计算)环境下的超低时延接口。服务器的多个I/O接口导致了数据中心环境下多个独立运行的网络同时存在,不仅使得数据中心布线复杂,不同的网络、接口形体造成的异构还直接增加了额外人员的运行维护、培训管理等高昂成本投入,特别是存储网络的低兼容性特点,使得数据中心的业务扩展往往存在约束。
数据中心里会有两个网络,一个是前端IP网络,后端可能会是光纤网络,都会在服务器上做集中服务器上会有以太网卡,会有光纤网卡,跟外部数据交互时候通过IP网络进行交互。
如果说的更极端一点,在大型数据中心里有
1.前端的用户通信网络(以太网)
2.后台存储网络光纤的通道(FC光纤网络)
3.后端做数据更新或者做集群计算的通讯网络(高性能计算Infiniband网络)
4.专门用于虚拟机迁移的网络(各个服务器上有一个普通的以太网网卡,连接到独立的交换机组成的网络上,专门做虚拟机迁移。随着TRILL等技术的出现,这个专用的网络不再需要)
最多情况下会有八个网卡,这些都是现有的设计,大家可能认为是理所当然的。
网络成为数据中心资源的交换枢纽。当前数据中心分为IP数据网络、存储网络、服务器集群网络。但随着数据中心规模的逐步增大,也带来的以下问题:
每个服务器要多个专用适配器(网卡),要不同的布线系统;
机房要支持更多设备:空间、耗电、制冷;
多套网络无法统一管理,不同的维护人员;
部署/配置/管理/运维困难;
FCoE介绍
FCoE采用增强型以太网作为物理网络传输架构,能够提供标准的光纤通道有效内容载荷,避免了TCP/IP协议开销,而且FCoE能够像标准的光纤通道那样为上层软件层(包括操作系统、应用程序和管理工具)服务。
FCoE可以提供多种光纤通道服务,比如发现、全局名称命名、分区等,而且这些服务都可以像标准的光纤通道那样运作。不过,由于FCoE不使用TCP/IP协议,因此FCoE数据传输不能使用IP网络。FCoE是专门为低延迟性、高性能、二层数据中心网络所设计的网络协议。
和标准的光纤通道FC一样,FCoE协议也要求底层的物理传输是无损失的。因此,国际标准化组织已经开发了针对以太网标准的扩展协议族,尤其是针对无损10Gb以太网的速度和数据中心架构。这些扩展协议族可以进行所有类型的传输。这些针对以太网标准的扩展协议族被国际标准组织称为“融合型增强以太网(CEE)”,(思科称为“数据中心以太网(DCE))。
数据中心FCoE(FC over Ethernet)技术实现在以太网架构上映射FC(Fibre Channel)帧,使得FC运行在一个无损的数据中心以太网络上(需要无损的以太网( CEE/DCE/DCB)保证不丢包)。FCoE技术有以下的一些优点:光纤存储和以太网共享同一个端口;更少的线缆和适配器;软件配置I/O;与现有的SAN环境可以互操作。
基于FCoE技术的数据中心统一I/O能够实现用少数的CNA(Converged Network adapter)代替数量较多的NIC、HBA、HCA,所有的流量通过CNA万兆以太网传输,如下图。
FCoE:FC帧直接映射到以太网上进行承载。FCoE下FC协议层的转换和FC帧、以太网数据帧结构如下图。
FCoE在以太网上传输的FC数据帧的构成如下图。
FC 数据流和其他数据流共享以太网链路,FCOE 保留原FC网络中 N_Port、F_Port、E_Port 的结构,FCOE 保留原FC的管理模式,保护原有投资
兼容原有网络:原有FC存储网络(FC交换机)可连接到数据中心以太网交换机上。
下一代网络:FCoE磁盘阵列可直接连接到数据中心交换机上。
使用FCoE的好处
使用FCoE后的好处:
1.每个服务器只需要一个专用适配器(网卡),一套布线(以太网)系统(以前需要多个网卡,多套布线(以太网和光纤)系统);
机房不再要支持更多设备:空间、耗电、制冷,更加节能绿色
只有一套网络,统一管理维护简单(原来是多套网络无法统一管理,不同的维护人员维护困难)
部署/配置/管理/运维简单
使用FCoE后,产生的变化(如下图)
网卡、交换机、光纤需要的数量减半,投资减少50%,能耗及维护费用极大降低
使用前(按照18台服务器为例,如下图)
2.72根光纤、36个网卡(36根以太网光纤、36个以太网网卡,18根FC光纤。18个FC光纤网卡)
3.4台交换机(2台以太网交换机,2台FC光纤交换机)
4.上联端口(6个,以太网交换机要2个,光纤交换机需要4个)
使用后(按照18台服务器为例,如下图)
5.36根光纤、18个网卡(36根光纤、18个CNA网卡)
6.2台交换机(2台FCoE交换机)
7.上联端口(6个,以太网交换机要2个,光纤交换机需要4个)
使用FCoE后,有效节能
50% power saving is calculated from a study of unified I/0 done by Bernstein in 2007.
按照每台服务器需要500w的功率,采用FCoE后,每台服务器节能60w。100台服务器就能节省6000w功率,这仅仅是服务器端功耗的节省,就是非常客观的一笔数字。
管理优势
虚拟机在数据中心越来越多的应用,原来可能有IP通信需求,也有存储通信的需求,不见得每个服务器上都有CNA网卡,现在有了FCOE技术,不管虚拟机迁移到哪里都可以非常灵活实现跟后台备份、存储的通信,实现虚拟机在迁移时候不会有物理服务器规格的限制,不管有没有光纤网卡。
从管理角度也一样,也很简单,由于是集成平台,在有存储端口时候可以把存储端口纳入到存储网络管理工具里进行管理,在IP端口,可以利用它对原来的IP端口进行管理,不管哪方面的管理人员都不会觉得是新设备就不能管理了,原来的端口都可以进行管理。
应用方案
企业合理的数据中心网络虚拟化技术的运用路线如下。
现阶段
1.服务器利用率较低
2.千兆以太网上联
3.存储与IP分离
第一步:服务器改造整合
1.服务器整合虚拟化,提高利用率
2.改造成万兆以太网上联(FCoE只有配合万兆网卡才能实现)
3.存储与IP分离
第二步:接入交换机改造成FCoE交换机,此时用户数据中心网卡和布线数量成本已开始降低、服务器端绿色节能开始产生效果
1.服务器上联融合,降低原为成本
2.服务器要求万兆FCoE网络上联(服务器上为FCoE CNA网卡)
3.网络支持CEE增强以太网
4.存储与IP分离部分融合(FCoE交换机上支持FC模块,可以与用户原有的FC交换机对接互联互通,保护用户投资)
第三步:IP 与存储完全融合 ,全面实现数据中心成本降低
1.存储与IP融合,降低运维成本(新一代FCoE磁盘阵列可直接连接到以太网交换机上)
2.服务器要求万兆FCoE网络上联(服务器上为FCoE CNA网卡)
3.数据中心网络全面支持CEE增强以太网
融合网络:FCoE统一交换演进之路
存储与以太网全分离时代
1.数据中心基础建设
2.接口、协议不兼容
3.效率难以提高
4.成本投入较大
融合阶段
1.数据中心前端融合
2.简化服务器接口
3.保护既有投资
4.提高业务部署灵活性
统一交换阶段:
1.统一交换融合架构
2.资源调度自动化
3.降低运维成本
4.随需而变