云计算数据中心设计：扁平化/100G组网

如果说提供云计算这种巨型计算服务的IT架构必然是集结了大规模基础资源的数据中心“超级航母”，它也必然要求大规模计算网络与其相适应。

云计算IT资源的大规模集中运营，可极大优化基础资源的分布与调度，下图所示为理想的业务模型。对于使用云计算服务的企业或个人而言，能够满足IT业务的最佳方式为计算能力按需增长、应用部署快速实现、工作负载可动态调整、投入成本规划可控；对于云计算服务供应商而言，为满足大量客户(个人或企业)的IT资源需求，其运营的IT基础架构需要有一个大规模的资源池，可基于服务客户数量的增长、客户业务负载增长的需求变化情况提供匹配的IT资源支持能力。

虚拟化计算技术已经逐步成为云计算服务的主要支撑技术，特别是在计算能力租赁、调度的云计算服务领域起着非常关键的作用。

虚拟化技术不仅消除大规模异构服务器的差异化，其形成的计算池可以具有超级的计算能力（如下图所示），一个云计算中心物理服务器达到数万台是一个很正常的规模。一台物理服务器上运行的虚拟机数量是动态变化的，当前一般是4到20，某些高密度的虚拟机可以达到100:1的虚拟比(即一台物理服务器上运行100个虚拟机)，在CPU性能不断增强(主频提升、多核多路)、当前各种硬件虚拟化(CPU指令级虚拟化、内存虚拟化、桥片虚拟化、网卡虚拟化)的辅助下，物理服务器上运行的虚拟机数量会迅猛增加。一个大型IDC中运行数十万个虚拟机是可预见的，当前的云服务IDC在业务规划时，已经在考虑这些因素。

1.虚拟机高密部署的挑战

1.1服务器虚拟化使数据中心服务器接入量成倍增长

1.2服务器接入网络面临网络流量快速提升，以及交换机端口流量突发的问题

CPU演进：单核→双核→四核→八核→ … 。服务器上可以安装越来越多的虚拟机。

每核运行1.5个虚拟机（该比例是Intel提出的虚拟机SLA限制条件，即运行于满负载机器之上的所有作业的完成时间不应超过其在空载机器上单个 VM 中运行所需时间的 1.4 倍）。

装备1个8核 CPU的服务器可运行12个虚拟机。

虚拟机高密部署使网络接入流量倍增。

早期每个服务器上运行一个业务，此时每台服务器的流量很少，甚至可能只有几兆。

随着服务器上部署的虚拟机越来越多，每台服务器的流量也越来越大。

在虚拟化云计算网络环境，超高密度的虚拟机数量引入了有别于任何以往传统意义上数据中心的业务承载问题，在表象相似的网络平台上，“服务器/虚拟机”的数量在单位空间和单位网络接口剧增，如下图所示，对基础网络的转发表项、吞吐能力、突发流量吸收提出了苛刻的要求。

同时，虚拟机产生了不可预期的流量模型，特别是如虚拟机迁移、数据同步、数据备份等带来的突发性流量，网络如何适应?

2.抑制流量突发的两种技术

2.1无阻塞交换技术:无阻塞转发正常流量，①CLOS交换；②100G国际标准

2.2分布式大缓存技术：吸附突发流量；①入方向缓存；②VOQ调度方式

CLOS交换  vs  传统Crossbar ：高速转发

CLOS交换架构,采用CLos架构才能真正实现无阻塞：

第一级（入方向线卡）将报文分片（cell）,通过N条链路到网板；

第二级（网板）基于“分片动态路由”方式，通过N条路径将分片发送到第三级（出方向线卡）；

第三级重组报文；

动态路由方式实现无阻塞交换，且可平滑扩展；

出方向需要通过VOQ对入方向的流做调度； 

传统Crossbar交换架构：

交换网板基于静态路由方式，即业务流进入网板前，根据源端口制定或基于HASH算法选择一条路径。属于同一个路径的流容易形成拥塞，而其他路径则空闲；

物理上可构成与CLOS相似的三级架构，但网板始终是基于静态路由的流转发。

 

云计算的超高速网络：100G标准化

以太网技术迅速发展，10GE技术当前已经在数据中心的骨干广泛应用，下图显示了2010年的以太网技术40G/100G标准发布，表明基础网络将快速进入超高速时代

同样，服务器IO也由千兆向万兆快速发展，随着IO加速技术、IO虚拟化技术的不断提升以及服务器多路多核计算能力的提升，当前的服务器IO已经具备接近10GE线速的吞吐能力，这种来自网络接入层的高性能吞吐必然驱动云计算网络架构采用更高的性能，以满足能力的匹配（如下图所示）。

VoQ与分布式大缓存：吸附突发流量

Virtual Output Queuing（VoQ） 技术的作用

右转弯车辆，被阻塞在直行道上。这就是“头阻塞”问题

设置右转弯道，保证右转车辆的通行，为各种方向的车辆设置专用通道，实现公平调度，这就是VOQ的作用

VOQ技术保障线卡如何同步交换的效率：

例如在SLOT2和SLOT8通信时，如果SLOT7的第一个数据流也需要和SLOT8通信，则进行输入缓存，这时即使SLOT7的第二个数据流需要和其它SLOT通信也无法进行，将受到阻塞。

目前，在交换距阵增加了虚拟输出队列（VOQ）机制，即在输入缓存队列中为每一个SLOT输出单独建立输入缓存。不同缓存之间即不同SLOT的输出相互不影响。

核心设备分布式大缓存吸附链路突发流量。上行、下行分别独立报文缓存配置，启动流控后，上下行缓存配合使用，上行、下行缓存独立可扩展。

 

分布式缓存能缓冲更大的突发业务流量，增强数据中心持续业务能力，吸附数据中心与核心网突发流量，尤其适应未来云计算网络中的搜索等各种突发性业务。

3.传统三层网络问题及扁平化趋势

随着虚拟机的部署，SOA软件架构的应用，数据中心服务器之间的流量猛增，流量模型越来越不可预知。

传统的数据中心网络架构分为接入层、汇聚层和核心层，层次越多，所使用的设备就越多，延迟也会增加，当然，性能效率也会降低。网络该如何改变？

传统三层网络带来的问题：

数据延迟 （多层架构带来更多的跳数与延迟）

网络复杂 （生成树协议浪费了大量的网络带宽 ）

费用过高（大量端口用来连接交换机，而不是服务器和存储。大量的布线系统的浪费）

在大规模采用服务器虚拟化技术的新一代数据中心里，数据流量将主要集中在本地服务器之间的通信，如能减少网络层级，如不必再经过汇聚层交换机，势必会大大减少交换机之间的交互次数，并减少延迟。只要减少一层，对于应用性能的提升都将是巨大的。    

适应下一代数据中心服务器之间流量猛增的趋势。

数据转发无延迟（2跳，2.0时代为传统为4跳网络）

网络更简单，性价比更好

4.锐捷网络扁平化/100G数据中心设计优势

扁平化组网设计，核心采用锐捷网络数据中心与云计算核心交换机RG-S12000系列，接入采用捷网络数据中心与云计算交换机RG-S6200系列。

接入：大容量数据中心接入交换设备。

千兆服务器接入，采用支持高密度千兆下联，线速万兆上联的接入数据中心交换机RG-S5700E系列，无阻塞设计

万兆服务器接入，采用支持高密度万兆下联，线速40G /100G上联的接入数据中心交换机RG-S6200系列，无阻塞设计

核心：大容量数据中心核心设备。

核心层，采用支持40G/100G的数据中心交换机RG-S12000系列组网，高性能无阻塞。

同时支持高密度48口万兆线速下联，高性能无阻塞。

方案优势1：高性能，无阻塞转发 

核心交换机RG-S12000系列支持面向下一代数据中心的40G/100G的线卡，支持业界最高单板密度48口万兆的线卡，保证核心网络无阻塞。

数据中心线卡，线卡支持下一代数据中心特性（FCoE/CEE/虚拟化/透明交换TRILL等）

M12000-16XS-DA （万兆口是SFP+形态）

M12000-48XS-DA （万兆口是SFP+形态）

M12000-04QXS-DA(40G模块)

 

核心交换机S6200系列

RG-S6200-48XS本机固化了32个万兆SFP+光口，包含1个扩展槽。1个扩展槽可以扩展16口SFP+万兆模块或4口40G模块。整机可支持48口万兆或32口万兆+4口40G线速。全万兆兆的端口形态，加上可扩展的40G端口，适合超大型数据中心的接入层（万兆服务器接入），或中小型数据中心网络的汇聚或核心。

方案优势2：大容量，适应流量突发后，高速转发无阻塞

整机扩展支持6G超大缓存，业界缓存能力最高。

核心设备分布式大缓存吸附链路突发流量。上行、下行分别独立报文缓存配置，启动流控后，上下行缓存配合使用，上行、下行缓存独立可扩展。整机扩展支持6G超大缓存，业界缓存能力最高，分布式缓存能缓冲更大的突发业务流量，增强数据中心持续业务能力，吸附数据中心与核心网突发流量，尤其适应未来云计算网络中的搜索等各种突发性业务。

方案优势3：扁平化组网 ，适应业务快速转发

适应下一代数据中心服务器之间流量猛增的趋势。

数据转发无延迟（2跳，2.0时代为传统为4跳网络）

网络更简单，性价比更好（减少了网络的布线系统，减少了汇聚层设备的购买，管理也更加的简单）

方案优势4：设备级与网络级CLos架构，实现无阻塞转发

分布式Crossbar交换芯片架构（Clos交换的方式），核心交换机的设备级Clos转发模式，实现无阻塞的数据转发。以及整机的性能提升。

线卡提供CROSSBAR芯片，线卡可以提供多颗ASIC芯片，线卡与背板连接带宽以及线卡支持的端口密度都可以得到数倍提升。 
在业内真正率先实现了高密度的48口万兆模块的扩展支持。

Crossbar 交换芯片采用CLOS交换架构实现无阻塞数据转发：

第一级（入方向线卡）将报文分片（cell）,通过N条链路到网板；第二级（网板）基于“分片动态路由”方式，通过N条路径将分片发送到第三级（出方向线卡）；第三级重组报文；

动态路由方式实现无阻塞交换，且可平滑扩展；

 

网络级Clos架构

下一代数据中心和云计算需要超大的计算能力和网络交换能力，通过网络来组织数千台至上万台服务器的协同计算，因此云计算的支撑网络也提出了无阻塞的方向。为此贝尔实验室研究员Charles Clos设计的一种多级交换结构，实现无阻塞交换。

但是，Clos架构指的并不是一个产品的架构，而是指的是一个无阻塞网络，Clos Network.单一产品无阻塞，保证的只是网络中的一个节点无阻塞，只有整网无阻塞，才能真正的实现网络无阻塞。

接入层设计（无阻塞接入设备）：RG-S6200-48XS数据中心交换机，固化32口万兆，1个扩展槽，支持16口万兆模块或4口40G模块。整机全线速，用于万兆/千兆服务器接入（业界首个）。

RG-S6200-48XS，整机48口万兆全线速 ，交换容量：960G，包转发率：700Mpps。支持40G/100G扩展。

固化了32个万兆SFP+光口，包含1个扩展槽

1个扩展槽可以扩展16口SFP+万兆模块或4口40G模块

1U高度

核心层设计（无阻塞核心设备）：RG-S12000 Cloud Computing系列

单板十万兆线速转发,支持单板4口40G/100G接口线速。整机最高扩展384个万兆端口。

最高单板960G交换容量，整机最高7.68T交换容量，整机最高5714Mpps包转发率。

下一代数据中心与云计算网络专用模块：

高密度16口万兆SFP+模块

超高密度48口万兆SFP+模块（业界首个）

4口40G模块（业界首个）