Welcome

www.jd.com

京东数据中心网络服务

如何支撑618大流量

研发中心 - 运维部

Welcome -3-

www.jd.com

我们面对的是怎样一个618？

www.jd.com -4-

www.jd.com 正处于IPO的蜜月期！

-5-

www.jd.com 业务对接和应用调试！

-6-

2013.11.12 2013 2014

2012

2014年618

翻倍互联网流量将 ！

www.jd.com -7-

压力山大！ -8-

但我们绝不能 掉链子！

www.jd.com

承认差距，超越自我 -9-

www.jd.com

2014年618网络概况 数据中心规模

主机规模

www.jd.com

POD内主机规模

互联网出口流量

专线流量

内部调用流量

- 10 -

翻倍我们面对的不仅仅是互联网流量 ！

CDN 负载均衡 基础网络

• 京东从2009年开始自建 • 2013年双11时，京东主 • 2013年双11时，数据中

CDN服务 要负载均衡业务使用的是

商用产品 心TOR上联带宽拥塞

• 承担90%互联网流量

• 随着业务发展，商业负载 的问题愈发突显

• 需要解决一些性能和 均衡产品暴露出一些突出

结构上的问题 • 大量的跨机房服务调用

问题：负载过高、 和数据传输需求，对

宕机增加、不易

扩容 POD间、DC间的专线

带宽和可靠性要求越来

越高

• 机架不足

www.jd.com - 11 -

核心问题

性能 容量

监控

可靠性

扩展性

www.jd.com - 12 -

CDN应对大流量措施

单机性能提高1倍

服务器升级10G网卡 集群容量提升6倍

基于热点的URL负载 性能 新增20%CDN节点

秒级清除缓存

容量 将50%节点互联网出

口从GE升级为10GE

监控

可靠性

扩展性

全面向一级ISP迁移 分钟级的流量和质量监控

架构优化，

从Active-Standby到Multi-Active

www.jd.com - 13 -

负载均衡应对大流量措施

单机性能提高1倍

服务器升级10G网卡 集群容量提升10倍

解决HA-Proxy多CPU 性能 部署了10倍规模的集群

负载不均问题

容量 增加内核监控模块，实现对VIP流量

接管了商业LB设备的 （Bps\/pps\/qps）的实时统计

90%业务 监控

应用了30多个Patch 可靠性

扩展性

将故障率降低10倍 架构优化，

HTTP Anti-Flood 从Active-Standby到Multi-Active

www.jd.com - 14 -

基础网络应对大流量措施

消除已知性能隐患 提升TOR上联收敛比

解决设计上的缺陷 增加数据中心出口带宽

产品选型和设计优化 性能 增加机房间专线带宽

提高网络容错能力 容量 数据中心规模扩大1倍

降低故障downtime

监控 全网设备的分钟级流量监控、质量

监控

可靠性

扩展性

为关键业务提供高可 模块化、标准化、规范化的网

靠网络方案 络设计

www.jd.com - 15 -

www.jd.com 案例分享

- 16 -

Multi-Active Load Balancing

Network Network

AS AA AA

Load Balance Cluster Load Balance Cluster

www.jd.com - 17 -

HTTP Anti-Flood

Internet

http sampling Data Analyzer

policy depolyment http api

Load Balancer

policy db Controller

Web Servers

www.jd.com - 18 -

网络优化 Internet DC-1 DC-2

网络功能结构层次化 PoD PoD

使用冗余可靠的设计

关键资源要一步到位 DC-N

降低不必要性能开销

能用三层就不用二层 - 19 -

最大程度降低STP影响

规模会颠覆已有设计

www.jd.com

网络监控 - 20 -

www.jd.com

优先解决用户的迫切需求 - 21 -

平衡短期需求和长期目标

架构设计不能向问题妥协

www.jd.com

谢谢

北京市朝阳区北辰西路8号北辰世纪中心A座16层

16F Building A, North-Star Century Center, 8 Beichen West Street,

Chaoyang District, Beijing 100101