面向服务的质量保障

2015年4月 黄小微

大纲

• 架构演进及挑战 • 测试思路演进 • 测试技术 • 发布策略 • 测试流程 • 工具支撑 • 质量平衡法则 • 总结

支付宝架构演进



一代架构 （2005~2007）



二代架构 （2007~2010）



烟囱架构



面向服务架构



三代架构 （2011~）

云平台架构



交易笔数：<50w/天 场景：互联网用户 特点：垂直开发，系 统少，代码量100w级， 技术团队100+人，测 试20+人



交易笔数：<1k/s 场景：丰富的支付工 具、渠道、应用 特点：核心服务化模 式，代码量千万级， 分层架构驱动组织， 技术团队1000+人， 测试200+人



交易笔数：<W/s 场景：支付宝@3A 特点：平台化（广义 服务化），大平台微 应用，ISV研发模式， 技术团队异地开放

测试的挑战和使命



• 金融互联网行业背景：



 金融的0资损、高安全要求



 金融创新



 庞大的用户基数，高并发大容量要求



 高可用要求  极致用户体验要求  市场快速响应



低风 险

高要 求



• 二、三代架构驱动：

 互联网快速研发



既 “快”

也 “好”



 开放异构架构



 互联网架构特点



高质量 高效率 专项 创新 业务驱动

测试思路演进



特点：手工+黑 盒+用户测试 （2005~2007）



特点：半自动化+ 灰盒+功能+部分 非功能测试 （2008~2010）



特点：高自动化+ 白盒+专项+仿真 （2011~2015）

高自动化

要点：以服务为单位高自动化，加上业务场景编排 服务，完成端到端测试



服务 A



服务 A`



服务 A``



服务 B



服务 B`



服务 B``



服务 C



服务 C`



服务 C``



100 90 80 70 60 50 40 30 20 10 0 3/2/15



3/3/15



覆盖率



3/4/15



3/5/15



3/6/15



A B C acrule clearingcenter innertrans minitrans pcredittrans recon exchangecore

精细化测试



• 分域分层覆盖 • 可度量



ui

应用 api Component Unit db



专项



SAAS 应用 应用 应用 应用 a b cd

DAAS 信息 业务 数据分 安全 析

PAAS 数据 通讯 分布式 消息



IAAS 数据 缓存 存储



计算

仿真测试



• 线上回放（遗漏率4%->1% ）



录制



日 数 消 请 缓存 志据息求

回放



版本A



版本B



业务



业务



功能



功能



功能



功能



功能



DIFF



支撑



账户池



支撑



服务



服务



服务



服务



服务



服务



服务



业务模型

规则适配

服务模型

线上旁路

• 100% 覆盖 • 快速验证 • 降低发布成本



数据准备 影子

结果校验 影子



测 试 网 关



安全 影子 会员 影子

额度 影子



流量 （生

产）



流量（模拟/

淘宝）

网关



系统A



系统B



系统C



生产 数据



影子 数据



影子

网 关银

行



影 子 旁 路 ， 无 损 验 证

共建开放



ISV共测 • 账号支持 • 联调测试



集团内测



• 内部公测 • 任意单元



白名单



• 小流量 • 风险低

测试专项—资损

研发流程保障底线 1.资损防控测试白皮书 2.核对、检测体系建设 3.应急响应处理

测试专项--性能



日常



项目压 测



基线回归 测试



线上全链 路压测



线上监控 管控评测



2014.11.11 3.8w/s 付款



关键资源点：网络；DB；APP；银行渠道 性能活动：线下压测（回放线上流量）->全链路影子压测->网 络压测->集团业务全链路压测->单机引流压测->LDC缩容压测

测试专项—安全



训练平台



体系培训



培养机制



编码规范



安全质量



知识库



威胁建模



平台保障



专项审计 审计保障 流程约束



检测中心

发布策略



100%

流量调配



机房1 单元1



30% 30%

单元2



X%

机房2



Y%



单元3



单元4



单台发布



分组发布



Beta发布



低风险逐步验证，轻量发布



蓝绿发布

测试流程



分支测试

功能测试

性能测试

安全测试 服务+集成测试 每日构建 3轮集中测试



集成测试

3天测试

回归测试

主干测试 全量回归 基线测试 Bug当天fix



预发布测试 内部测试

Beta测试

线上业务验证 影子全量验证 严格的测试周期



质量控制关键点



一份测试用例



AB测试 灰度测试 版本测试

全量业务 实时核对、监控

平台工具支撑



分层测试支持工具 浏览器兼容性测试



Ui自动化测试框架



前端测试工具



专项测试 兼容性测试



并发测试



性能评测平台 安全扫描工具



自动化平台 服务自动化测试框架ats



数据回放测试框架o2otest 线上自动化平台onlineTest



测试支撑工具 服务、金融模拟系统



测试数据平台atd 线下问题排查工具



测试路由sofarouter



质量管理平台 全站测试门户



质量管理平台



测试统一平台

质量平衡法则

投入



要求

服务质量保障体系要领

• 测试前移 • 尽最大化自动化 • 更细粒度测试 • 更深层测试 • 最大化穷举覆盖

联系方式： 旺旺（甄芙） Email（wei.huangxw@alipay.com） 来往