AirJD 焦点
AirJD

没有录音文件
00:00/00:00
加收藏

分析数据库ADS-产品化服务化实践 by 离哲@阿里云

发布者 devops
发布于 1437440284886  浏览 4966 关键词 DevOps, 数据库 
分享到

第1页

分析数据库ADS

产品化 服务化 实践

阿里巴巴 离哲(占超群) @flyinweb



第2页

1 简介 2 服务化 3 产品化



未 来



第3页

1.1 关键特性

• 海量数据 •无法预算 • 高并发 •高 可用



• RT O AP •M ySQ  兼容

•低延时 •按 量付费



第4页

1.2 用户群体

中大型企业的传统 在线分析业务 数据应用 New 向集中化、低延时 转型的在线分析业务



第5页

1.3 @阿里



Data + App



SaaS DMP 观象台 APP 微淘 指数 商户CRM ……



DaaS POI Profile LBS Targeting



PaaS 御膳房 TAE



IaaS ODPS Galaxy



ADS RDS



ECS



……



第6页

1.4 整体架构



JDBC

Oracle SQL

Server …



数据互通 (D)RDS ODPS

OSS

基础设施 DNS SLB SLS ….



APP

(报表、Ad hoc、分析应⽤用 ......)



御膳房



彩云间 (开发)



孔明灯 (建模)



应 ⽤用



SLB



Access Node 

(MySQL/REST/…)

Data Data Update Node MQ Manager



RM

Database Manager

Data Manager

Nodes Manager



A Console D

S



⻜飞天



OTS Zookeeper



第7页

产品化

预先建模 之痛 标准化 之痛 元数据 之痛 自包含 & 开放



第8页

2.1 预先建模



预先建模

HBase 0.90

80MBps <20 3GB+

MySQL Proxy

60+ 90+ 1000%+



第9页

2.2 标准化

HTTP



C Node.js C++



HSF/SOFA



MySQL

5.0.x 5.1.x



N+ 故障 100+ 升级



第10页

2.2 标准化



⼀一种协议:MySQL



90+ ⼈人⽇日



⼀一种语法:



DML/DDL/DCL/UDF



30+ ⼈人⽇日

information_schema performance_schema



30+ ⼈人⽇日



第11页

2.3 元数据

300+ Options N+ 故障 Zookeeper 2GB+ N+ 故障 700+



默认值 边界值 重载 5+ 变更 元数据版本



OTS 10000+ 10TB+

数据版本 时间戳 ⽇日志



第12页

2.4 自包含 & 开放



sys admin db db



user performance_schema db information_schema

ADS Kernel



0

熟悉



少 依赖



成本



⽣生态



第13页

服务化

多租户 VS 资源利用率 分布式 VS SLA 多集群 VS 部署 热升级 VS 资源 低成本 VS 小白



第14页

3.1 多租户



数据 隔离 计算资源 隔离

业务 不可知

按量付费

在线计算

离线计算



第15页

3.1 多租户



按需单机多进程



内存: 预估(基于数据+访问) CPU: Min+Share+Priority ⺴⽹网络: Min+Share+Priority



DB1 独享



DB2 独享



共享区



ns



Linux(CGroup+TC)



40%+



第16页

3.1 多租户

DB按数据聚集 聚集内尽可能均衡

DB2 DB1



第17页

3.2 SLA

⺴⽹网络 拥塞 挂



….



节点 GC 慢盘 ….

如何提供稳定的毫秒级RT? 重发 VS 成本?



第18页

3.2 SLA



Fault tolerance



Tail tolerance



Load Balance



Score Engine



Dispatcher



Node cluster



Tail Collector



70%+



第19页

3.3 多集群



RM Cluster

Database Manager Manager

Data Manager Nodes Manager

Jobs Manager



计算集群1 Access Node



Data node



⻜飞天



计算集群2 Access Node



Data node



⻜飞天



第20页

3.4 热升级



单进程 单Node 单DB*1/2 单集群*1/2

单集群

单机房



上线



RM上线

PLAN



下线 PLAN



下线 OLD



第21页

3.5 低成本

Index 配置? 压缩 配置? SQL 顺序?

HINT?



空间



时间



链式压缩 全索引



….



第22页

3.5 低成本

访问层 Backup Task 解析层 Project Push Condition Replan Condition Sink 计算层 Stat Cache Index Block UnCompress Scan Agg 



第23页

4.1 回顾 & 展望



业务磨练平台 技术产品也要关注体验 体验是多⽅方⾯面的 成本是多⽅方⾯面的



规模化 成本 功能 体验



第24页

⼈人⽣生是带着镣铐的舞蹈 架构设计亦如是

Join US



支持文件格式:*.pdf
上传最后阶段需要进行在线转换,可能需要1~2分钟,请耐心等待。