第1页
xieyuchen@meituan.com
第2页
•
11 12 13 14
,
11 12 13 14
,
第3页
• • • •
第4页
BI
-
…
-
…
第5页
BI
第8页
• • •
• 850+ •+
Binlog
• 850+ •+
Binlog
第9页
• • • •
• 1100+ •
• 1100+ •
第13页
•, • •
• 42P+ • 150K / • 2500+ • 16K
,3
• 42P+ • 150K / • 2500+ • 16K
,3
第14页
ETL
第16页
• • • SLA •
第21页
BI
第22页
BI -
第23页
BI -
第24页
“ ”
PHP
SQL
ETL
Binlog
Spark
Hadoop
OLAP
SQL
ETL
Hadoop
Hadoop2.0
YARN
&
SLA
PHP
SQL
ETL
Binlog
Spark
Hadoop
OLAP
SQL
ETL
Hadoop
Hadoop2.0
YARN
&
SLA
第25页
“ ”
PHP
SQL
ETL
Binlog
Spark
Hadoop
OLAP
SQL
ETL
Hadoop
Hadoop2.0
YARN
&
SLA
PHP
SQL
ETL
Binlog
Spark
Hadoop
OLAP
SQL
ETL
Hadoop
Hadoop2.0
YARN
&
SLA
第26页
“ ”
PHP
SQL
ETL
Binlog
Spark
Hadoop
OLAP
SQL
ETL
Hadoop
Hadoop2.0
YARN
&
SLA
PHP
SQL
ETL
Binlog
Spark
Hadoop
OLAP
SQL
ETL
Hadoop
Hadoop2.0
YARN
&
SLA
第27页
“ ”
PHP
SQL
ETL
Binlog
Spark
Hadoop
OLAP
SQL
ETL
Hadoop
Hadoop2.0
YARN
&
SLA
PHP
SQL
ETL
Binlog
Spark
Hadoop
OLAP
SQL
ETL
Hadoop
Hadoop2.0
YARN
&
SLA
第28页
“ ”
PHP
SQL
ETL
Binlog
Spark
Hadoop
OLAP
SQL
ETL
Hadoop
Hadoop2.0
YARN
&
SLA
PHP
SQL
ETL
Binlog
Spark
Hadoop
OLAP
SQL
ETL
Hadoop
Hadoop2.0
YARN
&
SLA
第29页
“ ”
PHP
SQL
ETL
Binlog
Spark
Hadoop
OLAP
SQL
ETL
Hadoop
Hadoop2.0
YARN
&
SLA
PHP
SQL
ETL
Binlog
Spark
Hadoop
OLAP
SQL
ETL
Hadoop
Hadoop2.0
YARN
&
SLA
第30页
• Hadoop • • OLAP
NameSpace
NameSpace
第31页
Hadoop
•
• 15 ,
•
• 15 6 1500
•
9 1000
500 , 15 12
,
•
• 15 ,
•
• 15 6 1500
•
9 1000
500 , 15 12
,
第32页
Hadoop • Hadoop
•,
• Hadoop
• Hadoop
,
• App container
• DataNode
• HDFS pipeline
•,
• Hadoop
• Hadoop
,
• App container
• DataNode
• HDFS pipeline
第33页
Hadoop
•
•,
•
• YARN
NameSpace ,
• HDFS addBlock pipeline.
,
• HDFS Balancer
• Balancer
,
client client
DataNode .
Block /
•
•,
•
• YARN
NameSpace ,
• HDFS addBlock pipeline.
,
• HDFS Balancer
• Balancer
,
client client
DataNode .
Block /
第34页
Hadoop
-
0 2015.03
420 2015.05
611 2015.07
2015.09
2015.11
2016.01
2016.03
cq dx rz all
-
0 2015.03
420 2015.05
611 2015.07
2015.09
2015.11
2016.01
2016.03
cq dx rz all
第35页
Hadoop
•
•, •,
•
•
•, •,
•
第36页
•
• Hadoop/Spark
• ,,
•,
•/
,
• Spark
,/
第37页
•
• •
• • • •
,,
ipython notebook+spark zeppelin
,
bug /
&
,
• •
• • • •
,,
ipython notebook+spark zeppelin
,
bug /
&
,
第38页
user code… Hadoop作业管理
git push…
托管平台注册…
Hadoop作业编译、执⾏…
git push…
托管平台注册…
Hadoop作业编译、执⾏…
第40页
OLAP
•
• , 50
• , 20
• TP99 < 3S
•
•
•
• , 50
• , 20
• TP99 < 3S
•
•
第41页
OLAP
•
• Presto / Hive / Spark on ORC File
• Hive grouping set HBase +
• Druid • ElasticSearch • Kylin
•
• Presto / Hive / Spark on ORC File
• Hive grouping set HBase +
• Druid • ElasticSearch • Kylin
第42页
OLAP
•
•
,,,
,
Kylin,
• Star Schema Benchmark, OLAP ,
•,
•
•
,,,
,
Kylin,
• Star Schema Benchmark, OLAP ,
•,
第43页
Kylin - OLAP
第44页
StarSchemaBenchmark
第45页
OLAP
•
• Presto Kylin1.3 Kylin1.5 Druid
• BI 7
• 7 -> 1~2
• 3 , TP95% 2
1s ,
•
• Presto Kylin1.3 Kylin1.5 Druid
• BI 7
• 7 -> 1~2
• 3 , TP95% 2
1s ,
第46页
•
•, •, •,
第47页
•
•
•, •,
第48页
•
•& • patch
•
•&