AirJD 焦点
AirJD

没有录音文件
00:00/00:00
加收藏

美团大数据平台架构-演进过程与最新进展 by 谢语宸

发布者 big_data
发布于 1463446623321  浏览 6647 关键词 大数据, 架构 
分享到

第1页

xieyuchen@meituan.com



第2页



11 12 13 14



,



第3页

• • • •



第4页

BI

-







第5页

BI



第8页

• • •

• 850+ •+



Binlog



第9页

• • • •

• 1100+ •



第13页

•, • •



• 42P+ • 150K / • 2500+ • 16K



,3



第14页

ETL



第16页

• • • SLA •



第21页

BI



第22页

BI -



第23页

BI -



第24页

“ ”
 PHP




SQL
 





 




ETL
 




Binlog









Spark



Hadoop




OLAP




SQL
 ETL





 




Hadoop




 Hadoop2.0
 
 YARN




 










 &
 SLA









第25页

“ ”
 PHP




SQL
 





 




ETL
 




Binlog









Spark



Hadoop




OLAP




SQL
 ETL





 




Hadoop




 Hadoop2.0
 
 YARN




 










 &
 SLA









第26页

“ ”
 PHP




SQL
 





 




ETL
 




Binlog









Spark



Hadoop




OLAP




SQL
 ETL





 




Hadoop




 Hadoop2.0
 
 YARN




 










 &
 SLA









第27页

“ ”
 PHP




SQL
 





 




ETL
 




Binlog









Spark



Hadoop




OLAP




SQL
 ETL





 




Hadoop




 Hadoop2.0
 
 YARN




 










 &
 SLA









第28页

“ ”
 PHP




SQL
 





 




ETL
 




Binlog









Spark



Hadoop




OLAP




SQL
 ETL





 




Hadoop




 Hadoop2.0
 
 YARN




 










 &
 SLA









第29页

“ ”
 PHP




SQL
 





 




ETL
 




Binlog









Spark



Hadoop




OLAP




SQL
 ETL





 




Hadoop




 Hadoop2.0
 
 YARN




 










 &
 SLA









第30页

• Hadoop • • OLAP



NameSpace



第31页

Hadoop



• 15 ,



• 15 6 1500










9 1000



500 , 15 12



,



第32页

Hadoop • Hadoop



•,



• Hadoop

• Hadoop



,



• App container



• DataNode



• HDFS pipeline



第33页

Hadoop



•,



• YARN



NameSpace ,



• HDFS addBlock pipeline.



,



• HDFS Balancer



• Balancer



,



client client



DataNode .



Block /



第34页

Hadoop



-



















0 2015.03



420 2015.05



611 2015.07



2015.09



2015.11



2016.01



2016.03



cq dx rz all



第35页

Hadoop



•, •,





第36页








• Hadoop/Spark



• ,,



•,



•/



,



• Spark



,/



第37页



• •

• • • •








,,



ipython notebook+spark zeppelin



,



bug /



&



,



第38页

user code… Hadoop作业管理



git push…



托管平台注册…



Hadoop作业编译、执⾏…



第40页

OLAP










• , 50



• , 20



• TP99 < 3S











第41页

OLAP










• Presto / Hive / Spark on ORC File



• Hive grouping set HBase +



• Druid • ElasticSearch • Kylin



第42页

OLAP














,,,



,



Kylin,



• Star Schema Benchmark, OLAP ,



•,



第43页

Kylin - OLAP



第44页

StarSchemaBenchmark



第45页

OLAP 








• Presto Kylin1.3 Kylin1.5 Druid



• BI 7



• 7 -> 1~2



• 3 , TP95% 2



1s ,



第46页






•, •, •,



第47页








•, •,



第48页






•& • patch



•&



支持文件格式:*.pdf
上传最后阶段需要进行在线转换,可能需要1~2分钟,请耐心等待。