- 本月热门
-
2015年创业者调查报告(State of Startups) by FirstRound -
JavaScript闭包你也懂 -
MongoDB Best Practices(最佳实践) by Jay Runkel -
Scaling & securing node.js apps(扩展和加强NodeJS应用的安全性) by Maciej Lasyk -
ASP.NET5快速入門[繁] by 小朱 -
Lua 在 Nginx 中的应用 by 章亦春@淘宝 -
基于Node.JS的全栈开发 by 张雪峰@携程 -
去哪儿SPA(面向服务)分享 by 蔡欢@Qunar -
指数级增长业务下的服务架构改造 by 梁宇鹏@环信 -
How Change Happens(如何拥抱变化，鼓励创新) by Openlab
第1页
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
第2页
为什么需要构建数据架构 数据架构的构成 如何成为数据架构师 问题讨论
第4页
数据标准不一致
列名相同，列的数据类型不同
列名相同，列的数据类型相同，长度不同
列名定义没有统一标准，识别困难
列名定义不统一，类型不一致，长度不相 同
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
中文名称相同，英文缩写不同，英文缩写 相同，中文名称不同
模型中缺失中文注释，难以验证。
列名相同，列的数据类型不同
列名相同，列的数据类型相同，长度不同
列名定义没有统一标准，识别困难
列名定义不统一，类型不一致，长度不相 同
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
中文名称相同，英文缩写不同，英文缩写 相同，中文名称不同
模型中缺失中文注释，难以验证。
第5页
数据模型管理混乱
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
第6页
深入的性能的问题无法解决
需要通过SQL 语句及数据 模型分析性
能问题
缩减H/W Resource
优化比重超过80%
INDEX
SQL 优化比重超过50%
Hin t 优化比重超过30%
帮助开发人员及 运维人员提高数据
库技术水平
优化比重未达10%
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
需要通过SQL 语句及数据 模型分析性
能问题
缩减H/W Resource
优化比重超过80%
INDEX
SQL 优化比重超过50%
Hin t 优化比重超过30%
帮助开发人员及 运维人员提高数据
库技术水平
优化比重未达10%
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
第7页
SQL语句编写水平不高导致出现严重性能问题
select a.*
from LCCont a, lcpol b, lccontstate c
where 1 = 1
and a.contno = b.contno and a.manageCom like '86%'
and a.appflag = '1' and b.appflag = '1' and c.contno = b.contno
and b.polno = b.mainpolno and c.polno = b.mainpolno and c.StateType = 'Available'
and c.State = '0' and c.EndDate is null and b.AutoPayFlag = '1' and not exists (select 'X' from lcconthangupstate where contno = a.contno and posflag = '1')
and exists (select 1 from LMRiskApp where RiskCode = b.RiskCode and AutoPayFlag = '0') and exists (select 1 from LJSPayPerson d where d.ContNo = b.ContNo
and not exists (select 1 from LJTempFee where otherno = a.contno and TempFeeType = '2' and confdate is null and (enteraccdate is null or enteraccdate < date '3000-1-1'))
and nvl((select BankOnTheWayFlag from ljspay s where s.getnoticeno = d.getnoticeno), '0') <> '1'
and d.LastPayToDate < to_date('2015-01-27', 'YYYY-MM-DD') and d.PayType = 'ZC')
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
select a.*
from LCCont a, lcpol b, lccontstate c
where 1 = 1
and a.contno = b.contno and a.manageCom like '86%'
and a.appflag = '1' and b.appflag = '1' and c.contno = b.contno
and b.polno = b.mainpolno and c.polno = b.mainpolno and c.StateType = 'Available'
and c.State = '0' and c.EndDate is null and b.AutoPayFlag = '1' and not exists (select 'X' from lcconthangupstate where contno = a.contno and posflag = '1')
and exists (select 1 from LMRiskApp where RiskCode = b.RiskCode and AutoPayFlag = '0') and exists (select 1 from LJSPayPerson d where d.ContNo = b.ContNo
and not exists (select 1 from LJTempFee where otherno = a.contno and TempFeeType = '2' and confdate is null and (enteraccdate is null or enteraccdate < date '3000-1-1'))
and nvl((select BankOnTheWayFlag from ljspay s where s.getnoticeno = d.getnoticeno), '0') <> '1'
and d.LastPayToDate < to_date('2015-01-27', 'YYYY-MM-DD') and d.PayType = 'ZC')
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
第8页
开发人员对执行计划收悉
-----------------------------------------------------------------------------------------------------------------------------------
| Id | Operation
| Name
| Starts | E-Rows | A-Rows | A-Time | Buffers | Reads |
-----------------------------------------------------------------------------------------------------------------------------------
| 0 | SELECT STATEMENT
|
| 1|
| 2356 |00:23:58.36 | 4589K| 287K|
| 1 | NESTED LOOPS
|
| 1 | 1 | 2356 |00:23:58.36 | 4589K| 287K|
| 2 | NESTED LOOPS ANTI
|
| 1 | 1 | 3530 |00:23:41.89 | 4578K| 283K|
| 3 | NESTED LOOPS SEMI
|
| 1 | 1 | 3553 |00:23:41.54 | 4574K| 283K|
| 4 | NESTED LOOPS
|
| 1 | 1 | 3556 |00:23:41.51 | 4570K| 283K|
|* 5 |
TABLE ACCESS BY INDEX ROWID | LCPOL
| 1 | 1 | 162K|00:08:32.81 | 1776K| 40189 |
|* 6 |
INDEX RANGE SCAN
| IDX_ENCN_LCPOL_C04
| 1 | 1 | 1905K|00:00:00.01 | 28971 | 0 |
|* 7 |
TABLE ACCESS BY INDEX ROWID | LCCONT
| 162K|
1 | 3556 |00:15:08.56 | 2794K| 242K|
|* 8 |
INDEX UNIQUE SCAN
| PK_LCCONT
| 162K|
1 | 3556 |00:14:28.01 | 2791K| 237K|
|* 9 |
FILTER
|
| 162K|
| 3556 |00:14:20.10 | 2465K| 235K|
|* 10 |
FILTER
|
| 162K|
| 5847 |00:14:04.26 | 2450K| 231K|
|* 11 |
TABLE ACCESS BY INDEX ROWID| LJSPAYPERSON
| 162K|
1 | 5847 |00:01:10.04 | 505K| 16934 |
|* 12 |
INDEX RANGE SCAN
| IDX_LJSPAYPERSON_1
| 162K|
2 | 30421 |00:00:04.05 | 488K| 863 |
|* 13 |
TABLE ACCESS BY INDEX ROWID| LJTEMPFEE
| 162K|
1 | 101 |00:12:53.91 | 1944K| 214K|
|* 14 |
INDEX RANGE SCAN
| IDX_LJTEMPFEE_1
| 162K|
2 | 1453K|00:00:55.19 | 493K| 17104 |
| 15 |
TABLE ACCESS BY INDEX ROWID | LJSPAY
| 4993 |
1 | 4993 |00:00:15.74 | 15075 | 3941 |
|* 16 |
INDEX UNIQUE SCAN
| PK_LJSPAY
| 4993 |
1 | 4993 |00:00:02.49 | 10082 | 727 |
|* 17 | TABLE ACCESS BY INDEX ROWID | LMRISKAPP
| 3556 | 116 | 3553 |00:00:00.02 | 3652 |
0|
|* 18 |
INDEX UNIQUE SCAN
| PK_LMRISKAPP
| 3556 |
1 | 3556 |00:00:00.01 |
96 |
0|
|* 19 | TABLE ACCESS BY INDEX ROWID
| LCCONTHANGUPSTATE
| 3553 |
5 | 23 |00:00:00.36 | 3675 | 41 |
|* 20 | INDEX RANGE SCAN
| PK_LCCONTHANGUPSTATE | 3553 |
1 | 23 |00:00:00.35 | 3651 | 41 |
|* 21 | INDEX RANGE SCAN
| IDX_ENCN_LCCONTSTATE_C01 | 3530 |
1 | 2356 |00:00:16.46 | 10799 | 4485 |
-----------------------------------------------------------------------------------------------------------------------------------
ELASPED TIME : 23.58.36
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
-----------------------------------------------------------------------------------------------------------------------------------
| Id | Operation
| Name
| Starts | E-Rows | A-Rows | A-Time | Buffers | Reads |
-----------------------------------------------------------------------------------------------------------------------------------
| 0 | SELECT STATEMENT
|
| 1|
| 2356 |00:23:58.36 | 4589K| 287K|
| 1 | NESTED LOOPS
|
| 1 | 1 | 2356 |00:23:58.36 | 4589K| 287K|
| 2 | NESTED LOOPS ANTI
|
| 1 | 1 | 3530 |00:23:41.89 | 4578K| 283K|
| 3 | NESTED LOOPS SEMI
|
| 1 | 1 | 3553 |00:23:41.54 | 4574K| 283K|
| 4 | NESTED LOOPS
|
| 1 | 1 | 3556 |00:23:41.51 | 4570K| 283K|
|* 5 |
TABLE ACCESS BY INDEX ROWID | LCPOL
| 1 | 1 | 162K|00:08:32.81 | 1776K| 40189 |
|* 6 |
INDEX RANGE SCAN
| IDX_ENCN_LCPOL_C04
| 1 | 1 | 1905K|00:00:00.01 | 28971 | 0 |
|* 7 |
TABLE ACCESS BY INDEX ROWID | LCCONT
| 162K|
1 | 3556 |00:15:08.56 | 2794K| 242K|
|* 8 |
INDEX UNIQUE SCAN
| PK_LCCONT
| 162K|
1 | 3556 |00:14:28.01 | 2791K| 237K|
|* 9 |
FILTER
|
| 162K|
| 3556 |00:14:20.10 | 2465K| 235K|
|* 10 |
FILTER
|
| 162K|
| 5847 |00:14:04.26 | 2450K| 231K|
|* 11 |
TABLE ACCESS BY INDEX ROWID| LJSPAYPERSON
| 162K|
1 | 5847 |00:01:10.04 | 505K| 16934 |
|* 12 |
INDEX RANGE SCAN
| IDX_LJSPAYPERSON_1
| 162K|
2 | 30421 |00:00:04.05 | 488K| 863 |
|* 13 |
TABLE ACCESS BY INDEX ROWID| LJTEMPFEE
| 162K|
1 | 101 |00:12:53.91 | 1944K| 214K|
|* 14 |
INDEX RANGE SCAN
| IDX_LJTEMPFEE_1
| 162K|
2 | 1453K|00:00:55.19 | 493K| 17104 |
| 15 |
TABLE ACCESS BY INDEX ROWID | LJSPAY
| 4993 |
1 | 4993 |00:00:15.74 | 15075 | 3941 |
|* 16 |
INDEX UNIQUE SCAN
| PK_LJSPAY
| 4993 |
1 | 4993 |00:00:02.49 | 10082 | 727 |
|* 17 | TABLE ACCESS BY INDEX ROWID | LMRISKAPP
| 3556 | 116 | 3553 |00:00:00.02 | 3652 |
0|
|* 18 |
INDEX UNIQUE SCAN
| PK_LMRISKAPP
| 3556 |
1 | 3556 |00:00:00.01 |
96 |
0|
|* 19 | TABLE ACCESS BY INDEX ROWID
| LCCONTHANGUPSTATE
| 3553 |
5 | 23 |00:00:00.36 | 3675 | 41 |
|* 20 | INDEX RANGE SCAN
| PK_LCCONTHANGUPSTATE | 3553 |
1 | 23 |00:00:00.35 | 3651 | 41 |
|* 21 | INDEX RANGE SCAN
| IDX_ENCN_LCCONTSTATE_C01 | 3530 |
1 | 2356 |00:00:16.46 | 10799 | 4485 |
-----------------------------------------------------------------------------------------------------------------------------------
ELASPED TIME : 23.58.36
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
第9页
开发人员对执行计划收悉
-----------------------------------------------------------------------------------------------------------------------------------
| Id | Operation
| Name
| Starts | E-Rows | A-Rows | A-Time | Buffers | Reads |
-----------------------------------------------------------------------------------------------------------------------------------
| 0 | SELECT STATEMENT
|
| 1|
| 2356 |00:02:56.73 | 581K| 31409 |
| 1 | NESTED LOOPS ANTI
|
| 1 | 1 | 2356 |00:02:56.73 | 581K| 31409 |
| 2 | NESTED LOOPS
|
| 1 | 1 | 2436 |00:00:01.41 | 555K| 0 |
| 3 | NESTED LOOPS ANTI
|
| 1 | 1 | 3610 |00:00:01.38 | 544K| 0 |
| 4 | NESTED LOOPS
|
| 1 | 1 | 3634 |00:00:01.35 | 540K| 0 |
| 5|
NESTED LOOPS SEMI
|
| 1 | 1 | 3634 |00:00:01.29 | 529K| 0 |
| 6|
TABLE ACCESS BY INDEX ROWID | LCPOL
| 1 | 1 | 3637 |00:00:01.29 | 529K| 0 |
|* 7 |
INDEX RANGE SCAN
| IDX_ENC_TEST_B05
| 1 | 1 | 3637 |00:00:01.27 | 526K| 0 |
|* 8 |
FILTER
|
| 162K|
| 3637 |00:00:01.02 | 521K|
0|
|* 9 |
TABLE ACCESS BY INDEX ROWID| LJSPAYPERSON
| 162K|
1 | 5928 |00:00:00.88 | 506K|
0|
|* 10 |
INDEX RANGE SCAN
| IDX_LJSPAYPERSON_1
| 162K|
2 | 30587 |00:00:00.70 | 488K|
0|
| 11 |
TABLE ACCESS BY INDEX ROWID| LJSPAY
| 5074 |
1 | 5074 |00:00:00.05 | 15318 |
0|
|* 12 |
INDEX UNIQUE SCAN
| PK_LJSPAY
| 5074 |
1 | 5074 |00:00:00.02 | 10244 |
0|
|* 13 |
TABLE ACCESS BY INDEX ROWID | LMRISKAPP
| 238 | 116 | 235 |00:00:00.01 | 298 |
0|
|* 14 |
INDEX UNIQUE SCAN
| PK_LMRISKAPP
| 238 |
1 | 238 |00:00:00.01 |
60 |
0|
|* 15 |
TABLE ACCESS BY INDEX ROWID | LCCONT
| 3634 |
1 | 3634 |00:00:00.05 | 10998 |
0|
|* 16 |
INDEX UNIQUE SCAN
| PK_LCCONT
| 3634 |
1 | 3634 |00:00:00.02 | 7364 |
0|
|* 17 | TABLE ACCESS BY INDEX ROWID | LCCONTHANGUPSTATE
| 3634 |
5 | 24 |00:00:00.02 | 3756 |
0|
|* 18 |
INDEX RANGE SCAN
| PK_LCCONTHANGUPSTATE | 3634 |
1 | 24 |00:00:00.02 | 3732 |
0|
|* 19 | INDEX RANGE SCAN
| IDX_ENCN_LCCONTSTATE_C01 | 3610 |
1 | 2436 |00:00:00.03 | 11041 |
0|
|* 20 | TABLE ACCESS BY INDEX ROWID
| LJTEMPFEE
| 2436 |
3 | 80 |00:02:55.31 | 26161 | 31409 |
|* 21 | INDEX RANGE SCAN
| IDX_LJTEMPFEE_1
| 2436 |
2 | 21203 |00:00:06.93 | 5034 | 2424 |
-----------------------------------------------------------------------------------------------------------------------------------
ELASPED TIME : 02.56.73
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
-----------------------------------------------------------------------------------------------------------------------------------
| Id | Operation
| Name
| Starts | E-Rows | A-Rows | A-Time | Buffers | Reads |
-----------------------------------------------------------------------------------------------------------------------------------
| 0 | SELECT STATEMENT
|
| 1|
| 2356 |00:02:56.73 | 581K| 31409 |
| 1 | NESTED LOOPS ANTI
|
| 1 | 1 | 2356 |00:02:56.73 | 581K| 31409 |
| 2 | NESTED LOOPS
|
| 1 | 1 | 2436 |00:00:01.41 | 555K| 0 |
| 3 | NESTED LOOPS ANTI
|
| 1 | 1 | 3610 |00:00:01.38 | 544K| 0 |
| 4 | NESTED LOOPS
|
| 1 | 1 | 3634 |00:00:01.35 | 540K| 0 |
| 5|
NESTED LOOPS SEMI
|
| 1 | 1 | 3634 |00:00:01.29 | 529K| 0 |
| 6|
TABLE ACCESS BY INDEX ROWID | LCPOL
| 1 | 1 | 3637 |00:00:01.29 | 529K| 0 |
|* 7 |
INDEX RANGE SCAN
| IDX_ENC_TEST_B05
| 1 | 1 | 3637 |00:00:01.27 | 526K| 0 |
|* 8 |
FILTER
|
| 162K|
| 3637 |00:00:01.02 | 521K|
0|
|* 9 |
TABLE ACCESS BY INDEX ROWID| LJSPAYPERSON
| 162K|
1 | 5928 |00:00:00.88 | 506K|
0|
|* 10 |
INDEX RANGE SCAN
| IDX_LJSPAYPERSON_1
| 162K|
2 | 30587 |00:00:00.70 | 488K|
0|
| 11 |
TABLE ACCESS BY INDEX ROWID| LJSPAY
| 5074 |
1 | 5074 |00:00:00.05 | 15318 |
0|
|* 12 |
INDEX UNIQUE SCAN
| PK_LJSPAY
| 5074 |
1 | 5074 |00:00:00.02 | 10244 |
0|
|* 13 |
TABLE ACCESS BY INDEX ROWID | LMRISKAPP
| 238 | 116 | 235 |00:00:00.01 | 298 |
0|
|* 14 |
INDEX UNIQUE SCAN
| PK_LMRISKAPP
| 238 |
1 | 238 |00:00:00.01 |
60 |
0|
|* 15 |
TABLE ACCESS BY INDEX ROWID | LCCONT
| 3634 |
1 | 3634 |00:00:00.05 | 10998 |
0|
|* 16 |
INDEX UNIQUE SCAN
| PK_LCCONT
| 3634 |
1 | 3634 |00:00:00.02 | 7364 |
0|
|* 17 | TABLE ACCESS BY INDEX ROWID | LCCONTHANGUPSTATE
| 3634 |
5 | 24 |00:00:00.02 | 3756 |
0|
|* 18 |
INDEX RANGE SCAN
| PK_LCCONTHANGUPSTATE | 3634 |
1 | 24 |00:00:00.02 | 3732 |
0|
|* 19 | INDEX RANGE SCAN
| IDX_ENCN_LCCONTSTATE_C01 | 3610 |
1 | 2436 |00:00:00.03 | 11041 |
0|
|* 20 | TABLE ACCESS BY INDEX ROWID
| LJTEMPFEE
| 2436 |
3 | 80 |00:02:55.31 | 26161 | 31409 |
|* 21 | INDEX RANGE SCAN
| IDX_LJTEMPFEE_1
| 2436 |
2 | 21203 |00:00:06.93 | 5034 | 2424 |
-----------------------------------------------------------------------------------------------------------------------------------
ELASPED TIME : 02.56.73
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
第10页
上线前缺乏审计
有必要构建流程+工具+指标的代码（SQL）性 能审计体系，将90%以上的系统性能问题防止
于未然，保障系统效率，提升用户体验。
现有问题
SQL质量低 索引问题多 系统性能差
1 系统性能问题频繁出现，用户体验差，业务处理效率低。现有问题
2 数据库参数优化已无明显效果，性能问题依然存在。
3 现有人员性能优化经验不足。 4 开发过程中未对SQL及索引进行全面审查。
运维压力大 性能审计缺失 用户体验不好
5 因性能问题导致运维压力大，难度不断提升。
6 缺乏体系化的代码（SQL）质量审计体系和流程。
7 亟待构建工具+人的半自动化代码(SQL)审计体系。
当前上线前无审计的开发方式，给系统运维带来巨大压力，造成系统执行效率低，用户体验差等问题
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
有必要构建流程+工具+指标的代码（SQL）性 能审计体系，将90%以上的系统性能问题防止
于未然，保障系统效率，提升用户体验。
现有问题
SQL质量低 索引问题多 系统性能差
1 系统性能问题频繁出现，用户体验差，业务处理效率低。现有问题
2 数据库参数优化已无明显效果，性能问题依然存在。
3 现有人员性能优化经验不足。 4 开发过程中未对SQL及索引进行全面审查。
运维压力大 性能审计缺失 用户体验不好
5 因性能问题导致运维压力大，难度不断提升。
6 缺乏体系化的代码（SQL）质量审计体系和流程。
7 亟待构建工具+人的半自动化代码(SQL)审计体系。
当前上线前无审计的开发方式，给系统运维带来巨大压力，造成系统执行效率低，用户体验差等问题
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
第11页
上线前审计体系
数据架构师
标准指标 需求指标
专家 评审
审计指标库
审计工具
输出
修改或新增指标 插件包
修改及优化建议
研发团队
数据库 管理小组
产品 研发
提交测试
功能测试
压力测试
输出
搭建 验证环境
功能测试
压力测试
执行审计
审计 报告
否 是 产品
是否达标
发布
执行审计
否 是否达标 是
审计 报告
正式上线
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
数据架构师
标准指标 需求指标
专家 评审
审计指标库
审计工具
输出
修改或新增指标 插件包
修改及优化建议
研发团队
数据库 管理小组
产品 研发
提交测试
功能测试
压力测试
输出
搭建 验证环境
功能测试
压力测试
执行审计
审计 报告
否 是 产品
是否达标
发布
执行审计
否 是否达标 是
审计 报告
正式上线
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
第12页
相对复杂的数据处理能力欠缺 X
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
第13页
相对复杂的数据处理能力欠缺 X=
统计结果
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
统计结果
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
第14页
数据质量差需要执行数据质量管理
1. 质量标准/诊断对象 定义
DQI 定义
CTQ 定义 CTQ 候补对象选定
CTQ 重要性 评估
CTQ 认定
业务域定义 DQ 业务域 定义
业务域/ DBMS 映射
3. BR 定义
CTQ 应用对象 列 收集
2.剖析
剖析对象选定
剖析 列 分析
Pattern分析 日期分析 代码 分析
有效值分析
各个 列 BR 定义
BR 确定
4.数据质量诊断
各个BR 错误率 测算
5. 数据质量改进
错误原因分析
数据质量改进计划订 立
数据质量改进
质量诊断 按照各BR 次数 增加
1. 质量基准/诊断对象的定义
• 作为数据质量测定的基本信息，需要设定 DQI, CTQ, 业务域等
•产 出 物 : 数 据 质 量 管 理 定 义 书 (DQI & CTQ)
2. 剖析
• 对选定的业务域，掌握数据质量的现状，而执行 的分析手段
• 数据质量管理对象明确的时候，可以跳过剖析过 程
3. BR 定义
• 数据质量基准以及诊断对象为基础，收集各种业 务规则，将其定义为可测算的形态
• 产出物 : 业务规则定义书
4. 数据质量测定
• 对确定的BR进行错误率测算
5. 数据质量改进
• 业务负责人对数据错误进行原因分析，并确定计 划进行改进和清洗
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
1. 质量标准/诊断对象 定义
DQI 定义
CTQ 定义 CTQ 候补对象选定
CTQ 重要性 评估
CTQ 认定
业务域定义 DQ 业务域 定义
业务域/ DBMS 映射
3. BR 定义
CTQ 应用对象 列 收集
2.剖析
剖析对象选定
剖析 列 分析
Pattern分析 日期分析 代码 分析
有效值分析
各个 列 BR 定义
BR 确定
4.数据质量诊断
各个BR 错误率 测算
5. 数据质量改进
错误原因分析
数据质量改进计划订 立
数据质量改进
质量诊断 按照各BR 次数 增加
1. 质量基准/诊断对象的定义
• 作为数据质量测定的基本信息，需要设定 DQI, CTQ, 业务域等
•产 出 物 : 数 据 质 量 管 理 定 义 书 (DQI & CTQ)
2. 剖析
• 对选定的业务域，掌握数据质量的现状，而执行 的分析手段
• 数据质量管理对象明确的时候，可以跳过剖析过 程
3. BR 定义
• 数据质量基准以及诊断对象为基础，收集各种业 务规则，将其定义为可测算的形态
• 产出物 : 业务规则定义书
4. 数据质量测定
• 对确定的BR进行错误率测算
5. 数据质量改进
• 业务负责人对数据错误进行原因分析，并确定计 划进行改进和清洗
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
第16页
数据架构在企业结构中的定位
企业架构(EA)
架构矩阵
企业架构蓝图 企业架构策略
企业架构信息 当前架构 开发部门
需求部门
技术规划
迁移 计划
目标架构 数据架构
业务架构
技术架构
运维部门
应用架构
企业架构管理
企业架构管理体系
企业架构管理系统
企业架构评估
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
企业架构(EA)
架构矩阵
企业架构蓝图 企业架构策略
企业架构信息 当前架构 开发部门
需求部门
技术规划
迁移 计划
目标架构 数据架构
业务架构
技术架构
运维部门
应用架构
企业架构管理
企业架构管理体系
企业架构管理系统
企业架构评估
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
第17页
企业架构流程构成
设计企业架构蓝图
企业架构定义
企业架构环境分析
企业架构构建方向定义
企业架构构成定义
企业架构构建
企业架构信息构成定 义
企业架构环境分析
企业架构信息构建
当 数据架构
前 架
业务架构
技术架构
构 应用架构
企业架构构建方向定义 企业架构构成定义
目 数据架构 标
架 业务架构
技术架构
构 应用架构
企业架构管理
企业架构管理体系构 建
企业架构组织设置
企业架构管理系统
企业架构建模工具
企业架构应用
企业架构迁移计划
架构差异分析
项目设立
迁移计划制定
企业架构流程设计
企业架构知识库构建
企业架构人员设置
企业架构信息管理系统
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
IT规划
企业架构落地
IT构建
IT管控
设计企业架构蓝图
企业架构定义
企业架构环境分析
企业架构构建方向定义
企业架构构成定义
企业架构构建
企业架构信息构成定 义
企业架构环境分析
企业架构信息构建
当 数据架构
前 架
业务架构
技术架构
构 应用架构
企业架构构建方向定义 企业架构构成定义
目 数据架构 标
架 业务架构
技术架构
构 应用架构
企业架构管理
企业架构管理体系构 建
企业架构组织设置
企业架构管理系统
企业架构建模工具
企业架构应用
企业架构迁移计划
架构差异分析
项目设立
迁移计划制定
企业架构流程设计
企业架构知识库构建
企业架构人员设置
企业架构信息管理系统
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
IT规划
企业架构落地
IT构建
IT管控
第18页
数据架构构成
数据架构管理
数据架构管理对象
数据标准
数据模型
数据库
数据质量
数据架构管理流程
数据标准管理流程 数据模型管理流程 数据库管理流程 数据质量管理流程
数据架构管理组织
数据架构师主席 数据架构师 数据建模人员 数据库管理员
用户
管理系统
数据质量管理系统 配置管理系统 变更影响评估系统 元数据管理系统 数据建模工具
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
数据架构管理
数据架构管理对象
数据标准
数据模型
数据库
数据质量
数据架构管理流程
数据标准管理流程 数据模型管理流程 数据库管理流程 数据质量管理流程
数据架构管理组织
数据架构师主席 数据架构师 数据建模人员 数据库管理员
用户
管理系统
数据质量管理系统 配置管理系统 变更影响评估系统 元数据管理系统 数据建模工具
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
第19页
数据架构组织结构
数据管理
数据治理政策 数据标准管理 需求事项管理 数据结构管理
数据流管理 数据库管理 数据运用管理 数据治理质量改善
数据管理组织
数据架构总监
(Chief Data Architect)
数据架构师
(Data Architect)
数据建模设计师
(Data Modeler)
数据库管理员
(Database Administrator)
用户
19 pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
数据管理组织角色
数据管理
数据治理政策 数据标准管理 需求事项管理 数据结构管理
数据流管理 数据库管理 数据运用管理 数据治理质量改善
数据管理组织
数据架构总监
(Chief Data Architect)
数据架构师
(Data Architect)
数据建模设计师
(Data Modeler)
数据库管理员
(Database Administrator)
用户
19 pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
数据管理组织角色
第20页
数据架构部门的角色及工作
从企业全局出发，让标准化的数据处理贯穿于整个系统生命周期
数据架构
数据模型
程序开发
数据迁移
测试及优化
在整个系统生命周期中数据架构部门始终扮演重要角色
数据架构构建阶段 • 构建数据架构 • 制定管理体系 • 标准化
设计阶段
• 概念模型设计 • 逻辑模型设计 •物理模型设计 • 培训
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
开发阶段
• 开发技术支持 • 形状管理 • 编写核心SQL
迁移阶段
• 迁移技术支持
测试阶段
• TUNING • 设计最优INDEX • 提出问题解决方案
从企业全局出发，让标准化的数据处理贯穿于整个系统生命周期
数据架构
数据模型
程序开发
数据迁移
测试及优化
在整个系统生命周期中数据架构部门始终扮演重要角色
数据架构构建阶段 • 构建数据架构 • 制定管理体系 • 标准化
设计阶段
• 概念模型设计 • 逻辑模型设计 •物理模型设计 • 培训
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
开发阶段
• 开发技术支持 • 形状管理 • 编写核心SQL
迁移阶段
• 迁移技术支持
测试阶段
• TUNING • 设计最优INDEX • 提出问题解决方案
第21页
数据架构部门的角色及工作
如下表中列举了在分析、设计、开发阶段中DA团队与开发团队的角色和任务， 以及详细的设计步骤。
企业主题域及 企业概念模型
分析 概念数据模型
逻辑数据模型
设计 物理数据模型
开发 DBMS
角色
DA 开发团队
DA T A S K
开发团队
概念数据模型设计 及标准化
逻辑数据模型设计 及技术支持
逻辑数据模型
概念模型设计 概念模型共享
逻辑数据模型设计 及标准化
逻辑数据模型 验证及反馈
培训
- 数据模型设计 - 建模工具介绍，用户API使用方法 - 数据模型登录步骤
业务分析
提出概念数据模型 设计需求
逻辑数据模型设计
逻辑数据模型 验证申请及修改
物理数据模型设计 及技术支持
物理数据模型
开发技术支持 SQL编写
物理模型设计 及标准化
物理数据模型 验证及反馈
数据模型登录技术支持
SQL编写技术支持
性能改善技术支持
数据模型修改管理 (变更承认)
数据标准应用 物理数据模型设计
数据模型登录
SQL编写
SQL应用 数据模型修改管理
(修改申请)
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
如下表中列举了在分析、设计、开发阶段中DA团队与开发团队的角色和任务， 以及详细的设计步骤。
企业主题域及 企业概念模型
分析 概念数据模型
逻辑数据模型
设计 物理数据模型
开发 DBMS
角色
DA 开发团队
DA T A S K
开发团队
概念数据模型设计 及标准化
逻辑数据模型设计 及技术支持
逻辑数据模型
概念模型设计 概念模型共享
逻辑数据模型设计 及标准化
逻辑数据模型 验证及反馈
培训
- 数据模型设计 - 建模工具介绍，用户API使用方法 - 数据模型登录步骤
业务分析
提出概念数据模型 设计需求
逻辑数据模型设计
逻辑数据模型 验证申请及修改
物理数据模型设计 及技术支持
物理数据模型
开发技术支持 SQL编写
物理模型设计 及标准化
物理数据模型 验证及反馈
数据模型登录技术支持
SQL编写技术支持
性能改善技术支持
数据模型修改管理 (变更承认)
数据标准应用 物理数据模型设计
数据模型登录
SQL编写
SQL应用 数据模型修改管理
(修改申请)
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
第22页
数据架构部门详细工作任务
数据设计政策及详细任务 ( ※ 必选项 )
1.1 数据标准定义※
1.2 数据模型设计标准定义 ※ 1.3 逻辑数据模型设计方法 ※
数据架构师
2.3 数据标准申请支持※ 2.4 数据标准应用API支持 ※ 2.5 数据模型变更管理 2.6 复杂数据处理支持
2.1 物理模型设计方法 ※ 2.2 模型管理技术支持 ※
3.1 SQL及数据库技术培训※ 3.2 SQL编写规则设计及审计※ 3.3 INDEX优化及SQL优化
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
数据设计政策及详细任务 ( ※ 必选项 )
1.1 数据标准定义※
1.2 数据模型设计标准定义 ※ 1.3 逻辑数据模型设计方法 ※
数据架构师
2.3 数据标准申请支持※ 2.4 数据标准应用API支持 ※ 2.5 数据模型变更管理 2.6 复杂数据处理支持
2.1 物理模型设计方法 ※ 2.2 模型管理技术支持 ※
3.1 SQL及数据库技术培训※ 3.2 SQL编写规则设计及审计※ 3.3 INDEX优化及SQL优化
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
第23页
数据架构管理体系
制度和指南
请求及使用
数据标准及模型
管理体系
宣讲及应用
数据政策管理
数据值管理
检查
审批及管理
请求制 数据用户 定标准
企 业 信 建模人员 息 系 统
请求结 构变更
查询 元数据
系统开发员 标准 应用
系统分析员
企业元数据库
数据分类体系
数据标准
数据模型
数据库对象
应用程序影响度分析
数据质量
元数据管理系统
数据标准管理
数据结构管理
企业数据管理方案
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
企业数据管理原则
数据标准管理指南
审核
标准 检查
结构 检查
培训 宣讲
数据架构主席 数据管理委员会 数据架构师
数据标准管理 员
数据架构方法论
制度和指南
请求及使用
数据标准及模型
管理体系
宣讲及应用
数据政策管理
数据值管理
检查
审批及管理
请求制 数据用户 定标准
企 业 信 建模人员 息 系 统
请求结 构变更
查询 元数据
系统开发员 标准 应用
系统分析员
企业元数据库
数据分类体系
数据标准
数据模型
数据库对象
应用程序影响度分析
数据质量
元数据管理系统
数据标准管理
数据结构管理
企业数据管理方案
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
企业数据管理原则
数据标准管理指南
审核
标准 检查
结构 检查
培训 宣讲
数据架构主席 数据管理委员会 数据架构师
数据标准管理 员
数据架构方法论
第24页
数据架构内部工作流程
需求管理系统
数据模型管控系统
数据治理系统
需求登录
数据标准登录/申请
数据标准审计/审批
数据模型设计/审计
数据模型申请
数据架构师模型审计
信息项管理
数据架构师模型审批
DDL自动生成 DBA 审计
DBA脚本执行
信息项审计/审批
数据模型生成/评审
影响评估
信息项登录/申请
数据标准审计/审批
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
数据标准登录/申请
数据质量管理系统
变更影响评估系统
从信息形成的时间点开始治理 通过流程进行管控 减少人工参与，提高自动化程度
变更影响评估
基于数据模型登录BR 基于业务规则登录BR
错误数据分析 错误数据清洗
相关程序分析 24
需求管理系统
数据模型管控系统
数据治理系统
需求登录
数据标准登录/申请
数据标准审计/审批
数据模型设计/审计
数据模型申请
数据架构师模型审计
信息项管理
数据架构师模型审批
DDL自动生成 DBA 审计
DBA脚本执行
信息项审计/审批
数据模型生成/评审
影响评估
信息项登录/申请
数据标准审计/审批
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
数据标准登录/申请
数据质量管理系统
变更影响评估系统
从信息形成的时间点开始治理 通过流程进行管控 减少人工参与，提高自动化程度
变更影响评估
基于数据模型登录BR 基于业务规则登录BR
错误数据分析 错误数据清洗
相关程序分析 24
第26页
数据架构部门详细工作任务
了解数据架构师的定义 了解数据架构师从事那
些工作 了解数据架构师应该具
备的能力 了解数据架构师在企业
中位置及职业生涯
了解成为数据架构师的
途径 寻找合适的书籍和培训
课程 向有经验的专业人士学
习经验 参与相关交流活动
学习理论知识的同时， 从技术上、组织上、流 程上、产品上等方面逐 渐尝试将其落地，并在 实战中提升
扩大数据架构师在现有 工作环境中影响力和价 值，寻找合适定位。
稳定数据架构在企业系 统设计、开发、运维环 节的地位。
将其作为企业架构中必 不可少的组成部分，形 成四足鼎立之势
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
了解数据架构师的定义 了解数据架构师从事那
些工作 了解数据架构师应该具
备的能力 了解数据架构师在企业
中位置及职业生涯
了解成为数据架构师的
途径 寻找合适的书籍和培训
课程 向有经验的专业人士学
习经验 参与相关交流活动
学习理论知识的同时， 从技术上、组织上、流 程上、产品上等方面逐 渐尝试将其落地，并在 实战中提升
扩大数据架构师在现有 工作环境中影响力和价 值，寻找合适定位。
稳定数据架构在企业系 统设计、开发、运维环 节的地位。
将其作为企业架构中必 不可少的组成部分，形 成四足鼎立之势
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
第27页
成为数据架构师需要学习的技术
企业架构概要 1 数据架构建设 2
企业架构管理及应用 3
数据库设计 1 数据库应用 2 数据库性能优化 3
企业 架构
数据库设计 及应用
1 数据质量、标准、模型、管理等内容
2 数据结构，概念、逻辑、物理模型
3 数据管理流程，标准、策略、需求、模型、 数据库、数据应用、数据流等管理
数据质 量管理
1 信息需求事项概要 2 信息需求项调查 3 需求项分析及验证
数据需
求분分석析
数据建模
概念数据建模技术 1 逻辑数据建模技术 2 物理数据建模技术 3
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
数据标准化
1 构建原子性单词词典 2 构建由原子性单词自动拼接而成的用语词典 3 构建标准编码词典及标准管理体系
企业架构概要 1 数据架构建设 2
企业架构管理及应用 3
数据库设计 1 数据库应用 2 数据库性能优化 3
企业 架构
数据库设计 及应用
1 数据质量、标准、模型、管理等内容
2 数据结构，概念、逻辑、物理模型
3 数据管理流程，标准、策略、需求、模型、 数据库、数据应用、数据流等管理
数据质 量管理
1 信息需求事项概要 2 信息需求项调查 3 需求项分析及验证
数据需
求분分석析
数据建模
概念数据建模技术 1 逻辑数据建模技术 2 物理数据建模技术 3
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential
数据标准化
1 构建原子性单词词典 2 构建由原子性单词自动拼接而成的用语词典 3 构建标准编码词典及标准管理体系
第28页
pyright ⓒ 2012 EN-CORE Co., Ltd. All rights reserved | Confidential