AirJD 焦点
AirJD

没有录音文件
00:00/00:00
加收藏

基于众包的O2O服务质量保证 by 施佳樑@百度众测

发布者 test
发布于 1438048090348  浏览 1949 关键词 用户体验, 自动化测试 
分享到

第1页

基于众包的O2O服务质量保证 

施佳樑 百度质量部 shijialiang@baidu.com



第2页

O2O产品的兴起 



第3页

O2O产品的服务质量保证困境 



第4页

O2O产品的服务质量保证困境 

地域覆盖⼲⼴广,各地情况不同

产品形态多,爆发式增⻓长



第5页

O2O产品的服务质量保证困境 

活动急,形式多,流量⼤大



第6页

O2O产品的服务质量保证困境 



李彦宏: ⽐比如刚刚过去的“三七”,所 谓的“⼥女⽣生节”,全国电影票 房⾮非常⽕火热,应该⽐比去年

同⽐比涨了3.5倍。

原来⽐比如⼀一张票最⾼高到100 多块钱,我们补贴到3.7元 ⼀一张票。原来平均的电影 院上座率只有15%,那天 去看,⼤大多数的电影院都 是满满的。



活动急,形式多,流量⼤大



第7页

O2O产品的服务质量保证困境 

地域覆盖⼲⼴广,各地情况不同 活动急,形式多,流量⼤大



产品形态多,爆发式增⻓长



强调⽤用户真实消费



第8页

基于众包的任务平台 



第9页

众包(crowdsourcing)是什么 

l
 众包:公司或机构把过去由员工执行的工作任务,以自由 自愿的形式外包给非特定的、大型的大众网络。

 来源:美国《连线》(Wired)杂志2006年6月刊,记者Jeff Howe提 出。

 Crowdsourcing = crowd + outsourcing

l
 众包平台:利用互联网来将工作任务分发出去,通过大众 智慧完成工作,并收回创意、数据、信息等期望结果。



第10页

与UGC、PGC、OGC的区别 

专业度

PGC 经过质 OGC (专家)量控(管外包、员⼯工)

的众众包包

薪酬

UGC (⽤用户)



第11页

众包案例 



最早的众包

⼆二战德军⻜飞机潜艇计算



最著名的众包

reCAPTCHA验证码



第12页

众包案例:reCAPTCHA验证码 

reCAPTCHA的故事 OCR识别不高



第13页

众包案例:reCAPTCHA验证码 

reCAPTCHA的故事 • 有一天,某机器扫描了某本书……



第14页

众包案例:reCAPTCHA验证码 

reCAPTCHA的故事 • 如果我们扫描的是这样的书……



第15页

众包案例:reCAPTCHA验证码 

reCAPTCHA的故事 • 于是reCAPTCHA就诞生了……



第16页

众包案例:reCAPTCHA验证码 

reCAPTCHA的故事 • 后来除了古书,也开始应用于识别Google街景图片……



第17页

众包案例:百度众测 

Ø 适⽤用场景1:难以完全由机器⾃自动处理的⼯工作

 需要⼈人主观判断:评论、情感……  ⼈人⼯工智能难以完美解决:图⽚片识别、语义识别、物品识别、机器翻译……

Ø 适⽤用场景2:需要⼤大众⼒力量解决的问题

 跨地域、跨平台的数据采集:LBS数据采集、覆盖全⾯面的安卓设备数据采集……  样本覆盖有多样性要求:问卷调研、多机型多环境测试



第18页

最大的百度产品粉丝群体 

用户  因百度产品而聚集 

200万 500万



第19页

用户分层 

内部员⼯工 ⽤用户管理员 核⼼心粉丝 活跃⽤用户 普通⽤用户



• 产品内测 • 涉密、内部体验版 

• Bug审核、复现,用户管理、招募 • 按天发工资 

• 小范围外测 • 按执行次数发奖励 

• 大范围外测 • 按有效bug/建议发奖励 

• 小流量灰度测试 • 全流量



第20页

针对手机APP产品的测试方案 



1. 上传待测APP  2. 编写测试用例和用户指引  3. 注入追踪SDK并重新编译  4. 推送到指定的设备和用户 

1. 验证用户反馈,排除作弊用户  2. 移动设备型号、厂商、操作系

统的全面覆盖测试  3. 更多信息:耗电量,CPU/内

存占用,崩溃日志,用户操作 轨迹 



1. 下载并安装百度微任务  2. 事先收集用户设备型号和参数 

1. 领取任务,下载并安装APP  2. 参照Web网站/APP上的用户指

引完成测试工作  3. 在手机上直接提交有截屏的反馈

(bug/建议) 



第21页

最全的PC/手机设备仓库 

• 近30万台手机信息登记在案 

• 覆盖 

• 近40个手机厂商,800款手机型号 

• 各操作系统和浏览器版本等  • 各主要运营商,网络环境 



第22页

几乎覆盖全中国所有的城市 

遍布全国 330+城市



第23页

最大的百度用户详细信息库 



年龄  职业  教育背景 



联系方式  地域 

个人兴趣 



产品使用习惯 



120万份用户调研问卷 



第24页

最大的百度用户详细信息库 



年龄  职业  教育背景 



联系方式  地域 

个人兴趣 



产品使用习惯 



120万份用户调研问卷 



第25页

最大的百度用户详细信息库 



年龄  职业  教育背景 



联系方式  地域 

个人兴趣 



产品使用习惯 



120万份用户调研问卷 



第26页

用户质量 



用户标签 



用户能力 



• 性别  • 年龄  • 行业/专业  • 职业  • 地域  • 学历  • 。。。 



• 图片  • 文本  • 音频  • 视频  • 网页  • 地图  • 。。。 



定向招募 

• 特殊专业:阿语,泰语  • 特殊行业:家庭主妇  • 特殊地域:小区,学校,景点等 



第27页

用户调研案例—百度钱包转账功能 

新版本即将推出转账功能,主打高校用户,希望通过 众测调研高校学生转账的使用场景。



通过用户标签筛选用户 



班费



第28页

基于众测的发布流程 



2~3天内,  召集3000+个外部 用户参与  覆盖40个厂商, 800款手机型号 



Final release 



Go! 



2~3天内,  收集2000+份产 品建议用户问卷 

用户调研 



1~2天内,  召集500+个内 部员工参与内测 



Beta release:  众测 

Alpha release:  员工内测 



QA测试 



产品需求设计  开发编码 



第29页

应用案例:APP产品用户测试 

百度地图APP(Android) 

ü2天招募5000+个用户进行人工测试  ü覆盖104个手机品牌,710款手机型号,33个手机操作系统  ü覆盖231个城市  ü类似测试任务,全年累计发布超过200+个 



功能测试 



性能测试 



地域测试 



第30页

应用案例:百度直达号 



传统功能测试 

1. 用户:输入,访问  2. 商家:申请,上架 



O2O服务质量保证 

A 

1. 数量大,几十万商家  2. 一个商户就是一个Web APP  3. 地域广、行业分布广  4. 强调用户消费闭环 

B  5. 第三方应用嵌入 



第31页

直达号评测-方案设计 

! 评测⽅方法:众测⽤用户基于既定的评测维度、以获取服务的流程为主线,对选定直达号进 ⾏行体验评测,并提交体验报告,反馈体验中的问题和建议。

! 评测时间: 2周 ! 评测对象:采⽤用⾏行业抽样、商户抽样的⽅方式进⾏行⽤用户体验采集,选取直达号中⽐比较具有

影响⼒力的⾏行业和商户进⾏行评测;



选取行业  选取商户 



餐饮 



景区 



休闲娱乐 



生活服务 



@海底捞、  @桂林旅游@ @中体倍力@ @云家政 



@微卤 



西湖 



永乐票务 



@爱大厨 



教育 



医疗 



@新东方在线  @佳美口腔 



第32页

评测维度 



! 以获取服务的流程为主线,众测⽤用户从4个维度进⾏行体验,反馈体验过程中遇到的问题。



快速找到服务 



商户页面内容 



u @⽅方式打开移动站点  u 默认设置合理(包括

定位) u 提供合理的筛选、查

找⽅方式 



u ⻚页⾯面显⽰示正常  u ⻚页⾯面内容可⽤用 u 信息显⽰示准确 



预订服务环节 



服务支撑环节 



u 表单的默认设置合理  u 注册、登录正常 u 下单过程流畅 u ⽀支付功能安全稳定 



u 订单查看 u 交易记录  u 线上咨询 u 服务组件正常 



第33页

商户页面内容-显示问题 



类型1:手机百度,横屏 模式显示不正常; 

类型2:页面加载失败、 页面空白; 

类型3:从二级页面返回, 主页服务组件消失; 



类型4:页面卡顿、加载 时间长;(WiFi环节) 

类型5:页面语音、视频, 无法播放或播放卡顿、声 音模糊; 

类型6:页面展示比例为 PC端比例,不适用于手 机; 



第34页

快速找到服务-定位问题 



类型1:定位不准,城市定 位有误; 

案例:东莞定位到广州; 

类型2:定位距离展示不准 确; 

案例:两个页面的同一定位数据 不匹配; 

类 型 3 : 门 店 地 图 展 示, 地图定位错误,其他城市 被显示为北京市地图; 

案例:成都显示北京地图; 



类型4:长时间加载地理位置, 无法取消; 

案例:在不提供服务的城市,一致 卡在加载,也不提示“所在城市不 提供服务”; 

 

 



第35页

商户页面内容-信息问题 



类型1:信息缺失重要元素; 

案 例 : 重 点 服 务 的 介 绍 缺 少 图 片, 或缺少产品描述; 

类型2:服务内容为空, 或还未提供服务; 

类型3:信息过期、未及 时更新; 

案例:优惠活动过期;  案例:门票售罄; 



类型4:重点信息标识不明 显; 

案例:选择百度钱包后只是圆圈 外圈变色; 

类型5:图片不能缩放、清 晰度不足; 

类型6:其他商业广告; 



第36页

预订服务环节-注册、登录问题 



类型1:注册成功无自动跳转; 

类型2: 百度帐号授权登录失败; 

案例:用百度帐号登录失败,“授权登录”页面中点 击“登录”后又回到学员登录界面中,实际是登录失 败; 



类型3:百度账号授权登录,信息关联不完 整; 

案例:授权登录后,没有关联头像、邮箱、手机号; 



第37页

主要反馈 



评测维度  快速找到服务  

商户页面内容 

预订服务环节 

服务支撑环节 



主要问题或建议 

1、定位问题,定位不准、加载地理位置时间长;  2、筛选问题,备选城市排列无序;  3、搜索问题,多数服务不提供搜索功能; 

1、商户页面显示异常,包括加载时间长、加载异常、页面空白、页面卡顿;  2、商户信息提供异常,包括服务空白、信息描述错误;  3、页面信息更新不及时,特别是过期优惠、门票售罄等; 

1、注册、登录问题,注册异常、百度授权登录异常;  2、预订服务流程中默认表单设置不合理、流程设置不合理;  3、预订服务流程中异常提醒不合理; 

1、线上咨询问题,电话有误、在线咨询答复不及时;  2、“我的订单”问题,无取消、删除订单功能,无筛选功能;  3、服务组件问题,分享、订阅、评论、百度一下的用户体验; 



第38页

报告概述 

! ⽤用户体验采集时间在 3⽉月6⽇日 到 3⽉月16⽇日之间,总结了这段时间内选定直达号的产品质量和 服务能⼒力;

! 共采集 300份 有效体验报告,分布在全国 58个 城市; ! 对参与评测的每个直达号,均采集到10份以上的反馈报告,各直达号报告占⽐比如下;



5% 4%



11% 15%



9% 17%



10% 7% 8%



14%



爱⼤大厨 桂林旅游 海底捞 佳美⼝口腔 微卤 ⻄西湖 新东⽅方在线 永乐票务 云家政



第39页

O2O产品的更大困扰 



缺商家 

直达号商家拓展  ü 招募培训210名用户  ü 完成372个直达号站点建设  ü 学校社团79个,小微商家293个  ü 覆盖20个省,40个城市 



缺用户 

ü 餐馆菜单照片采集  ü 用户下单体验后点评并分享 



第40页

从众测到众包 



发布用户调研问卷 



数据标注 



当你有了一大群用户  。。。 



内容生产 



LBS外场采集/交通信息  本地化和翻译 



更多内容:http://test.baidu.com/about.html  



第41页

百度MTC:手机数量世界第一! 



1万台⼿手机



欢迎试用: 

http://mtc.baidu.com 

为APP开发者提供全面的 手机自动化测试服务 ü 全面兼容性 ü 深度性能 ü 深度遍历 ü 特定场景 ü 安全漏洞 



支持文件格式:*.ppt, *.pptx, *.pdf
上传最后阶段需要进行在线转换,可能需要1~2分钟,请耐心等待。