甜薪工场甜薪工场
甜薪工场
工作者接单雇主招人
查看供给方

大应自研大数据湖仓引擎质量保障

2021.11 ~ 2023.05

项目职责:自研大数据湖仓引擎质量保障(第一次toB业务模式的全新尝试) : 1、负责自研引擎的智能策略质量保障(内含算法) 1)数据策略版块(类似ETL工程)版本管理、dataops一键部署方案设计及实施 2)策略效果指标设计及开发 3)客户数据仿真(包括造数和造sql查询),沉淀不同客户的案例库,便于出厂前仿真测试 尽可能发现问题。 2、产品的日常迭代测试支持,专有云客户现场发布、答疑等全流程跟踪。

其他项目

地动仪(数据产品)项目组
2012.03 ~ 2012.12
项目职责:地动仪(数据产品)项目组 数据产品,用于支付宝内部数据分析人员进行经营分析,便于做出好的决策,将支付宝内各 个产品通过指标的方式来反应的产品的健康度,研发主要分2部分,web应用端java开发和数 据ETL开发,通过图形来展现各种指标数据,有后台,指标和图形的展示是可配置的。 担任地动仪产品测试owner 从前期的需求分析,测试计划的制定,测试分析,测试执行,整体流程,风险的把控都由我 一人主导。 主要包括俩部分的测试内容,web应用的页面测试和后端的数据清洗测试。
查看详情
无线业务数据分析平台(数据产品)
2012.12 ~ 2013.04
项目职责:主要反应支付宝的产品在无线端的发展使用情况,用户主要面向支付宝的无线数据分析师和 无线运营。研发主要分2部分,web应用端java开发和数据ETL开发,通过图形来展现各种指 标数据,有后台,指标和图形的展示是可配置的。 从前期的需求分析,测试计划的制定,测试分析,测试执行,整体流程,风险的把控都由我 一人主导。 主要包括俩部分的测试内容,web应用的页面测试和后端的数据清洗测试。
查看详情
无线日志埋点
2013.04 ~ 2013.06
项目职责:在无线客户端进行埋点,记录用户在无线的行为,便于进行用户的行为分析。主要分2块,在 PC端后台配置页面和埋点,在无线客户端采集。 主要负责无线客户端日志采集的测试,第一次尝试无线客户端的测试,包括安卓系统和IOS系 统。 通过查看埋点日志计算主要页面的反应时间,也对页面进行性能简单的测试,保证埋点不会 影响页面的性能。
查看详情
支付宝海量数据迁移到odps(登月一号)
2014.03 ~ 2014.10
项目职责:支付宝的数据仓库集群从hive迁移到odps,先迁移数据,再迁移所有工具,包括调度系统, 日志工具等。 通过比对数据的一致性,来确定工具、数据的迁移没有问题。主要工作是比对数据,发测试 报告。
查看详情
微店大数据测试基础设施建设
2016.07 ~ 2017.11
项目职责:从0到1建设大数据域的测试基础设施。在解决问题的期间,也提交了2个大数据相关的专利, 已通过审核。 1、针对大数据领域的项目特点,制定项目流程规范、测试规范。 2、分析目前公司的大数据在业务中存在的问题,给出解决方案,推进解决。比如埋点数据的 问题。 3、研发大数据测试平台和工具,提升开发的自测质量,提升测试效率。主要产出,数据形态 报告工具、代码扫描工具、数据比对工具。 4、培养新人,手把手教大数据测试。
查看详情
微店大数据集群迁移
2017.12 ~ 2018.09
项目职责:将微店大数据hadoop集群350台左右的机器中10p左右的数据搬迁到新集群。涉及到2个调度 平台,4600+个调度任务。 保证历史数据不丢,保证新产出的数据不错,不影响现有业务。尽量做到对业务无感知。 迁移项目组的主力成员。 1、前期调研,调度任务数据、源表数据以及抽取的工具。由于历史原因,有2个调度平台, 抽取工具种类也是有多种。 2、根据阶段性目标,制定阶段性迁移计划。 3、根据迁移需要,开发各样工具,比如跨集群数据比对工具、跨集群数据复制工具、跨集群 快速批量比对count数等等。 4、给出迁移手册,推动开发迁移自己的数据。
查看详情
微店大数据研发平台以及稳定性建设
2018.12 ~ 2023.05
项目职责:为公司定制的一个大数据解决方案工具平台。 通过平台、流程规范等手段,在(集群机器)有限的条件下,保障业务数据高效、按时、准 确、稳定地产出。 主要包括,数据同步,数据研发(离线,实时),即时查询,资源治理(账单),数据质 量,数据服务,数据全链路等模块。 1、作为测试角色保障每次迭代发布的产品质量 2、参与模块设计,每次迭代过程中,产品的易用性上提出自己的意见。 举例数据质量模块,质量规则校验系统,通过设置数据校验规则,对每日调度产出的数据准 确性校验,保障数据质量。 负责数据质量整个产品的设计,和开发共建。 1)产品调研及设计,产出PRD 2)与开发一起技术方案评审。 3)测试工作,保障产品质量。
查看详情
网易严选数据标签管理系统
2020.06 ~ 2021.03
项目职责:此系统属于业界数据中台的一部分,数据服务的标签赋能。 作为系统的测试owner,保障每次迭代发布按时保质发布。 从系统质量和数据质量的角度定制全链路数据质量保障策略,提出改进方案,包括产品方面/ 设计方面的漏洞。将数据/系统功能分级,重点数据和核心功能自动化覆盖100%一键回归。
查看详情
网易严选大数据测试基础设施建设
2020.06 ~ 2021.05
项目职责:从0到1建设大数据域的测试基础设施。在解决问题的期间,新提交了1个大数据相关的专利, 已通过审核。 1、针对大数据领域的项目特点,制定项目流程规范、测试规范。 2、研发大数据测试平台和工具,提升开发的自测质量,提升测试效率。建设离线数仓对自动 化,提出离线数仓的devops思想,并落实到工具和业务中。提升了测试覆盖率和精准度。
查看详情

相关职位

我擅长大数据领域测试开发

测试
互联网/科技
全日/半日均可 ¥ 30,000/月