甜薪工场甜薪工场
甜薪工场
工作者接单雇主招人
查看岗位
人才库人才详情

我擅长提供高品质的服务内容

tiger
产品研发/全栈工程师bilibili知乎
个人优势
暂无
工作经历
消息中间件
技术专家2023.05 ~ 2023.09
工作内容: 负责当前七十个集群,共 700 多个节点的 kafka 运维与维护 负责 Puslar 从零开始的落地 工作问题: ● 文档大量缺失 ● 一些核心信息无人知晓 ● 之前同事工作几乎无效,形成大量“债务” ● 基本没有技术沉淀,杂乱无序 工作结果: 1. 把之前至少 7 年/2 人的所有代码进行整理,归纳,重构,用时 1 个月 2. 梳理之前所有的流程与环境,重构环境与重设计流程 3. 处理 Kafka 集群线上问题 4. 推广落地 Knowstreaming ( kafka 管理台)并进行二开 5. 调研并测试验证 Puslar 大部分功能 ,成功落地并接入两个用户 6. 得到运维团队与业务团队的认可 2021.03-2023.03 深度赋值 数据中台 技术负责人 项目说明: 公司作为技术解决方案提供商为众多客户提供强大的 AI 能力。众所周知强大的 AI 能力是通过庞大的数 据“喂”出来的。每家客户与不同的 AI 场景的数据所有因子可能都不一样。于是需要一个数据中台解决因 子差异问题,完成数据采集,处理,分析等以及简单控制台操作能力 负责向算子平台,推荐平台,统计平台提供所需要的数据。 数据中台分别由 ● 数据通道: 数据收集与同步组件 DIS 组件,受理了许多个性化需求。 ● 数据来源通过 gather(收集),agent,source 获得数据,然后通过 sink 写入到各种存储中。 ● Runtime 负责运行所有的 source 与 sink。 ● 架构设计文档发表在 Apache RocketMQ 官方公众号上 ● 标题为: RocketMQ 在数据异构系统的应用 可以点击 ● ETL: DIS 与算子运行平台负责部分 ET 任务,其他任务由 flink 处理。 ● 数据计算: 由 flink 处理各种数据 ● 存储: 通道,ETL,分析的数据都会写入各种存储中。MySQL,redis,es,ceph,hdfs,hbase 等 ● 数据分析: clickhouse(实时分析),flink 近实时分析与离线分析
教育经历
长沙理工大学
企业管理本科2013.09 ~ 2017.06
项目经历
项目说明
2016.03 ~ 2018.05
项目职责:gateway 是业务网关负责流量,API 的管理,监控,操作和统一链路与接入层。功能如下: 1. 支持多种网络协议之间转换 HTTP,dubbo 2. 项目,类,接口三个级别的代理。可以兼容旧系统 3. 可以在控制台管理信息与配置策略和策略绑定。有策略,其中比较重要的有: (1) 认证策略(支持多种认证模式) (2) 蓝绿路由 (3) 灰度路由 (4) 热备 (5) 统计与链路跟踪 4. 通过协议与策略执行全程异步保证了节点的高性能 5. 通过 etcd 与 MySQL 的高可用,保证了 core 与 console 的无状态与无限水平扩展 6. 制定 SPI 机制实现策略功能可插拔 7. 支持多种实例收集 (1) 支持多种注册中心(etcd,consul), (2) 控制台配置实例信息 项目落地痛点 业务刚开始接入的时候出现了全面的抗拒的问题。但是作为负责人承受了巨大的压力,但是必须解决这 个问题,否则工作根本无法开展。经过调查发现抗拒原因是: 对中间件团队不信任,复杂的环境问题,不想 当第一个吃瓜群众,因为 KPI 事故指标,工作都忙不想花时间在接入上。 经过以下的努力: ● 通过 gateway 项目宣讲让大家了解 gateway 的强大,重要,简单,优雅 ● 在从测试环境获得所有项目,初步了解项目细节,在与业务线负责人,核心人员以及相关人员进行沟 通,讨论接入细节。规划整体接入并且与业务线负责人的认可与认可 ● 主动了解业务的个个环境,架构与链路情况。做好详细计划,演练,以及详细接入步骤。全程一对 一 ,十分钟接入,分钟级响应。快速解决业务在接入测试过程中发现各种问题与需求,问题当天解决 ● 解决开发,测试,运维等多方的沟通与协调问题 慢慢业务方不在抗拒 gateway,并且积极主动沟通与接入。确保了在接入计划的规定时间完成接入。同 时与业务团队之间建立了良好的信任 项目结果 1. 解决个个团队各自为战, 提供可运维度,显著降低运营成本,问题排查难度。 2. 成功接入多种语言,四个研发团队,16 个业务线,100+的项目, 3. 解决 6 种架构,7 种链路,并解决各种遗留问题,支持多种环境。 4. 是基础组件团队最快速度落地的组件并且是唯一所有项目都接入的组件 5. 是基础组件团队唯一一个接入所有业务线的组件 6. 是基础组件团队少有得到业务团队认可的组件 2016.03-2018.05 深圳微品致远信息科技有限公司 高级程序员,MySQL DBA 工作内容 完成电商系统(订单,购物车,商品,采购(B2B),招标(B2B)等),营销系统(优惠券,积分,抽 奖)、基础系统 3 个系统开发与维护工作。 项目职责: 负责架构设计,核心代码编写,项目文档与设计文档,负责 MySQL 数据库分布式、集群、架构的设计 与搭建,提供 MySQL 各种性能及分布式等解决方案并实施,最终完成其他数据库迁移 MySQL。 项目结果 支持岭南优选(移动广东电商)等好几家移动电商平台,整体用户量超四千万, 秒杀领取优惠券系统 ● 分析业务使缓存命中达到 99.99% ● 通过 redis 分布式锁解决优惠券超领,重复使用,支付,退单问题 ● TCC 方法解决 redis 无事务状态下数据错乱,保证批量操作正确性 ● 使用 RocketMQ 方式,解决 offset 分布式情况下原子性问题。 生产者与消费者个一台 4cpu 达到每秒领 取量 1500TPC。 ● 参考 RocketMQ 组提交方式解决数据库锁争夺问题 2013.05-2015.04 深州市智和创兴有限公司 技术总监  主导完成 1 个快递包裹柜项目,并成功完成 3 次大型项目迭代工作。  团队管理: 从0 开始搭建一支技术过硬的 22 人研发团队,通过建立健全开发流程、代码编写规范进行 规范化管理,实行扁平化管理,按照技术点分解目标工作,激发团队能动性。  技术路线: 负责产品核心模块研发工作,如网络层,核心业务层的开发、终端的换代 C#转到 python, 对接终端 10 来个硬件  架构搭建: 从技术选型简化技术架构,将后端 CS 架构模型模拟 BS 架构模型,并使用嵌入浏览器展示 视图换掉原声语言的视图编写,降低开发成本,减少维护成本。
查看详情
调用
2021.03 ~ 2023.03
项目职责:到容器里面,实现了高度自动化与定时处理 项目成果: ● 历经两个月从设计,开发,落地完成第一次迭代。成功接入第一个业务 K11 ● 成功接入推荐等多个系统 ● 业务的数据接入效率从以前的二十多天到现在的三天 ● 唯二的第一个接入业务的基础组件 还有其他二次封装组件接入业务 2021.03-2023.03 深度赋值 算子运行平台 创始人及技术负责人 项目说明: 作为基础组件与技术负责人。经常需要支持算法工程师解决各种需求,设计,编码与环境问题,几乎同 一个问题会被大多算法同学提出。经过深入了解,调研发现问题如下 ● 基础建设不到位,内部沟通不到,信息传达不到位 ● 算法工程师算法能力很强,但是编码,业务,技术,代码与版本管理能力相对较弱。他们只想关注算法 ● 算子无法统一。虽然只有训练,推理,python,数据算子,每个人都重复,都各写一套。发现算法的运 行由算子,数据,运行,定时四部分组成 为了提高自身与团队工作效率,解决核心职位的痛点。主动请缨设计研发 deep-runtime 平台。用工程 解决问题,打造企业级软件。运行流程为 ● 定时或则立即运行在 kubernetes 容器里面 ● 从 gitlab 克隆代码 ● 加载算子代码 ● 初始化算子与数据源 支持数据源有: MySQL,Ceph,Hbase,hdfs ● 拉去数据给算子 ● 上传模型 项目成果 经过两个月的努力,Deep-runtime 运行平台成功接入天机(无代码平台)与 CT(类似 dataiku,低代 码平台),让算法工程师的效率有很多程度的提升。唯二的第二个接入业务的基础组件 2019.06--2021.03 兴盛优选 基础技术部 gateway 负责人[ 三人 ]
查看详情

相似职位推荐

我擅长后端开发、前端开发、小程序APP开发,8年开发经验

主攻后端web开发,可以使用多语言进行各种web系统开发,php熟练使用laravel框架,python熟练使用django、flask、tornado框架,.Net熟练使用furion框架,熟练使用mysql、postgresql数据库。可以进行TCP编程,对接各种硬件设备。熟练使用vue框架,可以自行对接后端接口开发各种系统前端页面。喜欢新技术对新知识接受能力强。
公众号零售/电商生活方式家庭/教育互联网/科技其他
全日/半日均可 ¥ 18,000/月

我擅长后端开发、前端开发、小程序APP开发,8年开发经验

主攻后端web开发,可以使用多语言进行各种web系统开发,php熟练使用laravel框架,python熟练使用django、flask、tornado框架,.Net熟练使用furion框架,熟练使用mysql、postgresql数据库。可以进行TCP编程,对接各种硬件设备。熟练使用vue框架,可以自行对接后端接口开发各种系统前端页面。喜欢新技术对新知识接受能力强。
¥ 100/月