甜薪工场甜薪工场
甜薪工场
工作者接单雇主招人
查看岗位
人才库人才详情

我擅长3年java后端开发,7年大数据开发

龙彬
产品研发/后端 零售/电商互联网/科技政府/社会机构知乎抖音bilibili
个人优势
熟悉hadoop相关框架,有HBase、flume 、Zookeeper、elasticsearch、flink、Kafka、hive、sqoop、doris开发经验熟悉linux操作系统以及Shell脚本的应用
熟悉scala,Spark原理,了解flink;熟悉其环境搭建,能够利用其进行简单的数据分析和处理
熟悉华为FusionInsight大数据平台、以及搭建cdh平台 熟悉BI系统的开发
熟悉springboot、netty开发
工作经历
湖南温创科技发展有限公司
java开发2012.03 ~ 2014.07
1. 按照项目经理的工作安排从事项目的开发以及维护; 1. 根据业务需求文挡和UML图进行系统的开发,对自己负责的模块程序编写,并进行测试。
上海博格远达信息技术有限公司
hadoop开发2014.08 ~ 2015.08
1. 参与开发环境搭建、系统测试以及维护。 1. 负责大数据基础平台与应用的开发; 1. 参与大数据核心技术的研究与开发;
上海新炬网络科技有限公司
hadoop运维工程师2015.11 ~ 2016.11
1. 维护大数据集群的变更,升级,监控。 1. 主要负责HBase组件的维护
浙江诺诺网络科技有限公司
hadoop应用开发工程师2016.11 ~ 2020.04
1. 负责hadoop集群的维护以及优化; 1. 负责大数据基础平台与应用的开发。主要是hive做etl的数据集市以及hbase、kafka,flume的二次开发 elasticsearch开发以及flink的应用开发 1. 参与大数据核心技术的研究与开发; 协助与指导团队成员项目开发。
长沙青萤网络科技有限公司
大数据开发工程师2021.03 ~ 2021.12
1、大数据基础平台的搭建 3、flink、redis实时、离线数仓计算抖音直播的数据 4、doris作数据存储,提供mpp的实时数据接口 7、数据展示大屏的后端开发
中软国际有限公司
大数据开发工程师2021.12 ~ 2022.12
3、CDH集群的维护
教育经历
长沙民政学院
机电一体化大专2008.09 ~ 2011.06
项目经历
蜂窝采集器系统
2014.08 ~ 2015.08
项目职责:责任描述: 1.集群搭建及日常维护; 2.网页的解析; 3.hbase数据存储; 4.Storm实时处理日志信息。 软件环境: Centos Linux6.5+JDK-1.6+Hadoop-2.4.0+ Storm0.9.3+kafka0.8.2+ Zookeeper3.4.6+mysql5+Flume1.5.2+habse0.98.9 开发工具: Eclipse+SecureCRT+UltraEdit 项目描述: 该系统主要通过分布式hadoop集群处理抓取各大电商网站的数据,建立索引,在前端展示以及商品价格、 性能的比较。项目主要用httpclient抓取网页数据,htmlcleaner对数据解析。将解析后的数据存储到hbase中 以及redis中。用solr对数据建立索引。针对于数据的爬取能力,用flume收集日志,kafka对数据的订阅, storm及时对日志信息处理,处理后的结果存储到mysql中。
查看详情
详单云集群以及实时查询库集群
2015.11 ~ 2016.11
项目职责:1. 详单云集群的维护,整个集群只有avatarhadoop以及hbase组件,版本比较老,其中主要做一些监控脚本 1. 查询库集群的维护,主要维护hadoop、yarn、hbase、hive组件 新集群的一些测试、维护 1. 华为FusionInsight新大数据平台做hbase组件的功能测试以及维护
查看详情
诺诺数据应用
2016.11 ~ 2020.04
项目职责:1. 大数据应用开发,极速开票ETL设计、开发(主要是用hive做数据分析); 极速开票客户端上传发票日志数据到kafka,用flume消费kafka数据写入到hive日表.针对日表定时跑ETL任务,写入到mysql。 1. 发票数据仓库建设以及对外接口开发(主要是用hbase作为发票仓库存储,netty提供对外接口查验功能); 发票仓库是对全公司所有采集到的发票数据归集,整理。经过加工整理的发票数据提供给各个业务线以及图像识别 1. 财税助手 主要使用kafka收集数据,es建立维度查询索引,hbase作为数据源 财税助手项目面向各个企业用户提供财税相关的业务处理,如报税、申税、发票查验、数据统计等;数据来源通过客户端采集,上传到kafka,通过消费kafka的数据,双写hbase以及es。Hbase存储整张发票数据,es建立部分字段索引提供检索。 1. BI项目中各个组件的安装、维护与使用,主要以hive、mysql为数据源、presto作为计算引擎,metabase为应用展示 此项目为满足运营各种不同的需求报表,数据源主要是以极速开票日志数据为主,用开源的metabase做应用报表。 1. 新项目BI系统的开发,其中负责将sql转为elasticsearch的可执行查询语句 在该项目中主要用mosql-translator做二次开发,满足常用的查询,分组,条件,分页。 1. 广告日志系统中,流式计算方式flink对pv、uv以及曝光量的统计 1. 智能编码项目中,将kafka的数据消费,对其中的日志信息进行编码库的校验,及校验后的数据入库到hbase,提供分析 1. 极速开票集群以及大海集群的维护 1. 大海集群使用sparkSQL以及spark根据运营提供的需求统计发票数据各个维度的数据需求。
查看详情
航空大数据平台应用
2021.03 ~ 2021.08
项目职责:2、负责大数据技术选型以及安装部署ambari 3、数据展示大屏后端开发,主要展示卫星对比,值班人员在线值班情况,各部队的兵力对比情况等功能模块。 4、数据源引接到平台,制定数据引接的方式
查看详情
抖擞榜单应用
2021.08 ~ 2021.12
项目职责:1、主要负责ambari集群搭建 2、flink+redis+doris架构实时分析抖音数据榜单
查看详情
财信大数据开发
2021.12 ~ 2022.12
项目职责:2、flink+hbase实时分析开门红各个地域保费的分析 3、flink+hbase实时分析以及落地前端页面埋点数据的分析 4、基于玳数云平台API接口的开发
查看详情

相似职位推荐

我擅长6年PHP开发经验,精通前后端和小程序开发、Python爬虫

1.主导基于Yii框架的小程序电商开发(SaaS系统)、参与过基于ECShop电商的二次开发 2.精通小程序、后端管理系统相关开发,具备全栈开发能力 3.熟悉react系列的产品开发模式,能迅速使用PHP各类开发框架(如Yii、thinkPHP、symfony、laravel等) 4.具备一定的产品规划能力,对项目把控能力较高(曾经多次主导过从0-1的项目开发) 5.思维开阔,善于沟通,能很好地给出技术方案 6.具备克服各种技术困难的能力,总能给出可行的方案
抖音零售/电商互联网/科技其他
全日/半日均可 ¥ 10,000/月

我擅长后端开发,运维,产品技术规划。

1. 能进行产品技术架构规划,服务器运维,云环境部署维护。 2. 后端熟悉go,Python,node,php等语言开发。 3. 能进行小程序和前端react开发,均有上线产品。 4. 待过多家知名公司,参与过几款国民级产品开发。也参与并主导过创业公司从0到1.
¥ 8,000/月