2023.03.23 加入,已入驻 444 天。
2023.03.23 加入,已入驻 444 天。
项目职责:公司规模: 2000+(车联网) 职位: 架构师 职责: 平台架构,项目设计研发 团队: 11人 项目: 入侵检测系统 通过车机端、app端及云端的数据上报,实时大屏展示安全业务应用及攻击效果,可视化安全业务报表 项目: 平台架构开发维护 集群管理及维护: 集群搭建、维护,监控报警,配置调优等 离线数仓体系建设: 数据接入kafka、spark、sqoop,主题建模hive,指标计算kylin,hbase,报表展示superset 实时指标计算: 数据接入kafka、spark,数据存储redis、hbase、数据服务springboot cos存储桶: 应对pb级数据量存储,把大数据量的数据迁移至cos服务上 存储架构更新: 老的服务器使用的是公有云网盘,成本高、IO低、IO密集占用网络带宽;替换成大数据机型的网络磁盘,成本降低60%以上,IO效率提升6倍以上 软件架构更新: 1、单点问题,老的平台yarn、hdfs、hbase均存在单点故障,开启HA模式,保证高可用性; 2、部分节点单独部署hbase,造成内存和磁盘的空间浪费,改为同时部署hdfs和yarn,数据本地化的同时提高资源利用率; 3、监控及管理界面单独部署、老平台管理界面及监控都在一个单节点上,如NN,RM,cm及监控,hue等都在一个节点上,把NN和RM单独拆分出来,以免数据量越来越大NN负载太多,造成集群服务不可用