甜薪工场甜薪工场
甜薪工场
工作者接单雇主招人
查看供给方

公司内部数据计算Kubeflow平台2021.06 ~ 2021.09

项目职责:1、公司内部数据计算Kubeflow平台,主要做ML模型训练和运行jupyternotebook。项目利用terraform管理基础设施建设,实现gitops原理,服务构建在gcp云上,利用弹性扩容技术充分发挥服务的伸缩性实现流程:1.1使用terraform+packer作为实现基础Linux应用镜像的构建1.2编写terraform+ansible实现服务器应用的部署、启动、定时备份和还原1.3使用bigquery+Rfluent服务实现日志采集分析,并用terraform构建alerting实现邮件告警通知1.4全过程使用jenkinspipeline+gitlabwebhook实现CICD自动构建1.5使用terraform构建GPU服务器,并自动安装对应版本的cuda+cudnn

其他项目

公司内部IKP平台
2021.09 ~ 2022.03
项目职责:2、公司内部IKP平台采用docker+kubernetes作为测试、生产环境架构,主要是实现pyspark、tensorflow模型和airflow容器化,实现模型应用的高可用和自愈功能实现流程:2.1、编写Dockerfile构建pyspark、jupyterhub、pytorch应用镜像(基础镜像->公共库镜像->应用镜像),并定时清理过期镜像2.2、使用二进制方式部署kubernetes集群2.3、部署和维护Harbor私有容器仓库2.4、编写kubernetes的efk、traefik、prometheus、dashboard、storageclass等yaml实现功能2.5、实现jenkinskubernetes项目CICD流程2.6、kubernetes测试、生产环境应用部署、测试、上线
查看详情
ModelRiskAnalysisTool
2022.03 ~ 2022.06
项目职责:使用terraform构建谷歌云的计算资源,负责均衡和存储,同时负责ELK系统的脚本编写与资源创建,使客户从nas同步数据到bigquery,最后使用只能BI生成报表和分析,同时也负责ML环境搭建与数据备份,确保用户训练和使用的数据在机器过期重建时保持最新,使用python原生库编写代码,IMR工具接入ldap和saml校验从而判断用户权限,并编写自动化测试接口生成python代码扫描报告,提供给开发人员参考。
查看详情

相关职位

我擅长全栈工程师

全栈工程师
全日/半日均可 ¥ 6,525/月