文章
3111
标签
111
分类
73
首页
时间轴
标签
分类
关于
友链
Estom的博客
02 Notebook
返回首页
搜索
首页
时间轴
标签
分类
关于
友链
02 Notebook
发表于
2024-05-13
|
更新于
2024-05-13
|
人工智能
|
总字数:
42
|
阅读时长:
1分钟
|
浏览量:
kubeflow 简介
是什么
Kubeflow 项目致力于使 Kubernetes 上的机器学习 (ML) 工作流程部署变得简单、可移植且可扩展。
组件架构
文章作者:
Estom
文章链接:
https://estom.github.com/2024/05/12/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD/kubeflow/02%20Notebook/
版权声明:
本博客所有文章除特别声明外,均采用
CC BY-NC-SA 4.0
许可协议。转载请注明来源
Estom的博客
!
上一篇
03 Pipelines原理
****## Kubeflow Pipelines 1 PipeLines介绍安装教程https://cloud.tencent.com/developer/article/1674948 使用教程https://juejin.cn/post/6844904195301064712 详细说明 https://blog.csdn.net/qq_45808700/article/details/132188234 1.1 Kubeflow Pipelines介绍kubeflow/kubeflow 是一个胶水项目,pipelines 是基于 kubeflow 实现的工作流系统,它的目标是借助 kubeflow 的底层支持,实现出一套工作流,支持数据准备,模型训练,模型部署,可以通过代码提交等等方式触发 Kubeflow 是一个基于云原生的Machine Learning Platform,它把诸多对机器学习的支持,比如模型训练,超参数训练,模型部署等等结合在了一起,部署了 kubeflow 用户就可以利用它进行不同的机器学习任务,旨于快速在kubernetes环境中构建一套开...
下一篇
01 kubeflow
MLOps机器学习开发迭代3. 数据收集 a. 大数据量下的文件存储与读取 —— HDFS,NFS 等分布式文件存储系统; b. 非结构化数据 —— S3 等对象存储; c. 向量数据存储 —— milvus 等向量数据库; d. 数据的持续采集与入库 —— Kafka,RabbitMQ 等流式处理工具 ;4. 数据预处理 a. 清洗、格式化、规范化、脱敏 —— Python Pandas; b. 人工标记; c. 特征工程,“数据和特征决定了模型的上限,算法只是在帮忙逼近这个上限”5. 框架选择 a. 训练框架:PyTorch,TensorFlow,PaddlePaddle,……;6. 模型训练 a. 代码开发 —— Python IDE,Notebook; ⅰ. 开发阶段会采集小量的数据,经过小次数的迭代,用于正确性验证, Notebook 可以辅助验证; b. 训练 ⅰ. 本地/单节点/单机单卡/单机多卡/多机多卡 —— GPU 管理与调度 ⅱ. 任务调度/故障转移/check...
Estom
也许那年在绿色的麦浪中奔跑的时候,就注定了我此生的繁华与悲叹
文章
3111
标签
111
分类
73
关注
公告
欢迎参观Estom的小屋
目录
1.
kubeflow 简介
1.1.
是什么
1.2.
组件架构
最新文章
自引用泛型概述
2025-12-21
06 JUC并发容器
2025-12-18
02 集合底层结构
2025-12-18
30 问题排查和性能优化指南
2025-09-14
面试说明
2025-09-03
搜索
数据加载中