摘要:相比于传统的软件开发 , AI开发存在以下4个痛点:算法繁多;训练时间长;算力需求大;模型需手动管理 , 我们可以使用云上AI开发的方式来缓解以上4个痛点 。本文分享自华为云社区《git clone开启云上AI开发》 , 作者:ModelArts开发者 。
已发布地址:https://developer.huaweicloud.com/develop/aigallery/article/detail?id=17052711-f3f5-4b53-bdbc-5d5c7cdc64fa
一、为什么需要云上AI开发?相比于传统的软件开发 , AI开发存在以下4个痛点:
1)算法繁多;
2)训练时间长;
3)算力需求大;
4)模型需手动管理
我们可以使用云上AI开发的方式来缓解以上4个痛点 , 云上AI开发的优势:
- 任意地点接入 , 在线开发;
- 云上环境预置多种主流深度学习框架 , 开“箱“即用;
- 云端充足算力、TB级数据存储 , 支持重型训练任务;
- 云端平台具备训练任务版本化管理 , AI开发更可靠、可高效;
文章插图
三、具体操作步骤步骤一 Notebook调试1.准备Python环境
进入ModelArts控制管理台 , 点击【开发环境】–> 【Notebook】 , 进入notebook列表页面 , 点击页面左上角“创建”按钮 , 新建一个notebook , 填写参数 , 下图所示:
文章插图
文章插图
点击“立即创建” , 确认产品规格后 , 点击提交 , 完成Notebook的创建 。
返回Notebook列表页面 , 等待新创建Notebook状态变为“运行中”后 , 点击名称进入Notebook 。
进入Notebook页面后 , 打开terminal , 如下图所示:
文章插图
输入如下命令 , 查看已安装Python环境信息
conda info -e点此链接GitHub - IDEA-Research/DINO , 下面将以此开源算法为例 , 演示如何在华为云Notebook上快速运行,算法详细介绍请参考 README.md 。
1)在terminal里继续输入如下命令 , 克隆仓库
git clone https://github.com/IDEACVR/DINOcd DINO
文章插图
如上图所示 , 表示已完成代码克隆 , 点击左侧任务栏顶部刷新按钮 , 即可查看代码 。
2)查看Pytorch版本
pip list | grep torch3)安装其他需要的包
pip install -r requirements.txt4)编译CUDA算子
【git clone开启云上AI开发】cd models/dino/opspython setup.py build install# unit test (should see all checking is True)python test.pycd ../../..# 回到代码主目录
文章插图
2.准备数据和预训练参数文件
1)进入控制台 , 将光标移动至左边栏 , 弹出菜单中选择“服务列表”->“存储”->“对象存储服务OBS” , 如下图所示:
文章插图
点击“创建桶”按钮进入创建界面 。
文章插图
经验总结扩展阅读
- 二 『现学现忘』Git基础 — 37、标签tag
- 重生细胞银行怎么开启
- 一 『现学现忘』Git基础 — 36、标签tag
- 『现学现忘』Git基础 — 35、Git中删除文件
- 含开启测试模式失败的解决办法 Windows开启关闭测试模式的方法
- 一篇文章带你了解热门版本控制系统——Git
- 华为荣耀50怎么设置红包提醒功能(华为怎么开启红包提醒)
- 『现学现忘』Git后悔药 — 34、git commit --amend 命令
- DNF勋章怎么获得怎么开启勋章(dnf勋章系统怎么玩)
- 原神3.1北斗武器推荐