模型训练
我们可以在本地或UAI-Train平台上进行模型训练。
数据集准备
如果在本地进行模型训练,则不需要提前准备数据。
如果在UAI-Train平台进行模型训练,则需要提前把数据上传到你准备使用的AutoAI数据存储平台–UFile或者UFS上。
如果在进行平台训练之前,你已经在本地进行了模型训练,则可以在文件夹/data/data中得到cifar10数据集。 如果你没有在本地进行模型训练,可以通过如下命令在本地/data/data得到cifar10数据集:
sudo docker run -it -v /data/data:/data/data uhub.service.ucloud.cn/uai-demo/cifar_cpu_train_simple:latest /bin/bash -c "python /data/data/download.py"
其中download.py存放在本地/data/data文件夹下,download.py的代码如下:
import cifar10 cifar10.maybe_download_and_extract()
如此我们可以在文件夹/data/data中得到cifar10数据集,将该数据集上传到你准备使用的AutoAI数据存储平台–UFile或者UFS上。
上传数据
如果要将数据上传到UFile上,可以通过UFile操作工具进行数据的上传,UFile操作工具的下载参考平台训练
上传命令(这里假设cifar10数据集放置在本地/data/data中,要上传到UFile的 uai-demo bucket的cifar_simple/train/ 中,在你自己实验时请替换uai-demo bucket为你自己的UFIle bucket):
./filemgr-linux64 --action mput --bucket uai-demo --dir /data/data/ --prefix cifar_simple/train/
本地训练
运行如下命令进行模型训练,如果/data/data文件夹中没有cifar数据集,该命令会把cifar10数据集下载到/data/data文件夹中,并将得到的模型文件保存在/data/output中。
sudo docker run -it -v /data/data:/data/data -v data/output:/data/output uhub.service.ucloud.cn/uai-demo/cifar_cpu_train_simple:latest /bin/bash -c "python /data/code/cifar10_train.py"