华为云 ModelArts 训练任务反复报错 ImportError 的避坑指南

在华为云 ModelArts 上跑机器学习任务的朋友，大概率都经历过这种崩溃时刻：在 Notebook 实例里调试代码一切正常，结果一旦提交到 Training Job 训练集群，日志里就刷屏 ImportError 或者 CUDA 版本不匹配。很多人习惯在 Notebook 的 Cell 里直接 !pip install，但这种做法在分布式训练环境下几乎是失效的，因为 Notebook 实例和训练集群的镜像环境根本不是一套。

我之前在部署一个深度学习工作流时就踩了这个坑。当时我在 Notebook 里装好了所有依赖，运行测试脚本没问题，但提交任务后，程序在加载自定义模块时直接卡死，报错提示找不到某个特定的第三方库。排查了半天才意识到，Notebook 环境是持久化的，而训练任务启动时会加载镜像，如果你没有把依赖固化到镜像里，每次启动任务都是一个“干净”的环境，之前的安装记录全部丢失。

要彻底解决环境隔离失效的问题，最稳妥的路径是放弃在 Notebook 里手动安装，直接走自定义镜像的流程。

首先是构建自定义镜像。这里有一个关键细节：基础镜像的版本必须与华为云提供的驱动版本严格对齐，否则即便安装成功，在调用 GPU 时也会因为 CUDA 版本冲突而报错。建议在 Dockerfile 中明确指定基础镜像，例如使用 swordfish-ubuntu18.04-cuda11.1-cudnn8-pytorch1.7-gpu 这种带有明确版本号的镜像。

一个标准的 Dockerfile 构建逻辑应该是这样的：
首先声明基础镜像，然后通过清华源等国内镜像站加速安装基础库（如 pandas, scikit-learn, xgboost），最后将 requirements.txt 拷贝进容器并执行安装。这样构建出来的镜像才是可移植的。

构建完成后，需要将镜像推送到 SWR（软件仓库）。在 ModelArts 创建训练任务的配置页面，不要选择默认的公共镜像，而是在“镜像”选项中切换到“自定义镜像”，然后直接填入 SWR 的完整镜像地址。只有这样，训练集群在拉起 Pod 时才会加载你预装好依赖的那个环境，从而保证开发环境与运行环境的绝对一致。

为了确保万无一失，我建议在启动脚本（entrypoint script）的最前面加上一段环境验证代码。通过 import sys 和 import torch 打印出当前的 Python 版本以及 torch.cuda.is_available() 的布尔值。如果输出结果与预期不符，你可以立即通过日志定位是镜像拉取失败还是驱动映射出了问题，而不需要在几千行训练日志里苦苦寻找那个报错点。

总结来说，在 ModelArts 上做大规模训练时，要把“镜像管理”放在“代码编写”之前。通过 SWR 托管自定义镜像，不仅能解决 ImportError 这种低级错误，还能在以后扩容分布式训练时，确保每个计算节点的环境完全同步，避免因为某个节点依赖缺失导致整个集群任务崩溃。