人工智能大模型低代码计算机视觉深度学习模型推理服务【免费下载链接】PaddleXAll-in-One Development Tool based on PaddlePaddle项目地址https://gitcode.com/gh_mirrors/pa/PaddleX点击查看免费下载本篇技术指南面向需要在海光HygonDCU 平台上运行 PaddleX 的开发者系统讲解如何在 Docker 环境中拉取飞桨官方 DCU 开发镜像、启动容器、安装paddlepaddle-dcu框架包并完成安装验证同时结合 PaddleX 源码说明 DCU 设备在框架层是如何被识别与适配的。读完本文你将掌握在 Hygon Z100 系列芯片上从零搭建 PaddleX 推理/训练环境的完整流程以及如何在 CLI 与 Python 脚本中通过devicedcu:0指定 DCU 设备运行模型产线。1. 背景PaddleX 对海光 DCU 的支持范围PaddleX 是基于 PaddlePaddle 的全流程低代码开发工具目前已支持多种 AI 计算设备包括 Intel/Apple M 系列 CPU、NVIDIA GPU、昆仑 XPU、昇腾 NPU、寒武纪 MLU、海光 DCU 等详见 多硬件使用指南。在 DCU 这一侧官方文档明确当前 PaddleX 支持海光 Z100 系列芯片。考虑到不同机器硬件环境与软件栈的差异官方强烈推荐直接使用飞桨官方发布的海光 DCU 开发镜像——该镜像已预装海光 DCU 基础运行环境库DTK, Deep Computing Toolkit可避免手动安装驱动与基础运行库带来的兼容性问题。需要注意的是该开发镜像仅面向开发环境镜像内并不包含预编译的 PaddlePaddle 安装包因此飞桨框架本体仍需要开发者自行下载安装见第 3 节。2. Docker 环境准备2.1 拉取开发镜像执行如下命令拉取飞桨官方 DCU 开发镜像docker pull ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddle-dcu:dtk24.04.1-kylinv10-gcc82镜像标签dtk24.04.1-kylinv10-gcc82的含义是基于 DTK 24.04.1 版本、麒麟 V10 操作系统、GCC 8.2 编译环境构建。请根据镜像仓库中实际发布的标签选择合适的版本。2.2 启动容器拉取完成后参考如下命令启动容器官方给出的参考命令可直接复制使用docker run -it --name paddle-dcu-dev -v $(pwd):/work \ -w/work --shm-size128G --networkhost --privileged \ --device/dev/kfd --device/dev/dri --ipchost --group-add video \ -u root --ulimit stack-1:-1 --ulimit memlock-1:-1 -v /opt/hyhal:/opt/hyhal \ --cap-addSYS_PTRACE --security-opt seccompunconfined \ ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddle-dcu:dtk24.04.1-kylinv10-gcc82 /bin/bash下面对这条命令中的关键参数逐一说明便于按实际环境调整参数作用--name paddle-dcu-dev为容器命名便于后续docker exec进入与docker stop/start管理-v $(pwd):/work将当前工作目录挂载到容器内/work方便共享数据集与代码-w/work设置容器内工作目录为/work--shm-size128G增大共享内存/dev/shm满足深度学习训练/推理对共享内存的需求--networkhost使用宿主机网络便于本地服务访问与分布式通信--privileged授予容器特权模式DCU 设备访问通常需要--device/dev/kfd --device/dev/dri将 AMD ROCm 体系下的计算设备节点映射进容器DCU 基于 ROCm 生态/dev/kfd为内核驱动设备/dev/dri为渲染/计算设备--ipchost与宿主机共享进程间通信命名空间--group-add video将容器进程加入video组获得显卡设备访问权限-u root以 root 用户运行避免容器内权限不足--ulimit stack-1:-1 --ulimit memlock-1:-1放开栈大小与内存锁限制防止训练/推理时因 ulimit 触发异常-v /opt/hyhal:/opt/hyhal挂载海光 DCU 主机端 HALHardware Abstraction Layer运行库目录--cap-addSYS_PTRACE --security-opt seccompunconfined放宽容器安全策略避免设备相关进程调试与运行被 seccomp 拦截提示如果宿主机环境与官方镜像不完全一致例如 DTK 版本不同、/opt/hyhal路径不同请以实际安装的 DCU 驱动与 DTK 环境为准调整上述挂载参数。3. 安装 PaddlePaddleDCU 版3.1 安装 wheel 包在启动的 Docker 容器内通过 pip 从飞桨官方 DCU 软件源安装框架包# 下载并安装 wheel 包 pip install paddlepaddle-dcu3.1.0 -i https://www.paddlepaddle.org.cn/packages/stable/dcu/关键点说明使用飞桨官方 DCU 专用索引源https://www.paddlepaddle.org.cn/packages/stable/dcu/该源中发布的是针对海光 DCU 编译的paddlepaddle-dcu包架构限制飞桨框架 DCU 版仅支持海光C86 架构Hygon C86 处理器指令集请在确认 CPU 架构为 C86 的机器上使用版本号3.1.0为文档编写时官方推荐的稳定版本可结合实际发布情况选择更新的版本。3.2 验证安装安装完成后运行如下命令验证框架是否可用python -c import paddle; paddle.utils.run_check()预期输出如下PaddlePaddle is installed successfully! Lets start deep learning with PaddlePaddle now.出现该提示即表示飞桨框架已正确识别 DCU 设备并完成自检。若输出报错请优先检查容器内是否能看到/dev/kfd、/dev/dri设备节点以及 DTK 基础运行库是否正常加载。4. 安装 PaddleX 并指定 DCU 设备运行飞桨安装成功后即可安装 PaddleX。PaddleX 提供两种安装模式详见 PaddleX 多硬件使用指南Wheel 包安装适用于“模型推理与集成”场景安装后可直接基于 PaddleX 支持的所有模型进行推理并集成进项目插件安装适用于“二次开发”场景在推理之外还能进行模型训练等高级操作通过paddlex --install PaddleXXX安装所需插件如 PaddleOCR、PaddleClas、PaddleDetection 等。安装完成后PaddleX 在 DCU 上的使用方式与 GPU 完全一致只需将设备配置参数改为dcu。以通用 OCR 产线为例命令行方式paddlex --pipeline OCR --input general_ocr_002.png --device dcu:0Python 脚本方式from paddlex import create_pipeline pipeline create_pipeline(pipelineOCR, devicedcu:0) output pipeline.predict(general_ocr_002.png) for res in output: res.print() res.save_to_img(./output/)若需要对预训练模型进行微调以 PP-OCRv4 移动端文本检测模型为例在main.py中同样通过Global.device指定 DCU# train python main.py -c paddlex/configs/text_detection/PP-OCRv4_mobile_det.yaml \ -o Global.modetrain \ -o Global.dataset_dir./dataset/ocr_det_dataset_examples \ -o Global.devicedcu:0,1,2,3 # predict python main.py -c paddlex/configs/text_detection/PP-OCRv4_mobile_det.yaml \ -o Global.modepredict \ -o Predict.model_dir./output/best_accuracy/inference \ -o Predict.inputgeneral_ocr_001.png \ -o Global.devicedcu5. 源码视角PaddleX 如何识别与适配 DCU 设备PaddleX 对 DCU 的支持并非“硬编码”在单一位置而是由设备类型注册、模型白名单、环境变量设置、推理引擎设备列表四部分共同构成相关实现均可在仓库源码中核实。5.1 设备类型注册在 paddlex/utils/device.py 中SUPPORTED_DEVICE_TYPE明确列出了dcu这一设备类型SUPPORTED_DEVICE_TYPE [ cpu, gpu, xpu, npu, mlu, gcu, dcu, iluvatar_gpu, metax_gpu, ]同时parse_device()负责解析device参数如dcu:0,1,2,3将其拆分为设备类型与设备 ID 列表并校验 ID 必须为整数这是--device dcu:0、devicedcu:0等写法的底层解析逻辑。5.2 DCU 模型白名单不同 AI 计算设备支持的模型列表不同PaddleX 内部基于白名单判断某模型是否能在指定硬件上运行。在 paddlex/utils/custom_device_list.py 中DCU_WHITELIST列出了 DCU 当前支持的模型覆盖图像分类ResNet 系列、PP-LCNet、PP-HGNetV2 系列、目标检测PP-YOLOE_plus、RT-DETR-R18、PicoDet 系列、语义分割Deeplabv3_Plus、PP-LiteSeg-T、OCRPP-OCRv4_server_det/rec、PP-OCRv4_mobile_det、时序预测DLinear、RLinear、NLinear、版面分析PP-DocLayoutV2等模型。在 device.py 的check_supported_device_type()中当设备类型为dcu时会断言模型名是否在白名单内否则报错并提示if device_type dcu: assert model_name in DCU_WHITELIST, ( fThe DCU device does not yet support {model_name} model! tips )如需查看 DCU 上各模型的精度与存储占用可参考 PaddleX 模型列表海光 DCU。5.3 DCU 专属环境变量在 device.py 的set_env_for_device_type()中PaddleX 会根据设备类型设置相应的运行时环境变量。对 DCU 而言当检测到飞桨以 ROCm 方式编译paddle.is_compiled_with_rocm()为真时会设置卷积工作区大小限制if device_type.lower() dcu and paddle.is_compiled_with_rocm(): envs {FLAGS_conv_workspace_size_limit: 2000} _set(envs)从源码结构看FLAGS_conv_workspace_size_limit用于控制卷积算子 workspace 的申请上限单位 MB设置合理的上限可以在显存受限场景下避免过大的 workspace 预留。5.4 推理引擎设备支持列表PaddleX 的 Paddle 静态图推理路径由paddle_static引擎实现在 paddlex/inference/models/runners/paddle_static/config/pp_option.py 中SUPPORT_DEVICE元组同样包含dcuSUPPORT_DEVICE ( gpu, cpu, npu, xpu, mlu, dcu, gcu, iluvatar_gpu, metax_gpu, )创建 Predictor 时PaddleX 会依据该列表校验设备是否受支持并按设备信息选择目标设备与配置推理 pass。6. 注意事项与常见问题架构限制飞桨 DCU 版仅支持海光 C86 架构使用前请确认宿主机 CPU 架构镜像不含框架官方 DCU 开发镜像仅提供开发环境含 DTK飞桨框架需按第 3 节自行安装设备映射容器必须正确映射/dev/kfd、/dev/dri并加入video组否则容器内无法访问 DCU 设备run_check()会失败设备名书写在 PaddleX 的 CLI 参数--device、Python APIcreate_pipeline(device...)与训练配置Global.device中DCU 统一写作dcu单卡可省略 ID多卡写作dcu:0,1,2,3模型可用性DCU 仅支持白名单内的模型见 paddlex/utils/custom_device_list.py 中DCU_WHITELIST白名单之外的模型会提示“DCU device does not yet support”可通过设置环境变量PADDLE_PDX_DISABLE_DEV_MODEL_WLtrue跳过该校验不推荐用于正式环境。7. 延伸阅读中文版安装教程海光 DCU 飞桨安装教程多硬件NPU/MLU/XPU/DCU/GCU统一使用指南PaddleX Multi-Devices Usage GuideDCU 支持模型与精度清单PaddleX Model List (Hygon DCU)设备适配与贡献指引How to Contribute Device赞分享人工智能大模型低代码计算机视觉深度学习模型推理服务【免费下载链接】PaddleXAll-in-One Development Tool based on PaddlePaddle项目地址https://gitcode.com/gh_mirrors/pa/PaddleX点击查看免费下载相关推荐PaddleX 海光 DCU 环境搭建指南飞桨 DCU 版安装与 PaddleX 使用实践PaddleX 海光 DCU 环境搭建指南飞桨 DCU 版安装与 PaddleX 使用实践 导读 本文是 PaddleX 在海光 DCUDeep Compu人工智能大模型低代码计算机视觉深度学习模型推理服务PaddleX 海光 DCU 环境搭建与模型部署全指南飞桨安装、验证与多卡推理实战PaddleX 海光 DCU 环境搭建与模型部署全指南飞桨安装、验证与多卡推理实战 本篇技术指南围绕 PaddleX 在海光HygonDCU 加速卡上的完人工智能大模型低代码计算机视觉深度学习NLP模型推理服务RAG微调语音PaddleX 昇腾 NPU910B环境搭建与飞桨安装实战教程PaddleX 昇腾 NPU910B环境搭建与飞桨安装实战教程 本篇技术指南面向需要在昇腾 910B 芯片上运行 PaddleX 的开发者完整讲解从 Do人工智能大模型低代码计算机视觉深度学习模型推理服务上一篇如何优化Qwen2.5-14B-Instruct-GPTQ-Int8内存占用3种部署策略对比下一篇Qucs-S衰减器设计指南5种常见衰减器类型的设计与应用创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考