核心内容摘要
Janus-Pro-7B多模态模型：5个实用场景案例分享
核心版本选择说明本次安装锁定以下版本组合适配 Ubuntu
2
04 x86_64 架构 RTX A6000 显卡VLLM 版本
0.
1
0稳定版对 CUDA
1
0 适配性最优Python 版本
3.
xPyTorch/VLLM 官方完全适配避免
13 的兼容性问题CUDA 版本
1
0系统原生版本向下兼容 cu131 的 PyTorch 包
完整安装步骤分阶段落地阶段 1创建并激活专属虚拟环境 vllm0150通过 Miniconda 创建隔离环境避免系统环境依赖冲突指定 Python
12 版本。
阶段 2配置 CUDA 环境变量让 VLLM 预编译包能精准识别系统 CUDA
1
0避免 “找不到 CUDA” 或版本匹配错误。
阶段 3查找适配的 VLLM 预编译 Wheel 包通过指令确认官方发布的、适配 CUDA
1
0Ubuntu
2
04 的 Wheel 包避免手动拼接 URL 出错。
阶段 4用 pip 安装 VLLM 预编译 Wheel 包选择预编译包形式跳过源码编译直接完成 GPU 版 VLLM 部署。
使用预构建 Wheel 包安装 VLLM 的核心好处优势点具体说明无需编译极速安装跳过源码编译需依赖 CUDA、gcc、rust 等复杂环境
分钟完成安装新手零编译门槛版本精准适配官方预编译包已绑定指定 CUDA 版本如 cu130无需手动配置编译参数避免 “CUDA 版本不匹配” 报错环境兼容性高标注manylinux_2_35的包适配 Ubuntu
2
04 的 glibc
39无系统库兼容问题性能无损耗预编译包采用官方优化编译参数GPU 推理性能与源码编译版一致依赖自动匹配Wheel 包内置依赖清单pip 可自动校验 PyTorch 等依赖版本减少手动适配成本
查找适配的 VLLM Wheel 包指令化查询通过 GitHub API 精准获取 VLLM
0.
1
0 版本下适配 CUDA
1
0x86_64 架构的 Wheel 包curl -s https://api.github.com/repos/vllm-project/vllm/releases/tags/v
0.
1
0 | jq -r .assets[] | select(.name | contains(cu
and contains(x86_
) | .browser_download_url执行后会输出适配的 Wheel 包 URLhttps://github.com/vllm-project/vllm/releases/download/v
0.
1
0/vllm-
0.
1
0cu130-cp38-abi3-manylinux_2_35_x86_
whl即本次安装的目标包。
核心安装指令全解析指令pip install https://github.com/vllm-project/vllm/releases/download/v
0.
1
0/vllm-
0.
1
0cu130-cp38-abi3-manylinux_2_35_x86_
whl --extra-index-url https://download.pytorch.org/whl/cu130指令片段核心作用适配你的环境的补充说明pip installPython 官方包安装命令负责下载、校验、安装指定的 Wheel 包处理依赖关系完整 Wheel 包 URL指定要安装的 VLLM 预编译包关键标识解读-v
0.
1
0VLLM 版本锁定
0.
1
0-cu130绑定 CUDA
1
0仅支持 GPU 运行-cp38-abi3兼容 Python
8含你的 Python
12-manylinux_2_35_x86_64适配 Ubuntu
2
04 的 glibc
39x86_64 架构--extra-index-url https://download.pytorch.org/whl/cu130补充 PyTorch 包索引源pip 默认从官方 PyPI 源找包而 PyTorch 的 CUDA 版本包不在默认源中该参数表示若 VLLM 依赖的 PyTorch 未安装pip 会从 PyTorch 官方 cu130 源查找避免安装 CPU 版 PyTorch
安装过程关键
注意事项禁用 uv优先用 pipuv 对 PyTorch 的 CUDA 专属源解析逻辑兼容差易出现 “依赖解析卡住” 或 “找不到包”pip 是最稳定的选择。
Wheel 包系统版本匹配必须选择manylinux_2_35版本而非2_31否则适配 Ubuntu
2
04 的 glibc
39 会报错。
环境变量仅临时生效若需永久生效 CUDA 环境变量需将配置写入~/.bashrc文件。
验证步骤不可少安装后需检查 GPU 是否可用避免 “装了包但无法调用 GPU”。
可直接复制的指令每条一个框
更新系统基础工具sudo apt update -y sudo apt install -y curl unzip git
创建并激活虚拟环境 vllm0150conda create -n vllm0150 python
12 -y conda activate vllm
配置 CUDA
1
0 环境变量永久生效把 CUDA
1
0 的环境变量配置永久写入/.bashrc 文件让每次打开终端或激活虚拟环境时自动加载无需手动执行export命令以下是详细、新手友好的操作步骤适配 Ubuntu
2
04 系统步骤 1打开/.bashrc 文件新手推荐用 nano 编辑器nano 是可视化编辑器操作简单无需记忆复杂快捷键执行以下命令nano ~/.bashrc执行后会进入 nano 编辑界面界面底部会显示操作快捷键如^O 保存^X 退出。
步骤 2在文件末尾添加 CUDA
1
0 环境变量将光标移到文件最后一行可按End键或直接向下翻粘贴以下内容与临时配置的环境变量一致# 配置CUDA
1
0环境变量永久生效 export CUDA_HOME/usr/local/cuda-
1
0 export PATH$CUDA_HOME/bin:$PATH export LD_LIBRARY_PATH$CUDA_HOME/lib64:$LD_LIBRARY_PATH✅ 关键检查确认/usr/local/cuda-
1
0路径存在执行ls /usr/local/cuda-
1
0有输出则路径正确若显示cuda是软链接也可写export CUDA_HOME/usr/local/cuda。
步骤 3保存并退出 nano 编辑器按键盘Ctrl O即^Onano 会提示 “Save modified buffer?”直接按Enter确认保存按键盘Ctrl X即^X退出 nano 编辑器。
步骤 4让配置立即生效无需重启终端执行以下命令强制加载修改后的/.bashrc 文件source ~/.bashrc✅ 替代方案若不想执行source直接关闭当前终端重新打开一个终端即可系统会自动加载新配置。
步骤 5验证配置是否永久生效先关闭当前终端重新打开一个新终端执行以下命令检查环境变量# 检查CUDA_HOME echo $CUDA_HOME # 检查PATH中是否包含CUDA bin目录 echo $PATH | grep cuda-
1
0 # 检查LD_LIBRARY_PATH echo $LD_LIBRARY_PATH | grep cuda-
1
0若输出包含/usr/local/cuda-
1
0相关路径说明配置已永久生效。
升级 pippip install --upgrade pip setuptools wheel
查找适配的 VLLM Wheel 包curl -s https://api.github.com/repos/vllm-project/vllm/releases/tags/v
0.
1
0 | jq -r .assets[] | select(.name | contains(cu
and contains(x86_
) | .browser_download_url
安装 VLLM
0.
1
0 GPU 版pip install https://github.com/vllm-project/vllm/releases/download/v
0.
1
0/vllm-
0.
1