windows中安装虚拟机跑AI大模型

安装官方原生虚拟平台

wsl --install

安装完成后重启电脑，设置虚拟机账号密码

账号：xxxx
密码：xxxx

更新系统并配置国内镜像源

# 替换 Ubuntu 官方源为阿里云源
sudo sed -i 's/http:\/\/archive.ubuntu.com/https:\/\/mirrors.aliyun.com/g' /etc/apt/sources.list
sudo sed -i 's/http:\/\/security.ubuntu.com/https:\/\/mirrors.aliyun.com/g' /etc/apt/sources.list

# 更新系统软件列表
sudo apt update && sudo apt upgrade -y

第二步：安装基础开发工具与 Python 环境

# 安装 pip、python3-venv 等基础工具
sudo apt install -y python3-pip python3-venv build-essential git

第三步：创建并激活 Python 虚拟环境

# 在用户目录下创建一个名为 vllm-env 的虚拟环境
python3 -m venv ~/vllm-env

# 激活虚拟环境（激活后，命令行前面会出现 (vllm-env) 提示）
source ~/vllm-env/bin/activate

# 升级 pip 到最新版本
pip install --upgrade pip

第四步：配置 pip 国内镜像并安装 vLLM

# 配置 pip 使用阿里云镜像
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/

# 安装 vLLM（推荐使用 uv 安装，速度更快，如果没有 uv 也可以直接用 pip install vllm）
pip install uv
uv pip install vllm

第五步：下载大模型文件

# 安装魔搭社区命令行工具
pip install modelscope

# 创建存放模型的目录（建议放在 /mnt/d/ 等 Windows 盘符下，方便管理且不易撑爆 C 盘）
mkdir -p /mnt/d/LLM_Models

# 下载 Qwen2.5-7B-Instruct 模型到 D 盘
modelscope download --model qwen/Qwen2.5-7B-Instruct --local_dir /mnt/d/LLM_Models/Qwen2.5-7B

modelscope download --model Qwen/Qwen3.6-35B-A3B-FP8 --local_dir /ai-models/qwen3-35b-fp8

第六步：启动 vLLM 推理服务

python -m vllm.entrypoints.openai.api_server \
    --model /mnt/d/LLM_Models/Qwen2.5-7B \
    --served-model-name qwen2.5-7b \
    --host 0.0.0.0 \
    --port 8000 \
    --gpu-memory-utilization 0.85 \
    --dtype float16 \
    --max-model-len 8192

第七步：验证服务是否成功

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "qwen2.5-7b",
        "messages": [
            {"role": "user", "content": "你好，请简单介绍一下你自己"}
        ]
    }'

当终端打印出 Uvicorn running on http://0.0.0.0:8000 时，说明服务已经启动