一、环境准备

1. 硬件要求

  • GPU：推荐NVIDIA显卡（如A100/V100/RTX 3090+），显存≥16GB（具体取决于模型规模）

  • CPU：至少16核，内存≥32GB

  • 存储：SSD硬盘，预留50GB+空间（用于模型权重和依赖）

2. 软件依赖

  • 操作系统：Linux（Ubuntu 20.04+ / CentOS 7+）或 Windows WSL2

  • CUDA：11.8 或更高版本

  • Python：3.8+

  • PyTorch：2.0+（需与CUDA版本匹配）

  • 其他库：transformers, accelerate, bitsandbytes（量化支持）

二、本地部署步骤

1. 安装基础工具

# 安装Python环境
sudo apt update && sudo apt install python3 python3-pip
pip3 install virtualenv
virtualenv deepseek-env
source deepseek-env/bin/activate

# 安装PyTorch（以CUDA 11.8为例）
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

2. 安装模型依赖

 

pip3 install transformers>=4.30.0 accelerate>=0.20.0 sentencepiece
# 可选：量化支持
pip3 install bitsandbytes>=0.40.0

3. 获取模型权重

  • 方式1：Hugging Face Hub

    1. 申请模型访问权限（部分模型需官方授权）

    2. 使用huggingface-cli下载：

     

    huggingface-cli login  # 输入Token
huggingface-cli download deepseek-ai/{model_name} --local-dir ./model

  • 方式2：手动下载
    从官方提供的链接下载模型文件（如.bin、.json等），保存至本地目录。

4. 运行推理示例

python

from transformers import AutoTokenizer, AutoModelForCausalLM

model_path = "./model"  # 模型本地路径
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    device_map="auto",
    torch_dtype=torch.float16  # 半精度节省显存
)

input_text = "如何做西红柿炒鸡蛋？"
inputs = tokenizer(input_text, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_length=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

三、Docker部署（生产推荐）

1. 编写Dockerfile

dockerfile

FROM nvidia/cuda:11.8.0-runtime-ubuntu22.04

RUN apt update && apt install -y python3 python3-pip
RUN pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
RUN pip3 install transformers accelerate

WORKDIR /app
COPY model /app/model  # 假设模型已拷贝到本地
COPY app.py /app/      # 自定义API服务脚本

2. 构建镜像并运行

bash

docker build -t deepseek-api .
docker run --gpus all -p 5000:5000 deepseek-api

四、常见问题解决

  1. CUDA内存不足

    • 启用4/8-bit量化：

      python

      复制

      model = AutoModelForCausalLM.from_pretrained(..., load_in_4bit=True)

    • 使用device_map="auto"分散加载到多GPU

  2. 模型权限问题

  3. 推理速度慢

    • 启用Flash Attention：

      python

      model = AutoModelForCausalLM.from_pretrained(..., use_flash_attention_2=True)

五、注意事项

  1. 合规性：遵守模型许可协议，商用需联系官方授权

  2. 安全加固：

    • API部署时启用HTTPS和身份验证

    • 设置输入长度限制防止滥用

  3. 性能监控：使用nvidia-smi或Prometheus监控GPU使用率