# Centos 7 Deploy QwQ-32b gte-Qwen2-7B-instruct-Q5_K_M-GGUF-8k RapidOCR in Dify
# 在 CentOS 7 上部署 RapidOCR，需要确保以下组件及其版本的兼容性
其他依赖项及其版本：
-
pyclipper：≥ 1.2.0博客园 + 7source.kongzhi.net+7geek.csdn.net+7
-
opencv_python：≥ 4.5.1.48
-
numpy：≥ 1.19.5，< 3.0.0
-
six：≥ 1.15.0
-
Shapely：≥ 1.7.1，!= 2.0.4（
Shapely2.0.4 在 Python 3.12 下存在已知问题） -
PyYAML：最新稳定版
-
Pillow：最新稳定版GitHub
-
onnxruntime：≥ 1.7.0GitHub
-
tqdm：最新稳定版
-
omegaconf：最新稳定版
-
CMake（用于编译 C++ 库，特别是 OpenCV）
-
GCC/G++（用于编译和构建 Python 包）
-
Python 3.x（推荐 3.8 或 3.9）
-
pip（更新至最新版本）
| 类别 | 配置 / 依赖项 | 说明 |
|---|---|---|
| 操作系统 | CentOS 7 (建议 minimal 安装) | 需安装 EPEL |
| 内核版本 | uname -r 输出的版本应兼容 CUDA | 可使用 3.10.0-1160.el7.x86_64 |
| GPU | NVIDIA GPU（如 Tesla P100 / A100 / RTX 3090） | 需要支持 CUDA |
| CUDA 版本 | CUDA 11.8 / CUDA 12.1 | 需与 PyTorch / TensorRT 兼容 |
| NVIDIA 驱动 | 515+ 适用于 CUDA 11.8 / 525+ 适用于 CUDA 12.1 | nvidia-smi 检查 |
| Python 版本 | Python 3.8+（推荐 3.10） | 确保兼容 Qwen2、RapidOCR 和 Dify |
| Conda 环境 | conda create -n ai_env python=3.10 | 统一环境管理 |
| 编译工具 | gcc >= 7.3.0 (建议 devtoolset-7 或更高) | 兼容新库编译 |
| PyTorch 版本 | pip install torch torchvision torchaudio --index-url 官方 PyTorch 下载地址 | 适配 CUDA 11.8 |
| GGUF 推理 | pip install ctransformers | 适用于 Qwen2 GGUF |
| ONNX Runtime | pip install onnxruntime-gpu==1.15.1 | 适配 RapidOCR |
| OCR 相关依赖 | pip install rapidocr-pyonnx modelscope requests | RapidOCR 运行 |
| Dify 相关依赖 | pip install docker-compose | Dify 运行需要 |
| 前端依赖 | Node.js 16+ / npm 8+ | Dify 需要 |
| 数据库 | PostgreSQL 14+ / MySQL 8+ / Redis 6+ | Dify 需要 |
| 环境变量 | export CUDA_HOME=/usr/local/cuda | 需正确配置 |
| 端口需求 | Dify（默认 5001）、RapidOCR（自定义端口） | 需开放防火墙 |
| 组件 | 推荐版本 | 说明 |
|---|---|---|
| 操作系统 | CentOS 7 | 确保系统已更新至最新可用版本。 |
| Python | 3.8 或 3.9 | 可通过源代码编译安装，或使用第三方仓库获取。 |
| CUDA Toolkit | 11.2 或 11.3 | 与大多数深度学习框架兼容，需与 GPU 驱动匹配。 |
| NVIDIA 驱动程序 | 460.x 或更高 | 与所选 CUDA 版本兼容，建议使用最新稳定版本。 |
| cuDNN | 8.x | 与所选 CUDA 版本兼容，建议使用与 CUDA 版本匹配的 cuDNN 版本。 |
| PyTorch | 1.10+ | 与上述 CUDA 和 cuDNN 版本兼容。 |
| TensorFlow | 2.7+ | 与上述 CUDA 和 cuDNN 版本兼容。 |
| 其他依赖项 | 见下方详细列表 | 包括 pyclipper、opencv_python、numpy 等。 |
# 安装及部署步骤
# 1. 配置 CUDA & 驱动
yum install -y epel-release yum install -y gcc gcc-c++ make cmake kernel-devel-$(uname -r) bash NVIDIA-Linux-x86_64-*.run # 安装 NVIDIA 驱动 |
# 2. 配置 Python 环境
conda create -n ai_env python=3.10 -y conda activate ai_env pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install ctransformers onnxruntime-gpu==1.15.1 rapidocr-pyonnx modelscope requests |
# 3. 下载 Qwen2 GGUF
ollama run ordis/gte-Qwen2-7B-instruct-Q5_K_M-GGUF-8k |
mkdir -p /data/models/Qwen2 cd /data/models/Qwen2 wget https://huggingface.co/Qwen/Qwen2-7B/resolve/main/Qwen2-7B-Q5_K_M.gguf |
# 4. 启动 Qwen2
python -m ctransformers --model /data/models/Qwen2/Qwen2-7B-Q5_K_M.gguf |
# 5. 部署 RapidOCR
export det_model_path=/mnt/sda1/models/PP-OCRv4/ch_PP-OCRv4_det_server_infer.onnx export rec_model_path=/mnt/sda1/models/PP-OCRv4/ch_PP-OCRv4_rec_server_infer.onnx rapidocr_api -ip 0.0.0.0 -p 9005 -workers 2 |
配置环境变量 使用 Server models
(rapidocr_env) [root@gpu-prod-new det]# export det_model_path=/data/cygnenoir/rapidocr/ocr_modal/RapidAI/RapidOCR/onnx/PP-OCRv4/det/ch_PP-OCRv4_det_server_infer.onnx | |
(rapidocr_env) [root@gpu-prod-new det]# export det_model_path=/data/cygnenoir/rapidocr/ocr_modal/RapidAI/RapidOCR/onnx/PP-OCRv4/det/ch_PP-OCRv4_rec_server_infer.onnx |
# 6. 安装并启动 Dify
git clone https://github.com/langgenius/dify.git cd dify docker-compose up -d |
# 7. Run QwQ
ollama run qwq |
