在本地服务器或云服务器上借助Ollama部署DeepSeek等大语言模型，可以按照以下详细步骤进行操作。这些步骤涵盖了从安装Ollama到配置网络、优化性能的全过程。
1.安装Ollama
（1）本地服务器
• Windows系统
• 通过WSL2（推荐Ubuntu发行版）运行：
• 安装WSL2并设置Ubuntu发行版（具体步骤可参考[微软官方文档]()）。
• 在Ubuntu终端中运行以下命令以安装Ollama：
```bash
curl -fsSL https://ollama.com/install.sh | sh
```
• macOS系统
• 使用Homebrew安装Ollama：
```bash
brew install ollama
```
• Linux系统
• 主流发行版（如Ubuntu、Debian、CentOS等）可通过以下命令安装：
```bash
curl -fsSL https://ollama.com/install.sh | sh
```
或者：
```bash
wget https://ollama.com/install.sh && chmod +x install.sh && ./install.sh
```
（2）云服务器
• 推荐使用Linux系统（如Ubuntu 22.04 LTS）：
```bash
curl -fsSL https://ollama.com/install.sh | sh
```
2.下载与运行DeepSeek模型
（1）选择版本
• 根据硬件配置选择合适的DeepSeek模型版本：
• 低配设备：`deepseek-r1:1.5b`
• 中高配设备：`deepseek-r1:7b`或`deepseek-r1:14b`
• 高性能设备：`deepseek-r1:32b`或`deepseek-r1:70b`
（2）下载并运行
• 在命令行中输入以下命令运行模型：
```bash
ollama run deepseek-r1:(模型版本)
```
例如：
```bash
ollama run deepseek-r1:7b
```
首次运行时，Ollama会自动下载所需的模型文件。
关于云服务器 金牛互联www.idvjn.com
3.配置云服务器网络
（1）开放端口
• Ollama默认使用`11434`端口。如果使用的是Ubuntu系统且安装了UFW防火墙，可以运行以下命令开放端口：
```bash
sudo ufw allow 11434/tcp
```
（2）反向代理（可选）
• 如果需要通过HTTPS访问Ollama服务，可以使用Nginx配置反向代理：
• 安装Nginx：
```bash
sudo apt update && sudo apt install nginx
```
• 编辑Nginx配置文件（例如`/etc/nginx/sites-available/default`），添加以下内容：
```nginx
server {
listen 443 ssl;
server_name your_domain_or_ip;
ssl_certificate /path/to/your/certificate.pem;
ssl_certificate_key /path/to/your/private.key;
location / {
proxy_pass http://127.0.0.1:11434;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
}
}
```
• 重启Nginx：
```bash
sudo systemctl restart nginx
```
4.远程访问API
（1）调用生成接口
• 使用`curl`命令调用生成接口：
```bash
curl http://服务器IP:11434/api/generate -d '{ "model": "deepseek-r1", "prompt": "相关问题内容"}'
```
（2）调用聊天接口
• 使用`curl`命令调用聊天接口：
```bash
curl http://服务器IP:11434/api/chat -d '{ "model": "deepseek-r1", "messages": [{"role": "user", "content": "相关问题内容"}]}'
```
5.性能优化
（1）GPU加速
• 如果使用NVIDIA显卡，可以安装CUDA驱动和Ollama的GPU版本：
• 安装CUDA驱动（具体步骤可参考[官方文档]()）。
• 安装NVIDIA容器工具包：
```bash
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
sudo systemctl restart docker
```
• 重启Ollama服务：
```bash
sudo systemctl restart ollama
```
（2）量化模型
• 选择低精度量化模型以减少显存占用。例如：
```bash
ollama pull deepseek-r1:7b-instruct-v0.2-q4_0
```
量化后的模型在运行时会占用更少的显存，但可能会略微影响性能。
6.验证部署
• 在浏览器中访问`http://服务器IP:11434`，检查Ollama服务是否正常运行。
• 使用上述API接口测试模型的响应，确保一切正常。
通过以上步骤，你可以在本地服务器或云服务器上成功部署DeepSeek等大语言模型，并根据需要进行优化和配置。
