Ollama实战–用Docker Compose部署Ollama

简介

Ollama 是一个开源框架，用于在本地机器上部署、管理和运行大型语言模型（LLM）。

本文介绍如何用Docker Compose部署Ollama，然后用它安装DeepSeek等大模型。

脚本及配置

目录结构

.
├── docker-compose.yml
└── volume
    ├── ollama
    │   ├── models
    │   └── runtime
    └── open-webui
        └── data

创建目录的命令：

mkdir -p /work/ai/ollama

docker-compose.yml

运行Docker Compose

到/work/ai/ollama/目录（即：docker-compose.yml同级目录）下运行此命令：

docker compose up

结果：

[+] Running 21/21
 ✔ ollama Pulled                                                                                                             394.0s 
   ✔ 13b7e930469f Pull complete                                                                                              103.9s 
   ✔ 97ca0261c313 Pull complete                                                                                              104.4s 
   ✔ f72fa825219a Pull complete                                                                                              113.2s 
   ✔ 5ed5cdf1e5c2 Pull complete                                                                                              388.8s 
 ✔ open-webui Pulled                                                                                                         342.1s 
   ✔ 8a628cdd7ccc Already exists                                                                                               0.0s 
   ✔ 2a47a8c4fd5c Pull complete                                                                                                1.9s 
   ✔ 9c538fc35491 Pull complete                                                                                                5.9s 
   ✔ 47bbb0afa7fe Pull complete                                                                                                5.9s 
   ✔ 782acb99e453 Pull complete                                                                                                5.9s 
   ✔ 4f4fb700ef54 Pull complete                                                                                                5.9s 
   ✔ b7915144f9c7 Pull complete                                                                                                5.9s 
   ✔ 633be3c6bab0 Pull complete                                                                                                5.9s 
   ✔ 266a80d83771 Pull complete                                                                                              122.2s 
   ✔ 7b4a3fa111d1 Pull complete                                                                                              122.2s 
   ✔ 693caf783e3a Pull complete                                                                                              334.7s 
   ✔ e549cfb1e9e7 Pull complete                                                                                              339.0s 
   ✔ 5beb63436aec Pull complete                                                                                              339.0s 
   ✔ c1b8d4819be2 Pull complete                                                                                              339.0s 
   ✔ fc709d98d8b0 Pull complete                                                                                              339.9s 
[+] Running 3/3
 ✔ Network ollama_ollama-net  Created                                                                                          0.1s 
 ✔ Container ollama_latest    Created                                                                                          0.1s 
 ✔ Container open-webui_main  Created                                                                                          0.0s 
Attaching to ollama_latest, open-webui_main
ollama_latest    | Couldn't find '/root/.ollama/id_ed25519'. Generating new private key.
ollama_latest    | Your new public key is:
......

查看运行结果

到docker-compose.yml同级目录下运行此命令：

docker compose ps

结果

NAME              IMAGE                                COMMAND               SERVICE      CREATED          STATUS                    PORTS
ollama_latest     ollama/ollama:latest                 "/bin/ollama serve"   ollama       23 minutes ago   Up 23 minutes             0.0.0.0:11434->11434/tcp, [::]:11434->11434/tcp
open-webui_main   ghcr.io/open-webui/open-webui:main   "bash start.sh"       open-webui   23 minutes ago   Up 23 minutes (healthy)   0.0.0.0:11435->8080/tcp, [::]:11435->8080/tcp

也可以用浏览器查看Ollama的运行结果：

访问Open Webui测试

访问：http://ip:11435，本处我是：http://192.168.5.193:11435/

结果：

点击“开始使用”，会让创建管理员账号。 本处我设置的账号是：admin，密码是：222333

点击“创建管理员账号”后： 

点击“确认，开始使用”后： 

连接到Ollama

选择Ollama的模型

法1：在Open WebUI里找模型

这个地址其实就是Ollama官方网址：https://ollama.com/library

法2：直接在ollama官网找 

直接在Ollama官网（https://ollama.com/）查看模型：

点击“Models”之后，如下：

Ollama支持的模型超级多！包括常用的：DeepSeek、通义千问（qwen） 和不常用的。

以deepseek-r1为例，点进去就能看到模型大小（此大小是内存，不是磁盘）：

我这里选个占内存小一点的：deepseek-1.5b。模型1.1G，实际运行预计会稍多一点：1.3-2G。

下载Ollama的模型

本处我下载的是：deepseek-r1:1.5b

方法1：在Open WebUi下载

左下角头像=> 管理员面板=> 设置=> 右上角下载=> 指定模型名称=> 点击下载

就能出现绿色箭头所示的下载进度条。

下载后可以在模型列表里看到

方法2：直接在Ollama用命令下载

sudo docker exec -it ollama_latest ollama run deepseek-r1:1.5b

查看下载结果：

docker exec -it ollama_latest bash

然后执行命令：

ollama ls

结果

NAME                ID              SIZE      MODIFIED    
deepseek-r1:1.5b    a42b25d8c10a    1.1 GB    4 hours ago

测试模型的聊天功能

上边安装好模型后，在首页可以选聊天使用的模型：

进行对话（deepseek大概思考了两三秒，就给出了回复！）