大语言模型的成功，让我们感觉到人类已经站在智能化时代的起点。ollama 无疑是目前相对比较容易启动并运行大型语言模型的解决方案之一，经过一段时间的测试使用，发现它非常适合本地部署使用各种开源大模型，运行效率高，速度快。结合 open webui 能够提供类似于 chatgpt 一样的效果。

安装 ollama

这里以 Ubuntu 18.04 为例，其他系统的安装请参考ollama官网.

最简单的方式是一键式安装：

1
curl -fsSL https://ollama.com/install.sh | sh

不过，我更喜欢的是手动安装和卸载，因为我自己已经安装好 CUDA 驱动等：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/local/bin/ollama
sudo chmod +x /usr/local/bin/ollama

sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama

# 注意，我这里手动指定了GPU和ollama下载的大模型存放路径，默认存放在 /usr/share/ollama/.ollama/models
cat > /etc/systemd/system/ollama.service <<-"EOF"
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="CUDA_VISIBLE_DEVICES=1"
Environment="OLLAMA_MODELS=/disk1/datasets/models/ollama/models"
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/cuda/bin:/usr/local/node-v17.8.0/bin:/usr/local/miniconda/bin:/usr/local/miniconda/condabin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"

[Install]
WantedBy=default.target
EOF


sudo systemctl daemon-reload
sudo systemctl enable ollama

sudo systemctl start ollama

到这里，我们就能够在命令行使用 ollama 了：

1
2
3
4
5
6
7
ollama --version

ollama list

ollama run llava:34b

# 交互式界面中使用 “/?” 查看帮助信息

安装 open webui

默认 ollama 只提供命令行方式，但网页版使用起来更加方面和直观。因此，这里介绍如何给 ollama 配置一个网页版界面。open webui 起初就是为 ollama 开发的网页程序，兼容性更好，且可使用 api key 连接 open ai 的大模型。因此这里介绍如何安装并使用它。

安装前，请先安装 docker。然后安装 open webui:

1
2
# 更多安装方案请查看官网：https://github.com/open-webui/open-webui
docker run -d --network=host -v /disk0/documents/docker/open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --env HTTP_PROXY="http://192.168.1.35:1111" --env HTTPS_PROXY="http://192.168.1.35:1111" --env NO_PROXY="localhost,127.0.0.1,127.0.0.0,127.0.1.1,192.168.1.0/16" --name open-webui --restart always ghcr.io/open-webui/open-webui:main

然后，在浏览器打开页面：http://localhost:8080, 第一个注册的用户默认是管理员，其他用户注册需要管理员审批。更多 open webui 的使用可参考：離線不怕隱私外洩！免費開源 AI 助手 Ollama 從安裝到微調，一支影片通通搞定！

参考文献

  1. ollama
  2. open webui
  3. Linux上安装 Ollama + Open WebUI
  4. Ollama模型下载路径替换！靠谱！（Linux版本）
  5. 【ollama】linux、window系统更改模型存放位置，全网首发2024！
  6. 離線不怕隱私外洩！免費開源 AI 助手 Ollama 從安裝到微調，一支影片通通搞定！