前言
Ollama
使用docker安装
只使用CPU
1
| docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
|
使用Nvidia GPU
安装NVIDIA Container Toolkit
配置储存库
1
2
3
4
5
6
| curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
| sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
| sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
| sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
|
安装nvidia-container-toolkit
1
| sudo apt-get install -y nvidia-container-toolkit
|
配置Docker以使用Nvidia驱动程序
1
2
| sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
|
启动容器
1
| docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama
|
1
| docker exec -it ollama ollama run llama3
|
使用AMD GPU
1
| docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm
|
open-webui
1
| docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
|
open-webui启动时期需要首先在线安装transformers库，但是huggingface.co对于国内来说是经常不可访问，所以需要找一个镜像网站，启动时添加到HF\_ENDPOINT环境变量中
1
| docker run -d -e HF_ENDPOINT=https://hf-mirror.com -p 13435:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
|
sdw
1
| docker run -it --name sdw --gpus all --network host -v $(pwd)/models:/app/stable-diffusion-webui/models -v $(pwd)/outputs:/app/stable-diffusion-webui/outputs siutin/stable-diffusion-webui-docker:latest-cuda-12.4.1 bash webui.sh --share
|
1
| sudo chown 10000:$UID -R models outputs
|