curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu focal stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null apt update apt install -y docker-ce docker-ce-cli containerd.ios ystemctl start docker systemctl enable docker
distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list apt-get update apt-get install -y nvidia-docker2 systemctl restart docker
docker pull ghcr.io/open-webui/open-webui:cuda docker pull vllm/vllm-openai
docker run -d \ --gpus all \ --restart unless-stopped \ --name deepseek-container \ --network host \ -v /root/deepseekr1_1.5b/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B:/model \ vllm/vllm-openai:latest \ --model /model \ --served-model-name deepseek-r1 \ --dtype half \ --api-key OPENWEBUI123
-d: 在后台运行容器。
--gpus all: 使用所有可用的 GPU。
--restart unless-stopped: 重启策略为除非手动停止，否则总是重启容器。
--network host：使用主机网络，等同在主机网络里面启动容器。
--name deepseek-container: 给容器命名为 deepseek-container
-v /root/deepseekr1_1.5b/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B:/model: 将主机上的模型目录挂载到容器内的 /model路径。
vllm/vllm-openai:latest: 使用的 Docker 镜像名称和标签。
--model /model: 指定在容器内部使用的模型路径。
--served-model-name deepseek-r1: 设置对外提供服务时的模型名称。
--dtype half: 使用 float16数据类型，我的显卡必须添加这个。
--api-key OPENWEBUI123: 设置 API 密钥。
docker run -d \ --name openwebui-container \ --network host \ --gpus all \ -e OPENAI_API_BASE_URL=http://localhost:8000/v1 \ -e OPENAI_API_KEYS=OPENWEBUI123 \ -e USE_CUDA_DOCKER=true \ ghcr.io/open-webui/open-webui:cuda
#Open WebU访问地址，先创建管理员，然后进入对话界面， http://x.x.x.x:8080
推荐本站淘宝优惠价购买喜欢的宝贝:
本文链接：https://zblog.hqyman.cn/post/9751.html 非本站原创文章欢迎转载，原创文章需保留本站地址！
微信支付宝扫一扫，打赏作者吧～休息一下~~
萌ICP备20248119号
