HQY 一个和谐有爱的空间

部署了vLLM版本以后，访问它比较麻烦。如何才能更好的实现访问呢，这个就是我们今天要讲的Open WebUI，它可以向我们使用官方DeepSeek一样直接在网页进行对话。OpenWeb UI 是一个功能丰富且用户友好的自托管 Web 用户界面，主要用于管理和操作各种本地和云端的人工智能模型。它支持多种大型语言模型（LLM）运行程序，包括 Ollama 和兼容 OpenAI 的 API，旨在完全离线操作。以下是关于 OpenWeb UI 的详细介绍：主要特点用户界面：直观且响应式，可在任何设备上提

我们通过conda创建虚拟Python环境，实现vLLM和OpenWebUI的配置，但是这个安装部署会非常繁琐非费时间。我们今天将使用容器来部署。环境还是使用ubuntu20.4，复用上个环境已经安装GPU驱动和模型文件。1.安装Dockercurl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/shar

我们无论是直接部署，还是容器部署都还是单机的模型，受单机GPU限制，并不能跑比较大的模型，今天我们将用多台机器组成一个集群来跑一个更大的模型。1.准备机器机器IPGPU备注172.16.0.102Tesla T4*2复用旧机器，扩容了GPU172.16.0.43Tesla T4*2新机器172.16.0.65Tesla T4*2新机器2.安装驱动及必要软件新加入的机器需要分别安装驱动，Docker，Nvidia-Docker#安装驱动 dpkg -i nvidia-driv

前面部署过Win版本，也部署过Linux版本，也部署过单机版本，也部署过集群版，中途采用过多个模型，那这个模型到底是什么，我能选择什么模型呢？什么是蒸馏版，满血版，什么是量化版呢？首先我们说模型需要先来解释什么是训练模型，什么是推理模型。训练模型训练模型是指模型在学习阶段的过程。在这一阶段，模型通过大量标注数据（输入数据和对应的标签/答案）逐步调整内部参数（如神经网络的权重），目标是学习数据中的规律，从而能够对未知数据做出预测或分类。国产大模型DeepSeek之所以火爆，就是因为他用很小的代价(

从单机到集群，从Win到Linux都已经涉及，但是没涉及到单机多卡，本篇文章就来说说这个单机多卡遇到的问题。本次环境是4张卡Tesla V100卡。1.只能用1张卡ollama是使用官方脚本安装的，ollama是以systemctl方式启动，下载的是deepseek-r1:32b模型，启动以后发现只使用了22G显存，实际上只用了1张卡，其他卡未使用。如果要使用4张卡则需要按照下面的方式调整配置，或者跑更大的模型，如果超过单张卡GPU显存限制，则会自动分配到所有显卡上面，不需要做任何特殊配置vi&

注：使用不同的推理模型，需要的模型文件是不一样的，比如我前面用的ollama下载的模型，则只能在ollma里面使用，不能拿到vLLM来使用。1.vLLM介绍vLLM相比ollama复杂，ollama启动以后，读取模型文件就可以提供服务，但是vllm则只是一个框架，本身不具有启动服务的能力，它需要依赖python来启动服务。虽然vLLM比较复杂，但是他具有组成集群跑更大模型的能力，所以我这里先用单机版来让搭建对这个vLLM有一个的理解，后期再深入。2.miniconda环境准备miniconda可

0x01 前言 对数据敏感的企业想要部署自己的大模型该（如：DeepSeek R1）该选用什么方式呢？ Ollama还是vllm呢？ 我先说结论：Ollama适用于开发测试，vLLM适用于生产环境部署下面我会进行详细的选型对比，让你有一个更清晰的认知。0x02 选型对比 Ollama与vLLM都是针对大语言模型（LLM）部署和推理的开源框架，但它们在设计目标、技术特点和适用场景上有显著的差异。下面通过多个维度给出具体对比说明1. 核心定位与部署方式Ollama ： 

生产环境如何部署deepseek，什么样的配置能生产可用，今天我用双4090，测试几个模型。大家看看。 非常感谢提供环境的朋友。vLLM 简单介绍vLLM 是一个快速且易于使用的 LLM 推理和服务库。vLLM（Very Large Language Model Serving）是由加州大学伯克利分校团队开发的高性能、低延迟的大语言模型（LLM）推理和服务框架。它专为大规模生产级部署设计，尤其擅长处理超长上下文（如8k+ tokens）和高并发请求，同时显

一个非常有趣的开源项目——OpenManus。它是MetaGPT社区开发的一个开源替代方案，灵感来源于Manus AI智能体。Manus本身是一个革命性的AI智能体，能够从任务规划到执行全程自动化处理复杂工作流，完全无需人工干预。但问题是，Manus目前处于邀请制模式，限制了更广泛社区的使用。而OpenManus则通过提供一个免费、开源且可定制的版本，让开发者和研究人员也能轻松体验类似的能力。有趣的是，OpenManus整个项目仅用了三个小时就搭建完成！这吸引了许多对Manus感兴趣但因邀请限制

环境准备1.anaconda2.python 环境3.vllm4.Linux 系统（以下操作以 WSL 为例）配置步骤一、 启用 WSL1.在控制面板=>windows 功能=>启用 WSL2.下载 Ubuntu 最新版由于应用商店内下载速度较慢，这里直接去官网下载 wsl 安装包https://releases.ubuntu.com/noble/ubuntu-24.04.2-wsl-amd64.wsl3.安装 Ubuntu wsl --import u

本指南将详细介绍如何使用 vLLM 在本地部署 DeepSeek 语言模型。我们将以 deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 模型为例，逐步指导你完成环境配置、模型下载、vLLM 安装及推理服务的启动与调用。1. 安装 Python 环境在开始之前，你需要确保已安装 Python 环境。访问 Python 官网：https://www.python.org/选择安装包：根据你的操作系统（Windows、macOS 或 Linux）下载并

目录环境准备配置步骤一、配置 GPU 云服务器二、安装 conda三、显卡驱动安装四、vllm 安装五、大模型下载与运行客户端调用测试环境准备1. anaconda2. python 环境3. VLLM（注：只可运行在Linux系统中）4. 云服务器或本地物理服务器；（本文以云服务器部署为例）配置步骤一、配置 GPU 云服务器1.购买云服务器 GPU 计算型根据实际需要选择等待实例初始化2.在本地电脑使用 ssh 连接服务器这里我使用私钥进行连接二、安装

提到「脑洞大开」，大家首先会想到什么？没错，就是那个坐着敞篷车被开脑洞的美国总统，肯尼迪。川普在竞选的时候，就说过如果当选，就会公开肯尼迪被刺杀的档案。至于为啥要公开肯尼迪被刺杀的档案，咱也不敢妄下结论，下面是DeepSeek分析的原因：不过川普果然没有食言，就在3.18，川普公布了2000+份肯尼迪解密档案。好家伙，先不说能不能看懂，这要手动下载，那得把鼠标点冒烟吧。。。为了解决这个问题，我用Coze+DeepSeek自动获取了所有的档案链接，并一键下载。下面来介绍一下操作过程。同时我也将下载

“00 后用 DeepSeek 直播 1 天卖出 3.3 亿” 的消息刷爆了微博热搜，第一批用 DeepSeek 的人已经赚到第一桶金。今天必须跟大家分享一个我在 GitHub 上发现极具变现潜力的 AI 开源工具，它不需要复杂的提示词技巧，只需简单几步，就能批量生成优质短视频。放在以前，想要快速批量生产优质内容吸引流量，往往需要花费大量时间，如撰写剧本、寻找配图、制作配音、添加字幕等等，一系列工作不仅耗时，还对技术有一定要求。这个 AI 工具就是：Story-Flicks，它巧妙地结合了大语言

浏览器已经成为日常工作的主要工具，但经常需要重复相同的操作：定时查看特定网页、填写相似表单、提取网站数据……这些琐碎任务不仅消耗时间，还容易因疲劳而出错。虽然已经有不少自动化解决方案，但大多数要么价格不菲，要么需要掌握复杂的编程技能，让普通技术小白望而却步。近日，在 GitHub 上发现了 Automa 这款开源工具，它以可视化拖拽的方式彻底改变了浏览器自动化的体验。无需编写代码，只需简单连接功能模块，就能构建强大的自动化工作流，真正做到 "人人可用" 的

随着DeepSeek R1满血版在各行业各细分场景下逐步落地，大家关注点也逐步从硬件选型、场景匹配转移到了性能调优和实操细节上了。DeepSeek R1满血版作为当红“明星”优势大家可能都比较清楚了，我们再回顾一下游戏科学冯骥的评价，到目前看绝对称得上是“国运级别的科技成果”。‌强大‌：DeepSeek的推理能力与国际顶尖模型如o1不相上下。‌便宜‌：其训练成本仅为550万美元（官方），远低于其他顶尖大模型。‌开源‌：DeepSeek是开源的，这在中国AI领域是破天荒的创举，对闭源模型形成了显著

遇到知识库上传文档失败，各种报错，然后网络搜索，好多解决方案都是收费的，也看不到也不知道行不行。最终找到2个靠谱的，试着修复了下，居然成功了。特此留档记录，防止忘记。1. 使用ollama下载向量化工具nomic-embed-textUbuntu环境下，命令行输入ollama pull nomic-embed-textopen-webui管理员面板，进入“设置”栏找到“模型”选项，并点击右上角的设置图标进行模型设置，把deepseek和刚下载的nomicembed-text排序在前，并

open-webui 创建知识库后，想要引用知识库的内容，方法11、使用用#号，把知识库发送给deepseek。2、再次问答，deepseek会检索发送的内容，参与问题方法21、打开管理员面板设置栏，找到使用的“模型”选项，点击编辑2、找到知识库选项，选择需要deepseek使用的知识库，然后保存3、再次使用回话，不需要发送知识库文档，deepseek自动使用知识库的内容，参与问答。

前面我们已经本地部署了open webui，现在我们来安装ollama；安装的过程中发现一些问题。网上各种搜索最终解决了，现在把这个过程整理下。在线安装Ollama 官方网站提供了Linux 平台安装指南，打开终端，执行以下命令下载安装脚本：curl -fsSL https://ollama.com/ollama_install.sh | sh离线安装由于网络原因经常下载失败，通过在curl 命令中添加 -v 参数，我们发现 Ollama 安装过程中需要从 github下载数据：cur

前一篇已经大致安装部署本地的open-webui的基础环境了，我们使用deepseek过程中，可能涉及到与已有系统的账号统一登录的情况。官方文档有一些关于如何对接的文档，稍显复杂，一时半会不太能掌握，自己就试着做一点简单的修改，实现一键登录需求。大致思如如下：A系统有test@email.com 的账号，在A系统页面增加一个按钮，自动登录到B系统；B（open-webui）系统，前端通过url传递参数，然后提交到B系统后端；B系统后端校验参数，识别到系统也存在test@email.com的账号，