HQY 一个和谐有爱的空间

DeepSeek满血版上线浙江大学推出“浙大先生”智能体平台，本地化部署DeepSeek V3/R1满血版大模型，基于CARSI资源共享向全国829所高校师生免费开放，覆盖教学、科研、生活全场景。平台依托“西湖之光”千亿级算力联盟，实现毫秒级响应，彻底解决传统AI工具卡顿问题，支持AI生图、视频生成、音乐创作及科研文献分析、作业自动批改（CCAD）、心理咨询（VODD）等20余项功能。通过零门槛接入与低代码开发环境，师生可快速创建智能体并接入教务、科研数据库，享受AI科学家、智能问答等高阶工具。

本文使用 llama.cpp 本地部署 DeepSeek-R1 模型。llama.cpp 介绍使用纯 C/C++推理 Meta 的LLaMA模型（及其他模型）。主要目标llama.cpp是在各种硬件（本地和云端）上以最少的设置和最先进的性能实现 LLM 推理。纯 C/C++ 实现，无任何依赖项Apple 芯片是一流的——通过 ARM NEON、Accelerate 和 Metal 框架进行了优化AVX、AVX2、AVX512 和 AMX 支持 x86 架构1.5 位、2 位、3 位、4 位、5

高性能应用服务（Hyper Application Inventor，HAI）是一款面向 AI 、科学计算的 GPU 应用服务产品，提供即插即用的澎湃算力与常见环境，助力中小企业及开发者快速部署 LLM。地址：腾讯云 HAI vs GPU 服务器大幅降低GPU云服务器使用门槛，多角度优化产品使用体验，开箱即用，如下图：选择基础环境“Ubuntu 20.04”镜像，环境配置：Ubuntu 20.04, Driver 525.105.17, Python 3.8, CUDA 12.0, cuDNN

需求：之前使用 Ollama 部署过 deepseek-r1:32b 模型，非常方便快捷，适合个人快速部署使用。如果作为企业生产环境应该使用什么方式部署呢？一般都采用 vllm、sglang 进行部署，本文是用 vLLM 部署 DeepSeek-R1模型。Ollama 和 vLLM 对比区别如下：对比维度OllamavLLM核心定位轻量级本地化工具，适合个人开发者和小规模实验生产级推理框架，专注高并发、低延迟的企业级场景硬件要求支持 CPU 和 GPU，低显存占用（默认使用量化模型）必须依赖 N

1. Mirorr 的分层结构2. 组件生命周期3. Tranport 支持提供的不同 Low Level TransportKCP: reliable UDPLiteNetLib: UDPUNET LLAPI: UDP。实测丢包率高Ignorance: ENET UDPLibuv: Node.js networking backendTelepathy: cross platform TCPSimple Websockets: WebsocketsFizzySteam: SteamNetwor

一、环境要求：二、安装ollama：1.下载并执行安装脚本curl -fsSL https://ollama.com/install.sh | sh2.设置默认端口echo export OLLAMA_HOST="0.0.0.0:11434">>~/.bashrc3.设置模型默认下载地址echo export OLLAMA_MODELS=/root/ollama/models>>~/.bashrc4.查看设置情况cat ~/.bashrc5.激活配置s

一、环境要求：二、安装ollama：1.下载并执行安装脚本curl -fsSL https://ollama.com/install.sh | sh2.设置默认端口echo export OLLAMA_HOST="0.0.0.0:11434">>~/.bashrc3.设置模型默认下载地址echo export OLLAMA_MODELS=/root/ollama/models>>~/.bashrc4.查看设置情况cat ~/.bashrc5.激活配置s

1.下载ollmaOllama 是一个开源的大型语言模型（LLM）本地化部署框架，旨在简化用户在本地运行和管理大模型的流程。https://ollama.com/download2.安装ollma这里安装就和普通软件安装一样，直接双击exe文件即可，安装完成以后打开命令提示符如下图说明安装成功。3.下载&运行模型这里有很多模型可选，不同的模型对配置的要求是不一样的，纯cpu或者只是体验功能可以选择1.5b，下图是DeepSeek模型的推荐配置。本次演示的服务器：CPU:I5 8400;内

要作为长期使用，使用Linux搭建会是一个更好的办法，这也是作为一个Linux运维的觉悟，并且还可以供局域网小伙伴一起用(暂时不考虑性能等问题)。1.下载ollmaOllama 是一个开源的大型语言模型（LLM）本地化部署框架，旨在简化用户在本地运行和管理大模型的流程。https://ollama.com/download/linux但是这个有一个弊端就是下载很慢，而且如果中途失败只能重新来，所以这里还可以直接去github下载，或者从Win下载上传到Linux服务器里面。mkdir 

在Win电脑和Linux服务器里面部署DeepSeek，他们都有安装模型的操作，而且这个操作会很费时间，那有没有一个方法可以提前下载好文件，然后只需要一个启动命令就可以实现呢？由于是脚本类，所以这里我们以Linux为例。如果要提供自动部署脚本，我们首先就是要分析我们的安装过程都做了什么，然后根据部署过程的动作才能把部署内容封装到一起。1.下载ollama实际上这个操作就是下载了二进制文件，然后通过配置参数然后启动它。所以我们只需要一个很简单的命令就可以实现。2.安装模型虽然我们无法直接看到安装的

Win和Linux部署DeepSeek的比较简单的方法，而且采用的模型也是最小的，作为测试体验使用是没问题的。如果要在生产环境使用还是需要用到GPU来实现，下面我将以有一台带上GPU显卡的Linux机器来部署DeepSeek。这里还只是先体验单机单卡，后期会更新多机多卡使用更高模型的文章。1.确认配置由于是虚拟机，并且虚拟机方面做了配置，所以这里并未显示真实显卡型号，实际型号：NVIDIA Tesla T4 16G。  [root@deepseek01 ~]#&nb

随着ChatGPT的革命性发布，一个能聊天、会讲笑话、自动提取文章摘要、可以查快递、查天气、查股票、自动联网搜索总结答案还能识别语音陪你一起玩游戏的智能小助理已不再是梦想。这篇保姆级教程将给大家介绍如何花费5分钟来实现一个强大的个人智能助理，它不需要我们编写任何代码，所以操作起来非常简单。开始之前，我们先通过一个小视频来看一下我们将要实现的智能助理机器人所具备的部分功能。上面仅演示了智能小助理的部分功能，通过开源插件或自定义插件我们还可以实现更丰富更好玩的功能。智能机器人搭建步骤我们使用微信作为

CUDA 的统一内存（Unified Memory）是通过 cudaMallocManaged 函数和 __managed__ 关键字实现的主机与设备的透明化内存访问。其核心原理是将物理存储位置抽象为统一的虚拟地址空间，当 CPU 或 GPU 访问数据时，系统自动完成数据迁移（按需分页迁移），开发者无需手动调用 cudaMemcpy。这对于简化代码非常有用，特别是对于初学者或者需要快速原型开发的情

部署了vLLM版本以后，访问它比较麻烦。如何才能更好的实现访问呢，这个就是我们今天要讲的Open WebUI，它可以向我们使用官方DeepSeek一样直接在网页进行对话。OpenWeb UI 是一个功能丰富且用户友好的自托管 Web 用户界面，主要用于管理和操作各种本地和云端的人工智能模型。它支持多种大型语言模型（LLM）运行程序，包括 Ollama 和兼容 OpenAI 的 API，旨在完全离线操作。以下是关于 OpenWeb UI 的详细介绍：主要特点用户界面：直观且响应式，可在任何设备上提

我们通过conda创建虚拟Python环境，实现vLLM和OpenWebUI的配置，但是这个安装部署会非常繁琐非费时间。我们今天将使用容器来部署。环境还是使用ubuntu20.4，复用上个环境已经安装GPU驱动和模型文件。1.安装Dockercurl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/shar

我们无论是直接部署，还是容器部署都还是单机的模型，受单机GPU限制，并不能跑比较大的模型，今天我们将用多台机器组成一个集群来跑一个更大的模型。1.准备机器机器IPGPU备注172.16.0.102Tesla T4*2复用旧机器，扩容了GPU172.16.0.43Tesla T4*2新机器172.16.0.65Tesla T4*2新机器2.安装驱动及必要软件新加入的机器需要分别安装驱动，Docker，Nvidia-Docker#安装驱动 dpkg -i nvidia-driv

前面部署过Win版本，也部署过Linux版本，也部署过单机版本，也部署过集群版，中途采用过多个模型，那这个模型到底是什么，我能选择什么模型呢？什么是蒸馏版，满血版，什么是量化版呢？首先我们说模型需要先来解释什么是训练模型，什么是推理模型。训练模型训练模型是指模型在学习阶段的过程。在这一阶段，模型通过大量标注数据（输入数据和对应的标签/答案）逐步调整内部参数（如神经网络的权重），目标是学习数据中的规律，从而能够对未知数据做出预测或分类。国产大模型DeepSeek之所以火爆，就是因为他用很小的代价(

从单机到集群，从Win到Linux都已经涉及，但是没涉及到单机多卡，本篇文章就来说说这个单机多卡遇到的问题。本次环境是4张卡Tesla V100卡。1.只能用1张卡ollama是使用官方脚本安装的，ollama是以systemctl方式启动，下载的是deepseek-r1:32b模型，启动以后发现只使用了22G显存，实际上只用了1张卡，其他卡未使用。如果要使用4张卡则需要按照下面的方式调整配置，或者跑更大的模型，如果超过单张卡GPU显存限制，则会自动分配到所有显卡上面，不需要做任何特殊配置vi&

注：使用不同的推理模型，需要的模型文件是不一样的，比如我前面用的ollama下载的模型，则只能在ollma里面使用，不能拿到vLLM来使用。1.vLLM介绍vLLM相比ollama复杂，ollama启动以后，读取模型文件就可以提供服务，但是vllm则只是一个框架，本身不具有启动服务的能力，它需要依赖python来启动服务。虽然vLLM比较复杂，但是他具有组成集群跑更大模型的能力，所以我这里先用单机版来让搭建对这个vLLM有一个的理解，后期再深入。2.miniconda环境准备miniconda可

0x01 前言 对数据敏感的企业想要部署自己的大模型该（如：DeepSeek R1）该选用什么方式呢？ Ollama还是vllm呢？ 我先说结论：Ollama适用于开发测试，vLLM适用于生产环境部署下面我会进行详细的选型对比，让你有一个更清晰的认知。0x02 选型对比 Ollama与vLLM都是针对大语言模型（LLM）部署和推理的开源框架，但它们在设计目标、技术特点和适用场景上有显著的差异。下面通过多个维度给出具体对比说明1. 核心定位与部署方式Ollama ：