这期内容分享下在我们个人本地电脑私有化部署 DeepSeek R1 + RAGFlow,也想观察下在没有GPU的机器上跑起来体验如何?
这期分享全程操作的干货内容,言简意赅,不要怕学不会,现在部署大模型已经很简单了。照着我说的一步步做,一定能成功!
① 我本地的环境
AMD Ryzen 5 5600G 3.90 GHz16.0 GB (15.4 GB 可用)1TB固态没有独显(哈哈)Windows 11 专业版本地虚拟机CentOS Linux release 7.9.2009 (Core)安装好 Docker,这个不会可以问AI,Linux几行命令就搞定
以上环境相信大部分朋友都具备。
② 下载和安装ollama
# 下载地址https://ollama.com/download/windows# 配置下环境变量# ollama 默认只允许本地访问,不配置的话我们虚拟机不能和本地ollama连接OLLAMA_HOST 0.0.0.0:11434# 模型下载位置,推荐配置下OLLAMA_MODELS D://models/xxx# 傻瓜式下一步安装,安装后最好重启下电脑
③ 下载 DeepSeek 模型
# 这里推荐下载7b,大概4G,要一会儿ollama run deepseek-r1:7b# 如果就是学习下步骤,也可以下1.5b,快ollama run deepseek-r1:1.5b# 我2模型个都下了,下的过程中,可能到最后会很慢# 不要怕,直接Ctrl + C结束# 再执行下载,他有断点续传,再下就发现很快# 跑起来就直接进对话指令了,类似如下C:\Users\sailen>ollama run deepseek-r1:7b>>> Send a message (/? for help)# 可以输入点内容测试下速度,例如:介绍下你自己# 由于我没GPU,7b回答的时候有点慢,但勉强能推理# 1.5b的速度很快了,但是问了几个问题# 说实话很拉胯,不能用,只剩快,哈哈>>> 介绍下你自己<think>您好!我是由中国的深度求索(DeepSeek)公司开发的智能助手DeepSeek-R1。如您有任何任何问题,我会尽我所能为您提供帮助。</think>您好!我是由中国的深度求索(DeepSeek)公司开发的智能助手DeepSeek-R1。如您有任何任何问题,我会尽我所能为您提供帮助。# 输入 /bye,可以退出 对话# 再输入 ollama list 查看本地下载的模型>>> /byeC:\Users\sailen>ollama listNAME ID SIZE MODIFIEDdeepseek-r1:7b 0a8c26691023 4.7 GB 4 days agodeepseek-r1:1.5b a42b25d8c10a 1.1 GB 4 days ago# 此时,浏览器里用你的内网IP访问下11434http://192.168.31.116:11434/# 看看 显示 Ollama is running 即可
④ 下载、部署RagFlow
远程连接虚拟机,准备下载RagFlow
# 先下下ragflow源码git clone https://github.com/infiniflow/ragflow.git# 修改下环境变量文件# 目的:下载RagFlow完整版,含Embedding模型# 不然你本地还需要部署一个Embedding模型cd ragflowvi docker/.env# 注释轻量版本# RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0-slim# 打开完整版本RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0# cd ragflow# 准备跑吧,拉镜像需要点时间哈,完整版9多Gdocker compose -f docker/docker-compose.yml up -d# 最好配置下Docker国内代理vi /etc/docker/daemon.json# 配置内容:{ "registry-mirrors": ["https://docker.1ms.run"]}# 下载过程中可能提示连接失败,多重新尝试几次即可# 另外,我遇到一个问题,跑完后,一个es容器没下载成功# 一开始不清楚原因,用docker logs 看了下ragflow-server容器的日志# 发现一直在连 es,无法连接# 找了下解决方案:https://github.com/infiniflow/ragflow/issues/4038# 还是一个open状态的问题,看最后那个大佬的内容I was able to solve it by moving in the folder /docker and doing docker compose down then docker compose up and elastic search installed itself# 于是,执行下docker compose downdocker compose up# 嘿嘿,就检测到es的容器没下载成功,然后一顿下载# 完事后,再重启下ragflow-server容器# 观察下日志,好了# 浏览器访问下试试http://192.168.31.101/
⑤ 注册账号、登录
没啥好说的,输入邮箱,名称,密码就可以了
⑥ 配置模型提供商
我英文水平一般,先切换到中文,哈哈
点击头像,找到左侧模型提供商
找到ollama,点击添加模型
参考我这图上面配置就行,一看就懂哈。
点击确认,可能要转一下下,然后就看到列表上有Ollama了
⑦ 系统模型设置
再点击系统模型设置,参考我这样配置就行
⑧ 创建知识库
输入名称,选择语言,选择嵌入模型
解析方法没啥特殊的,就选General就行
其它的不懂就默认,先别管
然后新增一个你本地的文档
传上来后,点击下执行下解析,可能需要几分钟
解析状态显示 成功 就好了
由于没有GPU加持,向量化过程全靠CPU算
我这个文档 28M,12核CPU全部接近 跑满状态,大概跑了5分钟
⑨ 新建助理,创建聊天
在助理设置里,就填写个名字,愿意的话就改下开场白,最重要吧下面的知识库选为你自己刚刚刚刚创建的
切换到提示引擎们可以按你的需求改下提示词其它也不用动
切换到模型设置,选择 ollama 图标里的 DeepSeek 7b就好了
然后就愉快地聊天吧!
看完后是不是觉得简单吧?RagFlow 与 Docker 把很多技术细节给你屏蔽了,不用关心需要部署数据库、Redis、ES、minio啥啥的,模型相关的一些参数配置也都是给你默认配置了,上手很容易,缩一缩,这都2025年了,搭建一个完全私有化的RAG系统也没那么难。
实际上RAGFlow有很多细节支持你配置和自定义,需要你花点时间去测试和研究。
还提供了丰富的API,供你业务系统调用,多爽~~~
这些内容后面有空,我会继续写几篇文章逐一介绍,敬请关注!
实际运行情况
现实很残酷,你知道我得到上面那个推理结果代价有多大吧?
内存99%,磁盘100%,CPU从持续一段时间100%,到后面稳在35%左右
然后,大概每隔1分钟,响应2句话,等啊等
我开的其它应用有的就报错了,然后闪退,然后就是鼠标键盘都不好使了
大概半小时,结果出来了,但系统已经瘫痪了
本来想截屏的,卡住没反应了
最终,想按各种快捷键杀进程都没反应,强制按主机电源键关机重启……
反正是玩一下嘛,还是挺好玩的哈哈,感兴趣可以看下我的视频号里的内容
我重启后不敢用 7b 模型了,改用了1.5b 进行推理,不会还会死掉
速度快了不少,但结果也不是太准确了……
好了,大家玩的时候,还是先玩下1.5b吧,玩 7b+ 的有 GPU 可以放心玩哈!!!
都看到这里了,点个关注吧,我后面还会细讲 RagFlow 产品相关的深入使用哦!
往期推荐:
AI编程神器:Windsurf是否已超越Cursor?
中国AI新巅峰!阿里云Qwen2.5-Max大模型全面解析
“我们是中国人”,这句话到底是如何进行向量化的?
好了,本期内容就是这么多,希望能够帮助到您,感谢您能读到最后,如果觉得内容不错,请您点赞转发给予鼓励,咱们下期再见。