教程 |终于,我在本地跑起了开源的 AI 模型



01
就像西方不能没有耶路撒冷一样,我们也不能没有开源的 AI 模型。只要这个开源的小模型是免费的、够好用、够小,它就是个好模型。
没错,就是 Llama3,相信大家都很熟悉了,羊驼家族的明星。

https://ollama.com/library/llama3
首先我们需要进入Llama3的官方网站,下载一个软件,可以简单理解为启动器,看见这个可爱的羊驼,点击右上角的下载即可:


下载好后直接双击安装即可。
安装完毕后,点击运行弹窗,来到当前这个界面:

如果不小心退出了,可以通过 Win + R,输入 cmd ,打开终端。

输入 ollama -v 即可查看版本
ollama version is 0.1.39
没问题之后,可以先输入指令查看本地的模型(此时还没有安装,输出列表为空的),指令:ollama list
NAME    ID      SIZE    MODIFIED
02
ok,此时一切正常,接下来我们准备安装 Llama3 8B 版本了,现在非常的方便,也只需要输入一行指令,即可自动安装。
我们可以在官网查看指令,选中 8B,右边的内容复制一下,再回到刚刚的界面粘贴回车就可以了,当然,我们后续如果想安装 70B 的版本,也只需要左边选中 70B 即可。

ollama run llama3:8b
好,接下来就是等待安装的过程。

另外,8B 和 70B,就是当初训练 AI 时候参数的不同,8B 是 80 亿参数,70B 是 700 亿参数,顺带一提,chatGPT3.5 的参数是175B
简单来说,参数越多,模型就越复杂,能够处理的信息也就越多。
可以类比成大脑的神经元数量,参数越多,模型的“智能”就越高。
03

经过一段时间的等待,此时终于下载好了,可能我本地网速太慢,下载了足足半个小时。
接下来我们直接在终端输入问题,就可以进行问答了!

当然,目前 Llama3 8B,只是最基础的一个小模型,很多好用的功能都没有实现,比如联网搜索,比如调用计算器等等。
当然,没关系,此时此刻,万里长征已经走出了第一步,胜利就在前方。
至此,夜已深,更多评测只好等待明天了。
我心中还有一百套玩法等着测试呢。
04
我是想象力AI,写过很多个有意思的自动化机器人,有小红书自动发图、抖音自动涨粉、和微信自动加好友拉群等等。
如果你感兴趣的话,千万记得要加我 aiaiai2098,一起交流。
往期文章:
盘点一下之前写过的AI、RPA机器人(内附使用教程)
当我把1340条笔记喂给kimi时,它比我还懂我自己。
必看!RPA 自动化开发效率增加100%
记录 | 学习实践 AI 一年,我赚了多少钱?

到顶部