（羊驼淡淡的忧郁眼神，殊不知它即将迈进自动化的行列）
01
前面的几篇文中，简单测试了一下 Llama3 8B 和 70B 的生成速度。教程 |终于，我在本地跑起了开源的 AI 模型，Llama3 8B 和 70B 速度对比，简直就是龟兔赛跑
接下来就打算用起来，跑通整个流程，加上自动化。
怎么接入自动化呢？
哎，Ollama 官方就很贴心的给了 API，我们可以用影刀来调用本地的 API，就可以实现接入自动化问答。
官方网址：
https://github.com/ollama/ollama/blob/main/docs/api.md
在本地可以先测一下能不能用：
curl http://localhost:11434/api/generate -d "{\"model\": \"llama3\", \"prompt\": \"Why is the sky blue?\", \"stream\": false}"
有返回值，没报错，那就可以正常使用。（模型问答结果的相关信息，比如调用的什么模型，花了多长时间，问答结果等等）
02
接下来准备接入影刀，使用指令：Http 请求，按照我的截图配置即可。
当然，为了方便使用，也可以加个对话框，手动输入prompt。
最终效果呈现如图：
稍等片刻，等待模型输出完毕，此时可以看到有完整的返回：
不过这次的结果包含了 model 等一些我们不太关心的参数，其实我们只想要模型问答的结果。
没关系，为了方便观看，我们可以再处理一下，将其处理成 json 再提取 response 字段，当然不关心技术的朋友们可以略过这一段。
此时此刻，重新运行机器人，结果变成了这样：
在短暂的几秒后，返回了弹窗：
03
此时，我们就可以本地启动 Llama3 8b，然后自动化问答了。
意思是，我可以在本地免费使用 AI，且和自动化一起实现花里胡哨玩法，对我来说，是一个里程碑式的节点，我可以探索更多更多好玩的东西了。
这，就是我买 4090D 终极目标的第一阶段，在本地跑一个开源模型，免费且无限的提供 AI 推理。
也是我常说的，万里长征的第一步，实现了本地且自动化的使用大模型的推理问答。
接下来我会进行的操作：选一个中文能力强的微调版本，逐渐的和自动化结合起来，用 PRA 实现本地接入微信问答，写一系列的相关教程。
感兴趣的朋友们，快去体验一下吧~
04
我是想象力AI，写过很多个有意思的自动化机器人，有小红书自动发图、抖音自动涨粉、和微信自动加好友拉群等等。
如果你感兴趣的话，千万记得要加我 aiaiai2098，一起交流。
往期文章：
盘点一下之前写过的AI、RPA机器人（内附使用教程）
当我把1340条笔记喂给kimi时，它比我还懂我自己。
必看！RPA 自动化开发效率增加100%
记录 | 学习实践 AI 一年，我赚了多少钱？