AnythingLLM[1] 是一个全栈应用程序，您可以使用现成的商业大语言模型或流行的开源大语言模型，再结合向量数据库解决方案构建一个私有 ChatGPT，不再受制于人：您可以本地运行，也可以远程托管，并能够与您提供的任何文档智能聊天。
支持 Mac, Windows, & Linux
近期热文
当 AI 遇上爬虫：让数据提取变得前所未有的简单！
超强 OCR 神器：支持批量 OCR、文档识别、公式识别，离线可用、完全免费！
超强 OCR 新秀：支持 90 多种语言，性能超越云服务！
2024 年最完整的 AI Agents 清单来了，涉及 13 个领域，上百个 Agents！
AnythingLLM 核心功能
多用户实例支持和权限管理。
工作区内的智能体 Agent（浏览网页、运行代码等）。
支持多种文档类型（PDF、TXT、DOCX 等）。
支持聊天和查询模式：聊天模式保留先前的对话记录，查询模式则是是针对您的文档做简单问答。
聊天中会提供所引用的相应文档内容。
100% 云部署就绪，或 “部署你自己的 LLM 模型”。
管理超大文档时高效、低耗。只需要一次就可以嵌入（Embedding) 一个庞大的文档。比其他文档聊天机器人解决方案节省 90% 的成本。
全套的开发人员 API，用于自定义集成！
AnythingLLM 支持的 LLM
任何与 llama.cpp[2] 兼容的开源模型
OpenAI
Azure OpenAI
Anthropic
Google Gemini Pro
Hugging Face (聊天模型)
Ollama (聊天模型)
LM Studio (所有模型)
LocalAi (所有模型)
Together AI (聊天模型)
Perplexity (聊天模型)
OpenRouter (聊天模型)
Mistral
Groq
Cohere
KoboldCPP
AnythingLLM 支持的嵌入模型
AnythingLLM 原生嵌入器（默认）
OpenAI
Azure OpenAI
LocalAi (全部)
Ollama (全部)
LM Studio (全部)
Cohere
AnythingLLM 支持的转录模型
AnythingLLM内置（默认）
OpenAI
AnythingLLM 支持的向量数据库
LanceDB （默认）
Astra DB
Pinecone
Chroma
Weaviate
QDrant
Milvus
Zilliz
AnythingLLM 仓库介绍
仓库结构
AnythingLLM 仓库由三个主要部分组成：
frontend: 一个 viteJS + React 前端，您可以运行它来轻松创建和管理 LLM 可以使用的所有内容。
server: 一个 NodeJS Express 服务器，用于处理所有交互并进行所有向量数据库管理和 LLM 交互。
docker: Docker 指令和构建过程 + 从源代码构建的信息。
collector: NodeJS Express 服务器，用于从 UI 处理和解析文档。
仓库地址：https://github.com/Mintplex-Labs/anything-llm
配置开发环境
yarn setup：填充每个应用程序部分所需的 .env 文件（从仓库的根目录）。
在开始下一步之前，先填写这些信息 server/.env.development，不然代码无法正常执行。
yarn dev:server：在本地启动服务器（从仓库的根目录）。
yarn dev:frontend：在本地启动前端（从仓库的根目录）。
yarn dev:collector：然后运行文档收集器（从仓库的根目录）。
软件下载地址：https://useanything.com/download
往期文章
开源流式数字人来了：实现音视频同步对话，基本可达商用效果！
PDF 转 Markdown 神器，精准且快速：支持 90 多种语言 OCR，还支持提取表格、图片和公式！
自动化爬虫神器：把网页转成大模型所需数据，助力 AI 应用与大模型训练全面优化！
Text2SQL 效果不好？不要错过这个神器！自带 RAG、复杂数据集准确度高，还能自训练模型
3 款强大的开源低代码 LLM 编排工具，可视化定制专属 AI Agent 和 AI 工作流！
25.4K Star 低代码LLM编排工具：终于支持 Multi Agent，内置 5 大 Multi Agent 开箱即用！
欢迎您与我交流 AI 技术/工具
关注 AI 真好玩，带你玩转各类 AI 工具，掌控数字未来！
如果这篇文章对您有所帮助，请点赞、关注，并分享给您的朋友。感谢您的支持！
参考资料
[1]
AnythingLLM: https://github.com/Mintplex-Labs/anything-llm[2]
llama.cpp: https://github.com/ggerganov/llama.cpp