关于大模型以及大模型相关的应用，相信这两年应该没人不知道了吧。无论是学习、工作或生活中，各种层出不穷的应用令人眼花缭乱，有充当翻译助手的、有写文章赚钱的、有写邮件写报告的、有写代码的等等等等，林林总总，只要你想的出来的花样，它都能给你整出个花活。下面是笔者自己使用的一些工具上内置的各种助手，各位可以感受一下：
你有没有想过，这些应用是怎么做出来的？我能不能自己也做一个？答案是：当然可以。
笔者此前使用FastGPT做过类似的事情，感兴趣的朋友可以到笔者的公众号或博客上查看。那么本篇要介绍的是一个更加开放、自由、强大的工具：Dify。
1️⃣ Dify简介
笔者就不自作聪明了，直接引用Dify官网的简介：
Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。由于 Dify 内置了构建 LLM 应用所需的关键技术栈，包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎以及灵活的 Agent 框架，并同时提供了一套易用的界面和 API。这为开发者节省了许多重复造轮子的时间，使其可以专注在创新和业务需求上。
重要的是，Dify 是完全开源的，它由一个专业的全职团队和社区共同打造。你可以基于任何模型自部署类似 Assistants API 和 GPTs 的能力，在灵活的安全的基础上，同时保持对数据的完全控制。目前Dify平均每周都会发布一个新版本，其主要包含以下功能特性：
LLM支持：与 OpenAI 的 GPT 系列模型集成,或者与开源的 Llama2 系列模型集成。事实上，Dify支持主流的商业模型和开源模型(本地部署或基于 MaaS)。
Prompt IDE：和团队一起在 Dify 协作，通过可视化的 Prompt 和应用编排工具开发 AI 应用。 支持无缝切换多种大型语言模型。
RAG引擎：包括各种基于全文索引或向量数据库嵌入的 RAG 能力，允许直接上传 PDF、TXT 等各种文本格式。
AI Agent：基于 Function Calling 和 ReAct 的 Agent 推理框架，允许用户自定义工具，所见即所得。Dify 提供了十多种内置工具调用能力，如谷歌搜索、DELL·E、Stable Diffusion、WolframAlpha 等。
持续运营：监控和分析应用日志和性能，使用生产数据持续改进 Prompt、数据集或模型。
2️⃣ 部署Dify
Dify是开源的，其官方也提供Saas版本，感兴趣的朋友可以去体验。但是其也支持私有化部署，使用Docker就可以轻松搭建一套属于自己的大模型平台，想想就很诱人！话不多说，直接开干！
开始前先简单介绍下部署Dify需要用到的组件，稍微有点多，但放心，有Docker你怕啥？
关系数据库：postgres
缓存：Redis
向量数据库：支持weaviate、qdrant、milvus三选一
API服务：dify-api，使用api模式启动
队列消费服务：dify-api，使用worker模式启动
Web管理：dify-web
以上6个组件实际上就对应6个Docker镜像，按照官方的提供的方法是可以放到一个compose.yml中的，但根据笔者多年玩Docker的经验，关系数据库、缓存、向量数据库都属于通用的中间件，建议单独部署。毕竟，还有其他应用也会用到这些组件，没必要跟Dify绑定。
1、部署postgres
version: '3.9'services: postgres: image: postgres:15-alpine container_name: postgres restart: unless-stopped ports: - 5432:5432 # 映射端口 network_mode: bridge environment: - PGUSER=username #用户名 - POSTGRES_PASSWORD=password # 密码 - POSTGRES_DB=dify #默认数据库名称 - TZ=Asia/Shanghai - PGDATA=/var/lib/postgresql/data/pgdata volumes: - /share/Container/postgresql/data:/var/lib/postgresql/data #挂载数据文件 healthcheck: test: [ "CMD", "pg_isready" ] interval: 1s timeout: 3s retries: 30
温馨提示：请根据实际情况将映射的端口、挂载数据文件改成自己宿主机的，不要照搬照抄。环境变量中的用户名、密码、默认数据库名称请自行修改，不想麻烦的就保持不变，后续部署Dify时需要填写正确
2、部署Redis
version: '3.9'services: reids: image: redis:6-alpine container_name: reids restart: unless-stopped tty: true network_mode: bridge command: redis-server --requirepass 123456 # 启动命令，并设置密码为123456 ports: - 6379:6379 # 映射端口 volumes: - /share/Container/redis/data:/data #挂载数据文件 ealthcheck: test: [ "CMD", "redis-cli", "ping" ]
请根据实际情况将映射的端口、挂载数据文件改成自己宿主机的，不要照搬照抄。启动命令中的密码请自行修改，不想麻烦的就保持不变，后续部署Dify时需要填写正确
3、部署Weaviate前文提到Dify支持3种向量数据库，笔者这里以weaviate为例
version: '3.9'services: weaviate: image: semitechnologies/weaviate:1.19.0 container_name: weaviate restart: unless-stopped network_mode: bridge environment: QUERY_DEFAULTS_LIMIT: 25 AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED: 'false' PERSISTENCE_DATA_PATH: '/var/lib/weaviate' DEFAULT_VECTORIZER_MODULE: 'none' CLUSTER_HOSTNAME: 'node1' AUTHENTICATION_APIKEY_ENABLED: 'true' AUTHENTICATION_APIKEY_ALLOWED_KEYS: 'WVF5YThaflkYghGUSmCRgTa3tD3ngdN8pkih' # 访问密钥，请记得修改 AUTHENTICATION_APIKEY_USERS: 'youmail@gmail.com' # 可不填 AUTHORIZATION_ADMINLIST_ENABLED: 'true' AUTHORIZATION_ADMINLIST_USERS: 'youmail@gmail.com' # 可不填 ports: - 8080:8080 # 映射端口 volumes: - /share/Container/weaviate/data:/var/lib/weaviate #挂载数据文件
温馨提示：请根据实际情况将映射的端口、挂载数据文件改成自己宿主机的，不要照搬照抄。记得修改访问密钥，后续部署Dify时需要填写正确
4、部署Dify
这是主角，Dify一个包括三个组件，分别是api服务、worker服务和web前端，笔者就写在一个compose.yml里了。
version: '3.9'services: # API 服务 api: image: langgenius/dify-api:0.5.1 restart: unless-stopped container_name: dify-api network_mode: bridge environment: # 启动模式：api MODE: api TZ: Asia/Shanghai # 代理服务，如果你的网络访问openai没问题，则把下面三个环境变量删掉。 ALL_PROXY: http://192.168.31.20:7890 HTTP_PROXY: http://192.168.31.20:7890 NO_PROXY: localhost,127.0.0.1,172.17.0.1,192.168.31.91,192.168.31.90 LOG_LEVEL: INFO # 用来对敏感信息签名或加密的密钥，建议修改一下 SECRET_KEY: sSj7H0VwBdvf2S9Fn9Pm72agkER5lLXz2D4yANp0ZJQKCdnCHyJu9AMk # 如果你的web域名和api域名不一样的话可以设置下，笔者建议把两个域名保持一致，留空 CONSOLE_WEB_URL: '' # 如果你的web域名和api域名不一样的话可以设置下，笔者建议把两个域名保持一致，留空 CONSOLE_API_URL: '' # 这个是你在Dify中创建好一个应用，外部API调用时使用的域名，建议设置好 SERVICE_API_URL: 'https://dify.yourdomain.fun' # 这个是你在Dify中创建好一个应用，分享链接打开网页时使用的域名，建议设置好 APP_WEB_URL: 'https://dify.yourdomain.fun' # 预览或下载文件时使用的域名，建议设置好 FILES_URL: 'https://dify.yourdomain.fun' MIGRATION_ENABLED: 'true' # postgres数据库用户名 DB_USERNAME: username # postgres数据库密码 DB_PASSWORD: password # postgres 地址 DB_HOST: 192.168.31.91 # postgres端口 DB_PORT: 5432 # postgres数据库名称 DB_DATABASE: dify # Redis地址 REDIS_HOST: 192.168.31.91 # Redis端口 REDIS_PORT: 6379 REDIS_USERNAME: '' # Redis密码 REDIS_PASSWORD: 123456 REDIS_USE_SSL: 'false' REDIS_DB: 0 # 参考Redis信息进行填写，例子：redis://:<REDIS_PASSWORD>@<REDIS_HOST>:<REDIS_PORT>/1 CELERY_BROKER_URL: redis://:123456@192.168.31.91:6379/1 WEB_API_CORS_ALLOW_ORIGINS: '*' CONSOLE_CORS_ALLOW_ORIGINS: '*' STORAGE_TYPE: local STORAGE_LOCAL_PATH: storage # 向量数据库的类型 VECTOR_STORE: weaviate # weaviate地址 WEAVIATE_ENDPOINT: http://192.168.31.91:9080 # weaviate密钥，部署weaviate时提到过 WEAVIATE_API_KEY: WVF5YThaflkYghGUSmCRgTa3tD3ngdN8pkih MAIL_TYPE: '' RESEND_API_KEY: '' RESEND_API_URL: https://api.resend.com SENTRY_DSN: '' SENTRY_TRACES_SAMPLE_RATE: 1.0 SENTRY_PROFILES_SAMPLE_RATE: 1.0 volumes: # 挂载数据文件 - /share/Container/dify/app/storage:/app/api/storage ports: # 映射的端口 - "5001:5001" # worker 服务，用于处理消息队列作业，环境变量与API模式完全相同 worker: image: langgenius/dify-api:0.5.1 container_name: dify-worker restart: unless-stopped network_mode: bridge environment: # 启动模式：worker MODE: worker TZ: Asia/Shanghai # 代理服务，如果你的网络访问openai没问题，则把下面三个环境变量删掉。 ALL_PROXY: http://192.168.31.20:7890 HTTP_PROXY: http://192.168.31.20:7890 NO_PROXY: localhost,127.0.0.1,172.17.0.1,192.168.31.91,192.168.31.90 LOG_LEVEL: INFO # 用来对敏感信息签名或加密的密钥，建议修改一下 SECRET_KEY: sSj7H0VwBdvf2S9Fn9Pm72agkER5lLXz2D4yANp0ZJQKCdnCHyJu9AMk MIGRATION_ENABLED: 'true' # postgres数据库用户名 DB_USERNAME: username # postgres数据库密码 DB_PASSWORD: password # postgres 地址 DB_HOST: 192.168.31.91 # postgres端口 DB_PORT: 5432 # postgres数据库名称 DB_DATABASE: dify # Redis地址 REDIS_HOST: 192.168.31.91 # Redis端口 REDIS_PORT: 6379 REDIS_USERNAME: '' # Redis密码 REDIS_PASSWORD: 123456 REDIS_USE_SSL: 'false' REDIS_DB: 0 # 参考Redis信息进行填写，例子：redis://:<REDIS_PASSWORD>@<REDIS_HOST>:<REDIS_PORT>/1 CELERY_BROKER_URL: redis://:123456@192.168.31.91:6379/1 WEB_API_CORS_ALLOW_ORIGINS: '*' CONSOLE_CORS_ALLOW_ORIGINS: '*' STORAGE_TYPE: local STORAGE_LOCAL_PATH: storage # 向量数据库的类型 VECTOR_STORE: weaviate # weaviate地址 WEAVIATE_ENDPOINT: http://192.168.31.91:9080 # weaviate密钥，部署weaviate时提到过 WEAVIATE_API_KEY: WVF5YThaflkYghGUSmCRgTa3tD3ngdN8pkih MAIL_TYPE: '' # default send from email address, if not specified MAIL_DEFAULT_SEND_FROM: 'youmail@gmail.com' # the api-key for resend (https://resend.com) RESEND_API_KEY: '' RESEND_API_URL: https://api.resend.com volumes: # 挂载数据文件 - /share/Container/dify/app/storage:/app/api/storage # Web管理服务 web: image: langgenius/dify-web:0.5.1 container_name: dify-web restart: unless-stopped network_mode: bridge environment: # 自部署版本，其实还有个CLOUD版本（云端，类似Saas版），二者对团队/租户、登录方式、试用功能有些区别 EDITION: SELF_HOSTED TZ: Asia/Shanghai ALL_PROXY: http://192.168.31.20:7890 HTTP_PROXY: http://192.168.31.20:7890 NO_PROXY: localhost,127.0.0.1,172.17.0.1,192.168.31.91,192.168.31.90 # API服务的域名，笔者这边把api和web服务的域名都设置为同一个了 CONSOLE_API_URL: 'https://dify.yourdomain.fun' # Web服务的域名，笔者这边把api和web服务的域名都设置为同一个了 APP_API_URL: 'https://dify.yourdomain.fun' SENTRY_DSN: '' ports: # 映射的端口 - "3000:3000"
温馨提示
请根据实际情况将映射的端口、挂载数据文件改成自己宿主机的，不要照搬照抄。其中api和worker中使用的postgres、Redis、Weaviate参数完全是一样的。不同点是worker不需要对外提供服务
建议将api和web中涉及到的域名都设置为同一个，以免被各种域名绕晕了！如果没有域名，那就直接填你机器的IP，不是80/443端口的话，请不要把端口忘了
由于涉及的Docker比较多，请务必仔细检查各个参数、环境变量，以免填错
关于几个URL的详细说明
CONSOLE_API_URL控制台 API 后端 URL，用于拼接授权回调，传空则为同域。范例：https://api.console.yourdomain.com。
CONSOLE_WEB_URL控制台 web 前端 URL，用于拼接部分前端地址，以及 CORS 配置使用，传空则为同域。范例：https://console.yourdomain.com
SERVICE_API_URLService API URL，用于给前端展示 Service API Base URL，传空则为同域。范例：https://api.yourdomain.com
APP_API_URLWebApp API 后端 URL，用于声明前端 API 后端地址，传空则为同域。范例：https://app.yourdomain.com
APP_WEB_URLWebApp URL，用于给前端展示 WebAPP API Base URL，传空则为同域。范例：https://api.app.yourdomain.com
FILES_URL文件预览或下载 URL 前缀，用于将文件预览或下载 URL 给前端展示或作为多模态模型输入； 为了防止他人伪造，图片预览 URL 是带有签名的，并且有 5 分钟过期时间。
5、设置反代
如果你有域名的话，想在公网管理和访问Dify、或分享给朋友使用，那么需要先配置下反代才行（至于如何购买域名、如何解析，不在本篇讨论范围）。笔者分别准备了Nginx配置文件和NPM WebUI操作两种方法。
1、Nginx配置文件
在Nginx的/etc/nginx/config.d/default.conf中加入以下配置，注意将和改成实际的机器IP。
server { listen 80; server_name _; location /console/api { proxy_pass http://<api-ip>:5001; include proxy.conf; } location /api { proxy_pass http://<api-ip>:5001; include proxy.conf; } location /v1 { proxy_pass http://<api-ip>:5001; include proxy.conf; } location /files { proxy_pass http://<api-ip>:5001; include proxy.conf; } location / { proxy_pass http://<web-ip>:3000; include proxy.conf; }}
2、NPM配置
NPM的配置与Nginx配置文件中的原理一样，与其他单服务的应用不同的是，在创建Proxy Host时，需要设置Custom locations，点击Add location添加多个location，参考上面Nginx配置文件添加即可。
3️⃣ Dify展示
以上全部完成后，使用ip或域名打开Dify，首次进入需要先创建一个管理员账号，填写邮箱、昵称和密码即可，创建完成后使用管理员账号登录。下图是笔者创建好的几个应用。
由于Dify的官网Wiki中有非常详细的用户手册，笔者就不再多此一举瞎唠叨了，简单截几个图意思意思一下，建议大家到官网学习。
1、创建应用
2、编排应用
就这么多吧，原创不易，如果觉得此文对你有帮助，不妨点赞+收藏+关注，你的鼓励是我持续创作的动力！
======近期热门======
1️⃣保姆级：在NAS上使用Docker跑一个Windows系统，支持远程桌面，有点意思！
2️⃣人手可得：利用星火大模型免费大礼包搭建一个真WX机器人，超简单！
3️⃣Wechatsync：一键同步文章到23个平台，4195名自媒体人都在使用的神器！