Sealos 国内集群正式上线,可一键运行 LLama2 中文版大模型!


Sealos 公众号已接入了 GPT-4,完全免费!欢迎前来调戏👇

2023 年 7 月 19 日,MetaAI 宣布开源旗下的 LLama2 大模型,Meta 首席科学家、图灵奖得主 Yann LeCun 在推特上表示 Meta 此举可能将改变大模型行业的竞争格局。一夜之间,大模型格局再次发生巨变。

不同于 LLama,LLama2 免费可商用!
LLama2 的能力在 GPT-3 ~ GPT-3.5 之间,对于关注数据隐私的企业来说,简直太香了!
虽然 LLama2 目前还不支持中文,但国内开源大模型爱好者已经训练出了中文模型,并且和原版模型完全兼容,大家可以放心白嫖了。

中文版 Llama2 模型链接:https://github.com/LinkSoul-AI/Chinese-Llama-2-7b
解决了中文版的问题,现在还有另外一个问题。很多小伙伴都没有 GPU,要是能在 CPU 上运行就好了!
问题也不大,利用 GGML 机器学习张量库就能构建出在 CPU 上运行的中文版模型,这也是 llama.cpp 背后的核心技术。
官方仓库也给出了转换步骤:

太麻烦了,能不能再简单点?
能!
有社区小伙伴已经转换好了模型并上传到了 Hugging Face,咱们直接拿来主义:https://huggingface.co/soulteary/Chinese-Llama-2-7b-ggml-q4
众所周知,国内访问大多数海外网站都是需要魔法的,Hugging Face 也不例外。对于没有魔法的同学来说,还能不能再简单点?
能!
直接通过以下链接打开 Text generation web UI[1] 的应用部署模板:
https://cloud.sealos.top/?openapp=system-template%3FtemplateName%3Dllama2-chinese
然后直接点击「部署应用」就完工了,非常简单,没有任何多余的操作。
Text generation web UI
给大家介绍一下 Text generation web UI,这是一个大语言模型启动器,它的终极目标是在 AI 对话领域对标 Stable Diffusion WebUI。引用 GitHub 原文:

A gradio web UI for running Large Language Models like LLaMA, llama.cpp, GPT-J, OPT, and GALACTICA.
Its goal is to become the AUTOMATIC1111/stable-diffusion-webui[2] of text generation.
它可以加载几乎所有的主流模型(支持 llama.cpp 模型),并且在本地运行他们。语言模型能做什么,你就能体验到什么,可以当成离线版 ChatGPT 来使用。再加上 ChatGPT 在国内的审查问题,以及信息泄露风险,客制化的本地模型几乎提供了无限可能。

值得一提的是,它还支持通过 API 来进行调用,同时还提供插件对齐 OpenAI 的 API,你可以将其接入任意套壳 GPT 应用中。

上面的应用模板就是用来部署 Text generation web UI 的。
Sealos 国内集群
今年 6 月份,Sealos 正式上线了海外集群(https://cloud.sealos.io),虽然也向国内用户开放,但其机房在新加坡,国内部分线路不太友好。国内很多用户的需求比较特殊,必须要使用魔法,海外集群正好可以满足需求,至于线路到国内是否友好并不是非常重要。
但大部分国内用户的需求还是要保证线路稳定,使用海外集群就有点力不从心了。为了满足国内用户的需求,我们正式上线了国内集群(https://cloud.sealos.top),与海外集群功能一致。除此之外,国内集群还新增了一项功能:通过共享存储来加载主流的大模型文件(目前只加载了 LLama2 中文模型)。上面的应用模板会一键部署 Text generation web UI,并自动挂载大模型共享存储。我们再来回顾一下:
首先直接通过以下链接打开 Text generation web UI的应用部署模板:
https://cloud.sealos.top/?openapp=system-template%3FtemplateName%3Dllama2-chinese
然后直接点击「部署应用」,部署完成后跳转到应用详情页面,点击外网地址即可打开 Text generation web UI 的 Web 界面:

进入模型选择界面,可以看到目前只有 LLama2 中文模型可供选择:

如果大家有其他大模型的使用需求,欢迎扫码联系我,我会帮忙将你们需要的大模型添加到共享存储中。

最后来测试一下:

回复速度还可以,毕竟 8 核 CPU,自己玩玩还是没问题的。如果您对性能有更高的需求,我们很快就会推出 GPU 集群,敬请期待!
各位在享受这些开源大模型带来的便利的同时,不要忽视数据安全和隐私保护,合理使用开源模型,遵循法律法规,共同维护一个健康、有序的 AI 技术发展环境。
引用链接
[1]
Text generation web UI: https://github.com/oobabooga/text-generation-webui[2]
AUTOMATIC1111/stable-diffusion-webui: https://github.com/AUTOMATIC1111/stable-diffusion-webui
关于 Sealos
Sealos 是一款以 Kubernetes 为内核的云操作系统发行版。它以云原生的方式,抛弃了传统的云计算架构,转向以 Kubernetes 为云内核的新架构,使企业能够像使用个人电脑一样简单地使用云。
🌟GitHub:https://github.com/labring/sealos
🏠官网:https://sealos.io
💻开发者论坛:https://forum.laf.run
关注 Sealos 公众号与我们一同成长👇👇👇

到顶部