点击上方蓝色“视频翻译与配音”关注我
这两天马斯克在 GitHub 上开源了 Grok-1 大模型：一个GPT-4强有力的竞争者。
开源地址：https://github.com/xai-org/grok-1
开源一天就暴涨23k star 目前已达31.4k。这是截止目前所有开源大模型中参数最多(3140亿)、规模最大的一个项目。
Grok-1采用的是Apache 2.0 license，也就是说，支持商用。这果然很马斯克。
相比Grok，Llama2都黯然失色，可以预见，很快市面上常见的大模型都会号称基于 Grok 微调了。
普通用户更关心的是，这款最牛逼的开源大模型，能否个人部署使用呢，该怎么部署使用？
先说结论，普通用户就不要想了，等待企业用户的应用产品吧。
不说技术难度，只说硬件要求。
一：整个项目尺寸大小296G，加上相关依赖，至少需要300G以上的硬盘空间。
好吧，你会说硬盘便宜，我好几个T呢。那么再看第二点。
二：需要至少大于 300G 的GPU显存才可运行。
你没看错，就是仅仅推理而非训练，就得确保GPU显存至少300G以上。
当然如果非要试一试，以下是可供参考的硬件配置，源于github上网友讨论，Grok官方未提供硬件配置清单。仅供参考。
GPU： 这种规模的大模型通常需要多个高端 GPU 来处理计算负荷。可能需要至少 8-16 个 GPU，每个 GPU 至少有 32-40 GB 的 VRAM，如英伟达 A100 或 H100 GPU。这些 GPU 需要使用 NVLink 或 NVSwitch 等高带宽互连设备进行互连。
CPU：需要一个或多个功能强大的 CPU 来处理数据预处理、输入/输出操作和其他辅助任务。至少有 32 个内核和 64 个线程的现代服务器级 CPU，如 AMD EPYC 或 Intel Xeon Scalable 处理器。
内存： 由于需要 3140亿 个参数和 6,144 个嵌入大小，因此需要大量内存来存储模型权重和中间激活。根据具体的实现和优化技术，可能需要至少 1-2 TB 的高性能 DDR4 或 DDR5 内存。
硬盘： 需要一个高速存储系统（如 NVMe SSD 或分布式文件系统）来存储模型检查点和数据。存储要求取决于计划存储的检查点数量和需要处理的数据量，但至少需要几 TB 的存储空间。
带宽： 如果计划将模型分布在多个 GPU 或机器上，则需要高速网络基础设施，如 100 Gbps 以太网或 InfiniBand，以促进设备之间的通信。
电源和冷却： 运行多个高端 GPU 和 CPU 会产生大量热量，因此需要强大的电源和冷却系统来确保稳定运行。
普通用户看来是不用想了。