本文为1580字，建议阅读4分钟
NVIDIA英伟达今日发布了一项研究论文，详细描述了生成式人工智能在芯片设计这一高度复杂工程领域的应用。这一研究揭示了专业领域的企业如何巧妙地利用内部数据，通过训练大型语言模型（LLM）来构建提高生产力的助手。
芯片设计是一项充满挑战的工作，可以将其视为微观世界中的一座精心规划的大都市，例如NVIDIA H100 Tensor Core GPU（我们被禁了，买不到）。这些芯片由数百亿个晶体管构成，连接在比人类头发细10,000倍的街道上。完成这一庞大项目需要多个工程团队在长达两年的时间内密切协调。一些团队负责定义芯片的整体架构，另一些则负责创建和安放微小电路，还有一些负责测试他们的工作。每个任务都需要独特的方法、软件程序和计算机语言。
NVIDIA研究总监兼该论文的主要作者Mark Ren表示：“我相信，随着时间的推移，大型语言模型将在各个环节全面协助芯片工程师。”
NVIDIA首席科学家Bill Dally在国际计算机辅助设计会议的主题演讲中宣布了这篇论文，该会议是每年电子设计自动化（EDA）领域工程师的聚会。他说：“这项工作标志着在复杂的半导体设计工作中首次应用生成式人工智能，即使在高度专业化的领域，也可以借助内部数据培训有用的生成式人工智能模型。”
论文详细介绍了NVIDIA工程师如何创建名为ChipNeMo的定制LLM(大语言模型)，该模型通过内部数据训练，以生成和优化软件，并协助人类设计师。拥有超过20年EDA领域职业生涯的Mark Ren指出，从长远来看，工程师们希望将生成式人工智能应用于芯片设计的每个阶段，以显着提高整体生产力。
研究团队在NVIDIA工程师中进行了潜在用例调查后，选择了三个初始用例：聊天机器人、代码生成器和分析工具。其中，一种用于自动执行维护任务的工具，可更新已知错误描述，取得了广泛的成功。
代码生成器将帮助设计人员为芯片设计编写软件
正在开发的代码生成器（如上所示）已经使用芯片设计人员使用的两种专用语言创建了大约 10-20 行软件的片段。它将与现有工具集成，让工程师在进行中的设计中拥有得心应手的助手
论文的重点是团队如何收集设计数据，并使用其创建了一个可在任何行业应用的生成式人工智能模型。团队首先选择了一个基础模型，并使用NVIDIA NeMo框架进行了定制。这一框架用于构建、定制和部署生成式AI模型，包含在NVIDIA AI Enterprise软件平台中。所选的NeMo模型拥有430亿个参数，是评估其模式理解能力的标准，经过使用超过一万亿个令牌、文本和软件中的单词和符号进行训练。
随后，团队通过两轮训练完善了模型，第一轮使用约240亿代币的内部设计数据，第二轮则混合了约130,000个对话和设计示例。
这一工作代表了半导体行业中生成式人工智能研究和概念验证的一部分，刚刚开始从实验室向实际应用迈进。
从这一经验中，团队总结出了一些重要教训。其中一个关键教训是定制大语言模型的价值，特别是在芯片设计任务中。拥有少至130亿个参数的定制ChipNeMo模型的性能与拥有更大的通用LLM，例如拥有700亿个参数的LLaMA2等模型相媲美甚至更胜一筹。在某些用例中，ChipNeMo模型表现更出色。同时，芯片设计师需要注意收集和清理用于训练的数据。
最后，Mark Ren建议芯片工程师始终关注最新的工具，以加速和简化工作。NVIDIA研究中心拥有数百名科学家和工程师，专注于人工智能、计算机图形学、计算机视觉、自动驾驶汽车和机器人等领域。他们不断探索新方法，例如使用人工智能设计更小、更快的电路以及优化大型布局。
企业现在可以开始使用GitHub和NVIDIA NGC目录提供的NeMo框架，以构建自己的定制LLM。感兴趣的可以去看原始论文和github项目
论文地址：
https://d1qx31qr3h6wln.cloudfront.net/publications/ChipNeMo%20%2824%29.pdf
github项目：
https://github.com/NVIDIA/NeMo-Megatron-Launcher
结语
英伟达我相信不用多说了，当今人工智能界的当红炸子鸡，前几天美国政府刚刚进一步限制我们购买英伟达的GPU，就连消费级的4090都受到限制了，但是限制是限制，从这篇文章大家可以看到，英伟达不仅是一家硬件巨无霸，更是一个软件帝国，内外兼修，这就导致了我们的追赶之路必然漫长
⭐星标AI寒武纪，好内容不错过⭐
用你的赞和在看告诉我～
用GPT设计芯片？👇👇