微软build 2024发布会重磅来袭，软件帝国的实力再次彰显，当然今年核心焦点就是AI，微软几乎用AI在重构一切
这可能是我们第一次全方位感受微软的对AI未来的发展和应用的理解，我们一起看看这次发布会微软是怎么炫技的，总结不足以理解全貌，所以这里奉上发布会完整实录（文后有彩蛋）
微软build 2024大会主题演讲中文实录
萨蒂亚·纳德拉 (Satya Nadella) 主题演讲
我们又一次站在了历史的转折点，但这次的规模和范围要大得多，更广泛
从数据中心的功耗和冷却层到边缘的NPU，每一层技术堆栈都在发生变化
自现代计算诞生以来，我们有两个主要的梦想：
让计算机理解我们，而不是我们理解计算机
在信息不断增长的世界里，让计算机帮助我们更有效地对所有信息进行推理、规划和行动。
经过70多年的努力，这两个梦想正在实现
推动人工智能革命的驱动力
这可能是一个系统发展的黄金时代，是什么在驱动着它？
和摩尔定律推动信息革命一样，深度神经网络的规模化定律和模型架构，以及使用数据生成数据的新颖方法，正在推动人工智能革命。
摩尔定律的增长速度相对稳定，而深度神经网络的增长速度更快，每6个月翻一番。
规模化定律的效应为我们带来了新的自然用户界面，它支持文本、语音、图像和视频作为输入和输出。
人工智能拥有记忆，可以保留重要的上下文，回忆起我们个人知识和数据。
新的推理和规划能力帮助我们理解复杂的上下文，完成复杂的任务，并减少我们的认知负荷
自上次Build大会以来，我们已经构建了三个平台：
微软Copilot，您的日常助手，它将知识和专业知识触手可及，帮助您采取行动
Copilot堆栈，您可以使用它来构建AI应用程序、解决方案和体验
Copilot PC，世界上速度最快的以人工智能为先的PC
Copilot PC
我们将人工智能作为Windows的一级命名空间。
我们正在推出Windows Copilot Runtime，它将Windows打造成为构建AI应用程序的最佳平台。
Win32带来了图形用户界面，我们相信Windows Copilot Runtime将为AI带来自由。
它从Windows Copilot库开始，这是一个现成的本地API集合，可以帮助您将昨天的AI功能集成到新的体验中。
这包括针对工作室特效的无代码集成，例如创意滤镜、提示器、语音焦点等等。
您可以通过API直接调用这些模型。
我们提供超过40个开箱即用的模型，包括我们的新成员Bison，这是一个专门为在您的Copilot PC上的NPU上本地运行而设计的轻量级语言模型。
Copilot库使您能够轻松地将RAG集成到您应用程序的设备数据中，并构建一个向量存储。
我们今天宣布将通过Windows DirectML原生支持PyTorch和WebNN框架。
PyTorch的原生支持意味着数千个开源模型将在Windows上开箱即用。
WebNN为Web开发者提供了一个Web原生的机器学习框架，可以让他们直接访问GPU和NPU。
PyTorch和WebNN目前处于开发者预览阶段。
微软Build大会其他重要公告
我们今天宣布了50多项新产品和合作伙伴关系，为开发者创造更多机会。
我们始终是一家平台公司，我们的目标是构建最完整的端到端技术栈，从基础设施到数据，从工具到应用程序扩展性，使您可以利用这项技术的强大功能来构建自己的应用程序。
以下是本次大会的主要内容：
基础设施
Azure是世界上最完整的可扩展AI基础设施，满足您在这个AI时代的需求。
我们正在将Azure打造成全球计算机，拥有最全面的全球基础设施，拥有超过60个数据中心区域，比任何其他云提供商都多。
过去一年，我们扩大了数据中心区域和AI容量，从日本到墨西哥，从西班牙到威斯康星州。
我们正在让最优质的AI基础设施在全球范围内可用。
我们专注于交付可持续的云服务。
我们正在按计划实现我们的目标，即在明年之前让我们的数据中心完全由可再生能源供电。
我们正在优化从数据中心到网络的每一层技术栈的电源和效率。
我们最新的数据中心设计专门针对这些AI工作负载，以便我们可以有效且负责任地使用每一兆瓦电力来降低AI的成本和功耗。
我们正在采用先进的数据中心冷却技术，以适应工作负载的热分布并与运行地点的环境相匹配。
在硅层，我们可以动态地将工作负载映射到最佳的加速AI硬件，从而实现最佳性能。
我们定制的IO硬件和服务器设计使我们能够提供更快的网络、远程存储和本地存储吞吐量。
这种端到端方法帮助我们实现了前所未有的规模。
去年11月，我们宣布了云中最强大的AI超级计算机，用于使用一小部分云基础设施进行训练。
过去六个月，我们在Azure上增加了30倍的超级计算能力。
我们不仅在扩展训练集群，还在全球范围内扩展推理集群，将Azure AI服务可用的国家数量增加到原来的四倍。
我们AI基础设施的核心是世界上最先进的AI加速器。
我们提供最全面的AI加速器选择，包括英伟达和AMD，以及我们自己的Azure Maia，所有这些加速器都针对工作负载进行了动态优化。
这意味着无论您是使用微软Copilot还是构建自己的Copilot应用程序，我们都能确保您以最佳的成本获得最佳的加速器性能。
自GPT-4发布以来，其成本降低了12倍，速度提高了6倍，随着我们改进系统架构，将继续看到这种进步。
所有这些都源于与英伟达的深厚合作关系，涵盖了整个Copilot堆栈，包括他们的硬件和系统软件创新。
我们在Azure上提供GPU上的机密计算，以帮助您端到端保护AI模型周围的敏感数据。
我们将在今年晚些时候将最新的H100引入Azure，并且我们将成为首批提供英伟达Blackwell GPU（B100）和GB200配置的云提供商之一。
我们将继续与英伟达合作，训练和优化大型语言模型，如GPT-4，以及轻量级语言模型，如Bison系列。
除硬件外，我们还将英伟达的关键企业平台产品带入我们的云，例如Omniverse Cloud和DGX Cloud，并与更广泛的微软云深度集成。
例如，英伟达最近宣布，他们的DGX Cloud与微软Fabric原生集成，这意味着您可以使用DGX Cloud训练模型，并完全访问Fabric数据。
Omniverse API将在Azure上率先提供，供开发者构建他们的工业AI解决方案。
我们还与英伟达合作，为行业特定的开发者服务提供支持，并在Azure上提供最佳体验。
我们与英伟达的合作成果令人振奋。
我很高兴地宣布，我们是第一个提供基于AMD MI300X AI加速器的VM的云提供商。
这是AMD和微软的一个重要里程碑，我们已经合作了一段时间，很高兴看到它今天已投入使用。
它在GPT-4推理方面提供了最佳的性价比，我们将继续推进Azure Maia。
我们的第一个集群已经投入使用，很快，如果您使用的是Copilot或Azure OpenAI服务，您的一些提示将由Maia硬件提供服务。
除AI外，我们端到端的系统优化还使云原生应用程序和云原生应用程序的开发得到改善。
半年前，我们宣布了我们的第一个通用Arm架构计算处理器，微软Cobalt。
今天，我很高兴地宣布，基于Cobalt的VM的公开预览版已经发布。
Cobalt被用于Microsoft 365中的视频处理和权限管理，帮助为Microsoft Teams等服务上的数十亿次对话提供支持。
我们将相同的Arm架构性能和效率提供给许多客户，包括Elastic、MongoDB、Siemens、Snowflake和Teradata。
在我们最新的基准数据和测试中，我们的Cobalt 100 VM比任何其他通用的Arm架构VM都提供了高达40%的性能提升。
我们对Cobalt进入市场感到非常兴奋。
基础模型
使用Azure AI，我们提供最广泛的选择，包括前沿模型和开源模型，包括LLM和SLM，您可以选择最适合您的独特需求和应用程序需求的模型。
今天，超过50,000个组织正在使用Azure AI。
这是一股强大的力量，而这一切都始于我们与OpenAI最重要的战略合作伙伴关系。
上周，OpenAI发布了他们的最新多模态模型GPT-4，它在Azure上进行了训练。
这是一次绝对的突破，它支持文本、音频、图像和视频作为输入和输出，可以像人类一样进行快速流暢的对话，甚至可以在句子中间被打断。
GPT-4在各种模态的基准测试中也表现出色，它始终可以为您提供最佳答案，因为它具有最先进的性能，并可以理解您在提示中提供的实际信息。
OpenAI上周的演示真是太神奇了。
昨天，我们展示了Copilot如何利用GPT-4。
请注意，您可以将您的屏幕或会话作为Copilot的提示，让它在您进行的任何操作中提供帮助。
Copilot和GPT-4
Copilot是您的个人助手，可以帮助您完成任何任务，并让您保持在工作流程中。
随着OpenAI的创新，我们承诺将所有创新都带到Azure。
在OpenAI宣布GPT-4的同一天，我们在Azure OpenAI服务上提供了该模型供测试。
今天，我很高兴地宣布，它在Azure AI上正式发布。
这意味着现在您可以利用这项功能构建突破性的应用程序。
最酷的一件事是，现在任何应用程序，任何网站，都可以转化为一个完整的、多模态的、全双工的对话画布。
GPT-4可以与用户保持同步，即使用户很匆忙，它也能理解用户的意图并提供帮助。
我非常感谢OpenAI团队的合作伙伴关系，以及他们在创新方面的负责任态度，这帮助我们的行业不断向前发展。
Sam将在稍后加入Kevin，与大家分享更多关于未来的发展方向，以及如何体验这些新功能。
其他模型和Azure AI
我们还将提供许多其他模型，包括Cohere、Databricks、Jasper、Meta Mistral、Snowflake，全部都集成到Azure AI中。
我们希望支持来自所有国家、所有语言的最广泛的模型集。
我很高兴地宣布，我们将提供来自Cohere、G42、NTT Data、NYXLA等等的模型，作为服务，因为这是您轻松访问和管理AI模型的最佳方式。
我们也热爱开源。
两年前，在Build大会上，我们第一个与Hugging Face合作，让您能够轻松地通过Azure AI访问领先的开源库和最先进的语言模型。
今天，我很高兴地宣布，我们正在扩大合作伙伴关系，将更多来自Hugging Face的模型引入Azure AI Studio，包括文本生成、文本嵌入、图像生成。
我们不仅在添加大型语言模型，而且还引领着轻量级语言模型的革命。
我们的Bison系列轻量级语言模型是最强大、最具成本效益的，它们在各种语言、推理、编码和数学基准测试中都超越了相同尺寸甚至更大尺寸的模型。
从性能与参数数量的比率来看，它确实是同类最佳。
今天，我们正在为Bison系列添加新模型，以在质量和成本曲线之间提供更大的灵活性。
我们推出了Bison Vision，这是一个拥有42亿参数的多模态模型，具有语言和视觉能力。
它可以用于推理现实世界的图像，或生成见解并回答有关图像的问题。
我们还推出了Bison Small（70亿参数）和Bison Medium（140亿参数）模型。
使用Bison，您可以构建跨越Web、Android、iOS、Windows和边缘的应用程序。
它们可以利用本地硬件（如果有），并在没有本地硬件的情况下回退到云，简化了VS开发者使用一个AI模型支持多个平台的复杂工作。
许多开发者已经开始使用Bison来做一些了不起的事情，例如：
Amity Solutions，一家泰国公司，正在使用Bison为印度农民构建Copilot，让他们可以询问有关作物的问题。
Epic Healthcare正在使用Bison快速高效地总结复杂的病人病历。
Khan Academy正在使用Bison让数学教育更容易获得。
Khan Academy和Bison
我很高兴地宣布，我们与Khan Academy建立了新的合作伙伴关系，我们将共同努力使用Bison让数学教育更触手可及。
我也很高兴地宣布，他们将把他们的AI助手Khanmigo免费提供给所有美国教师。
Khanmigo可以让每位学生拥有一个个性化的导师，让每位教师拥有一个教学助手。
它使用针对数学辅导专门调整的Bison模型，使教师能够更专注于学生的个人需求。
与微软的合作使他们能够免费为美国教师提供这些工具，这将对美国教育产生重大影响。
这些工具将帮助学生成为创新者，成为提问者，这正是我们每天早晨起床的原因，因为这是我们的未来，是下一代。
Azure AI Studio
当然，不仅仅是模型，还需要工具来构建这些体验。
Azure AI Studio提供端到端的工具解决方案，用于开发和保护您构建的Copilot应用程序。
我们还提供工具和指南来评估您的AI模型和应用程序的性能和质量。
今天，我很高兴地宣布，Azure AI Studio正式发布，它是一个端到端的开发环境，用于构建、训练和微调AI模型，并以负责任的方式进行。
它包括针对AI安全性的内置支持，这是AI时代最重要的功能之一。
Azure AI Studio包含最先进的安全工具，可以帮助您检测模型输出中的幻觉、风险和安全监控，还可以帮助您了解哪些输入和输出触发了内容过滤器。
今天，我们添加了新功能，包括自定义类别，这样您就可以为提示和补全创建独特的过滤器，并提供了快速部署选项，这对于在将这些模型部署到现实世界时至关重要。
如果出现超出Azure AI Studio范围的新的威胁，我们会意识到，在一些高级应用程序中，您可能需要对这些模型进行更深入的自定义，以满足非常特定的用例。
今天，我很高兴地宣布，Azure AI Custom Models即将发布，它将使您能够训练针对您的领域和数据的自定义模型，这些数据可能是专有的。
与OpenAI合作的构建者和数据科学家将与您一起构建这些自定义模型。
输出将是特定于领域的，并且将是多任务和多模态的，在基准测试中表现出色，甚至可能满足特定的语言能力要求。
数据
为了训练、微调和接地您的模型，您需要让数据处于最佳状态。
我们正在构建完整的 Data Estate，从运营存储到分析。
我们还在Azure中为所有运营存储添加了AI功能，无论是Cosmos DB、SQL还是PostgreSQL。
核心是智能数据平台，微软Fabric。
现在，超过11,000个客户，包括各行各业的领先企业，都在使用Fabric。
Fabric是一个集成的SAS平台，它提供了您所需的一切，其计算和存储在最基础的层面上深度集成，您的体验、治理等等都实现了统一，更重要的是，商业模式也实现了统一。
Fabric还可以处理任何地方的数据，不仅在Azure上，还可以处理AWS、GCP，甚至是您自己的内部数据中心。
今天，我们正在迈出下一步，在Fabric中引入实时智能。
如今，客户拥有来自物联网系统和遥测系统的越来越多的实时数据。
事实上，云应用程序本身也在生成大量数据。
使用Fabric，任何人都可以在您的整个Data Estate中解锁可操作的见解。
我们正在简化Fabric的设计、构建和与您自己的应用程序的互操作性。
实际上，我们正在构建一个新的应用程序平台，其中包含Fabric工作负载开发工具包，这样像Esri这样的公司就可以将他们的空间分析与Fabric集成，以便客户可以使用Azure丰富的工具和库从他们自己的位置数据中生成见解。
这是第一次，分析堆栈成为一流的应用程序平台。
除Fabric外，我们还在整个数据堆栈中集成AI的力量。
毫无疑问，RAG是任何AI驱动的应用程序的核心，尤其是在今天的企业中。
Azure AI Search使您能够以任何规模运行RAG，并使用最先进的检索系统提供高度准确的响应。
事实上，ChatGPT支持GPT-4的辅助API，都是由今天的Azure AI Search提供支持的。
Azure AI Search与Azure Data Lake集成，可以自动索引您的非结构化数据。
它也与Azure AI Studio集成，支持您使用自己的嵌入模型。
过去一年，Azure Search已发展成为一项核心的开发者服务。
开发者工具
在我们作为开发者工具公司成立近50年后，我们再次重新定义软件开发。
Copilot是我们这个生成式AI时代的第一个成功产品，也是目前应用最广泛的开发者工具，180万订阅用户，遍布50,000个组织。
Copilot让地球上的每位开发者都能以自己的母语访问编程语言和编程知识。
任何人都可以开始编程，无论是在印地语还是巴西葡萄牙语中。
Copilot将编程的乐趣带回了他们的母语。
使用Copilot Workspace，保持工作流程从未如此容易。
我们离一个世界更近了一步，在这个世界里，任何人都可以立即将想法转化为代码。
您从一个问题开始，Copilot会根据对您的代码库的深入理解，创建一个规范。
然后它创建一个计划，您可以执行它，以生成跨越整个代码库的代码，包括多个文件。
在这一过程中，从问题到规范，从计划到代码，您始终掌控着全局，可以随时编辑它。
这种方法代表了构建软件的全新方式，我们期待在未来几个月内将其更广泛地推广。
今天，我们正在向前迈出又一步，将更广泛的开发者工具和服务生态系统与Copilot连接起来。
我们很高兴地宣布，Copilot扩展现已推出。
现在，您可以使用第三方服务的功能来自定义Copilot，无论是Docker、Sentry等等。
当然，我们还有针对Azure的Copilot扩展，您可以使用自然语言立即部署到Azure，获取有关您的Azure资源的信息。
Copilot为编码做的事情，我们现在也正在为基础设施和运维做。
GitHub Copilot
Copilot可以为您在您最喜欢的编辑器中提供建议，例如在这里，我正在编写单元测试。
不管您最习惯使用哪种语言，Copilot都能很好地与您配合。
让我们尝试一个简单的请求，比如用Java编写素数测试，但我们用西班牙语语音进行交流。
Copilot可以将自然语言转化为代码，反之亦然。
那超出代码范围呢？
使用新的GitHub Copilot扩展，您现在可以将来自连接系统的上下文带入您的工作中。
我可以询问Azure，我的应用程序部署在哪里，可以询问我的可用Azure资源，或者可以诊断我的环境问题。
这不仅仅适用于Azure，任何开发者现在都可以为GitHub Copilot创建扩展，包括您堆栈中的任何工具，包括您自己的内部工具。
开发者75%的时间都花在了编码之外，例如收集需求、编写规范和创建计划。
让我们首次在舞台上演示GitHub Copilot如何帮助完成这些工作。
我的工作通常从查看GitHub问题开始，我们想支持产品描述的富文本输入。
让我们打开Workspace并寻求帮助。
Copilot会解读问题的意图，以了解所需的内容，然后它会查看整个代码库，并建议需要进行哪些更改。
这种规范是完全可编辑的，整个过程是迭代的。
现在，Copilot可以帮助我们构建一个计划，说明如何实现这种变化。
这是一个很好的开始，但我们不能忘记文档。
让我们编辑计划，让Copilot更新我们的自述文件。
然后，我们甚至可以寻求Copilot的帮助来开始实现代码。
这只是一个简单的例子，在一个大型企业代码库中，有数万个文件和数十个利益相关者参与其中，这意味着会有很多会议，很多很多会议。
Workspace帮助您专注于需要更改的内容，而且，作为开发者，我始终掌控着全局，我可以准确地看到Copilot建议的更改，甚至可以获得实时预览。
让我们测试一下输入，看起来很棒！
我可以回到VS Code中编辑我的代码，或者将这些更改提交为拉取请求，与我的团队共享。
GitHub Copilot、Copilot Extensions和Copilot Workspace帮助您专注于解决问题，并让您保持在工作流程中。
微软Copilot
保持工作流程是每个人梦寐以求的，它正在成为现实。
现在，让我们谈谈技术栈的顶端，微软Copilot。
我们构建了Copilot，以便您可以访问世界上的知识，以及您组织内部的知识，并据此采取行动。
Copilot已经产生了显著的影响，它正在民主化跨组织的专业知识，并产生了真正的级联效应。
这让我想起了PC时代初期，工作工件和工作流程都在发生变化。
它对企业业务流程产生了广泛的影响，它降低了我们每个人可以做到的任何事情的底线，同时提高了上限。
由于没有两个业务流程是相同的，使用Copilot Studio，您现在可以扩展Copilot，以根据您的业务流程和工作流程进行自定义。
今天，我们推出了Copilot Studio中的Copilot Connectors，因此您可以将Copilot接地到整个图表中的数据，包括Power Platform、Fabric、Dataverse，以及来自Adobe、Atlassian、ServiceNow、Snowflake等等的第三方SAS应用程序连接器。
这使得将Copilot接地到第一方和第三方的业务数据成为一个向导式的体验，使您能够快速整合您自己的组织知识和数据。
我们还将Copilot从个人助手扩展为团队助手。
今天，我很高兴地宣布Team Copilot，您可以在团队协作的任何地方调用Team Copilot，无论是团队、Loop、Planner等等。
它可以作为您在团队中的会议主持人，创建议程、跟踪时间、记录笔记，或者作为您的协作者，在聊天中提供信息，跟踪行动项，解决未决问题，甚至可以作为您的项目经理，确保您团队正在进行的每个项目都顺利进行。
这些功能将在今年晚些时候提供预览。
我们不会止步于此，使用Copilot Studio，任何人都可以构建具有代理功能的Copilot，并代表您独立并主动地协调任务。
您只需提供Copilot的职位描述，或从我们的预制模板中选择一个，并提供必要的知识和行动，Copilot将作为后台异步执行。
这将是明年发生的关键变化之一，您将拥有Copilot和代理，它们将具有异步行为。
您可以将想法委托给Copilot，以自动化长时间运行的业务流程。
Copilot甚至可以在遇到不了解或无法处理的情况时寻求帮助。
Copilot Studio
使用Copilot Studio重新定义业务流程，创建充当代理的Copilot，代表您独立工作。
只需描述您希望Copilot做什么。
轻松配置您的Copilot，包括说明、触发器、知识和行动。
在部署之前快速测试您的Copilot。
无缝地跨多个渠道发布。
观看它如何使用内存来保持上下文，推理用户输入，并管理长时间运行的任务。
Copilot可以从反馈中学习，并不断改进，您始终掌控着全局。
让Copilot为您工作
彩蛋
⭐星标AI寒武纪，好内容不错过⭐
用你的赞和在看告诉我～
👇👇