前 OpenAI 创始人，特斯拉自动驾驶团队负责人karpathy 新「AI + 教育」公司首秀课程 「LLM101n」大纲放出
在本课程中，将构建一个 Storyteller AI 大语言模型 (LLM)。你将能够使用 AI 创建、完善和阐释小故事。课程将使用 Python、C 和 CUDA 从头开始，以最少的计算机科学先决条件构建从基础知识到类似于 ChatGPT 的功能性， Web 应用程序的端到端的一切。最后，你应该对 AI、LLMs 和更广泛的深度学习有相对深入的了解
教学大纲
第01章 Bigram Language Model（语言建模）
第02章 Micrograd（机器学习、反向传播）
第03章 N-gram模型（多层感知器、matmul、gelu）
第04章Attention（attention、softmax、位置编码器）
第05章 Transformer（变压器、残差、layernorm、GPT-2）
第06章 Tokenization（minBPE，字节对编码）
第07章 优化（初始化、优化、AdamW）
第08章 极品飞车I：设备（设备、CPU、GPU……）
第09章 极品飞车II：精度（混合精度训练，fp16，bf16，fp8，...）
第10章 极品飞车III：分布式（分布式优化、DDP、ZeRO）
第11章数据集（数据集、数据加载、合成数据生成）
第十二章 推论一：kv-cache（kv-cache）
第十三章 推论二：量化（quantization）
第14章 Finetuning I：SFT（有监督微调SFT、PEFT、LoRA、聊天）
第十五章 Finetuning II：RL（强化学习、RLHF、PPO、DPO）
第 16 章 部署（API、Web 应用程序）
第17章多模态（VQVAE，扩散变压器）
附录
上述进展的其他主题：
编程语言：汇编、C、Python
数据类型：整数、浮点、字符串（ASCII、Unicode、UTF-8）
张量：形状、视图、步幅、连续......
深度学习框架：PyTorch、JAX
神经网络架构：GPT（1,2,3,4），Llama（RoPE，RMSNorm，GQA），MoE，...
多模态：图像、音频、视频、VQVAE、VQGAN、扩散
⭐星标AI寒武纪，好内容不错过⭐
用你的赞和在看告诉我～
纯视觉你看好吗？👇👇