接着昨天的【最新】Andrej Karpathy：计算的本质正在变化，数字实体和物理实体自动化刚开始
今天分享 AI大神 Andrej Karpathy 在伯克利 AI hackathon 演讲的另一部分，这部分主要提及了三个内容：
1）Andrej Karpathy透露原来OpenAI内部早期一个很容易被忽视的Reddit聊天机器人项目，最终引导并发展成了我们现在认为改变计算范式的GPT 系列
2）1万小时定律的魔力
3）持续性重要性
全文
Andrej Karpathy，
OpenAI的成立初衷是为了与Google形成某种平衡。那时，Google就像一只拥有700亿自由现金流的巨兽，几乎雇用了半个AI研究行业。我们只有八个人和一台笔记本电脑，这种对比真的很有趣，也非常符合我的背景。OpenAI最初探索了大量内部项目，我们招聘了一些非常优秀的人才，其中许多项目并没有走太远，但有些确实成功了
小项目成就奇迹
从reddit chatbot到GPT-4 o
举个例子，这是一个早期阶段的小项目，在OpenAI的早期历史中，有人开发了一个Reddit聊天机器人。如果你走到他们的桌子旁，你会看到有人在开发一个Reddit聊天机器人，而我们正试图与Google竞争。你会想，我们应该做更大的事情。很容易忽视这些脆弱的小项目，因为它们在初期非常脆弱。这个Reddit聊天机器人看起来很天真，但实际上，它是一个语言模型，恰好训练在Reddit数据上
但如果你在任何任意数据上训练一个语言模型，而不仅仅是Reddit，当Transformer出现时，它被转化为一个更好的东西，然后领域从Reddit扩展到许多其他网页，突然之间你就有了GPT-1、GPT-2、GPT-3、GPT-4，甚至有了GPT-4 o。所以，实际上，这个很容易被忽视的Reddit聊天机器人，最终引导并发展成了我们现在认为改变计算范式的GPT-4 o，你可以与之对话，真的很棒。我见证了这些“小雪球”的发展过程，这对我来说真的很不可思议。今天，OpenAI的市值可能接近1000亿美元，这真是不可思议。许多你们在过去两天中也在做的小项目，也许它们不会成功，但其中一些可能会成功。你们应该继续推动你们的项目，也许它们会发展成一个真正的大雪球，这是很不可思议的
1万小时定律
下一个我想简要谈谈的是Malcolm Gladwell提出的1万个小时的概念。我非常相信这个理论，我认为在很大程度上，成功来自于重复练习，而且要进行大量的练习。你应该非常愿意投入那1万个小时，不要太在意自己在做什么，是否成功或失败，简单地计算你投入了多少时间。即使是那些我失败的项目，它们没有发展成任何东西，但它们也增加了我开发专业知识的时间总数，让我能够自信地承担这些项目并使其成功
举几个例子，我几周前做了一个非常简陋的网站，这是一个周末项目，叫做awesome movies.life，你可以访问它，我不确定它现在是否还有效。我不推荐你去那里，它试图成为一个电影推荐引擎，因为那天我在想看什么电影，所以我决定自己做一个电影推荐引擎。我把它放上去，有人回复我的推文说，哇，你在一个周末就能让它运行，真是太酷了
我当时反思了一下，因为对我来说，这并不是什么了不起的事情，原因是这个人没有看到这是我第20次做这样的事情了。我知道所有需要遵循的步骤，我需要一个linode（VPS），一个flask服务器，我会写一些JavaScript、样式表和HTML，把它们组合起来。我需要抓取所有这些网页，提取tf-idf向量，训练svm，这些都是我之前已经做过20次的事情，我有以前项目的代码片段，只是在重新组合这些已有的东西。所以把这些组合成一个新的形式并不需要太多工作，这让我能够在周末完成这个项目。这并不疯狂，这只是源于我的专业知识，这只是因为我已经做过20次了，所以我能够自信地完成这个项目
另一个例子是Tesla的自动驾驶项目。我被聘请为Tesla自动驾驶的计算机视觉团队成员，大约七八年前，我加入团队后的几个月内，我基本上从头开始用pytorch重写了计算机视觉深度学习网络的训练代码库，这成为了现在的核心。对一些人来说，这看起来很了不起，但对我来说并不是，因为我在读博士期间花了五年时间做类似的事情。我知道需要什么，我需要我的训练集和评估集，我需要用pytorch编写训练循环，我需要配置文件和日志目录，我需要引入重置机制，加入检测、回归和分类模块。整个过程我都能预见到，这只是源于经验，这是因为我之前已经做过20次了。所以我认为这有很大差别，看起来很了不起的事情，如果你之前已经做过20次，对你来说可能就不那么了不起了。所以尽量达到1万个小时的水平，这真的很重要
如果你每天工作6小时，大约5年时间就能达到1万个小时，这相当于一个博士学位的时间。你需要在一个领域内建立专业知识，我认为这大致是正确的。
持续性
另一件对我很有帮助的事情是保持工作的持续性，了解你的心理状态，大脑的工作原理以及它需要什么来保持动力和灵感。特别是你的大脑是一个奖励机器，它需要奖励。一个好的方式是通过做项目来获得奖励。继续做项目，发布它们。我有一个网页片段，展示了我过去做的一些项目，这些是黑客马拉松项目和随机项目，并不是所有的项目都很好，有些并不太好。但我喜欢项目的几点原因之一是，它们让你从头到尾全程参与，深入学习。通常在上课时，你是广泛学习很多东西，以防将来需要用到。而做项目时，你知道自己需要什么，并在需要时学习，只是为了让项目运行。我认为这是一个非常不同的学习模式，与广泛学习非常互补，我百分之百鼓励人们做项目
另一个是把它们发布出去，这也是一个很好的“绝地心法”技巧。原因是，当你发布东西时，你会想到所有会看到它的人——你的朋友、同事、家人、未来的雇主等。这会大大提高你对自己工作的要求，你会更加努力，因为你不希望它看起来很糟糕，所以你会付出更多努力，使它变得更好。这真的很有帮助。
最后，当其他人看到你的项目时，你会获得奖励，因为他们喜欢它，欣赏它，基于它进行工作，这对你的大脑感觉很好。这样一来，你会得到多巴胺，感觉很好，这样你就可以积累1万个小时的经验，这对你非常有帮助，把你的项目从一个小雪球发展成一个大雪球，实际上改变世界
总之，我认为从宏观上讲就是这样，信息是继续坚持。希望这就是我们一起构建的未来，把我们的努力集合在一起，谢谢大家
⭐星标AI寒武纪，好内容不错过⭐
用你的赞和在看告诉我～
大佬教学👇👇