我的观点是“需要”。至少从目前来看,通用人工智能的大模型,在短时间内依然很难解决各种专业领域的问题,其原因我概括性的总结了如下一些方面,供大家一起探讨。
首先,不同领域拥有各⾃ 特定的知识和术语,需要针对该领域进⾏训练的⼤模型才能更好地理解和处理相关⽂本。例如,在医学领域,需要训练具有医学知识的⼤模型,以更准确地理解和⽣成医学⽂本。
其次,各个领域通常有⾃⼰独特的语⾔⻛格和惯⽤语,这些特点对于模型的训练和⽣成都很重要,比如小说创作和论文素材的语言风格就相差甚远。因此,专⻔针对某个领域进⾏训练的⼤模型可以更好地掌握该领域的语⾔特点,⽣成更符合该领域要求的⽂本。
再者,不同领域对于⽂本处理的需求也有所差异。例如,⾦融领域可能更关注数字和统计数据的处理,⽽法律领域可能更关注法律条款和案例的解析。因此,为了更好地满⾜不同领域的需求,需要专⻔针对各个领域进⾏训练的⼤模型。
另外,某些领域的数据可能相对较少,通⽤的⼤模型可能对这种领域训练的 知识语料非常有限,在推理阶段效果一定不好。因此,针对特定领域进⾏训练的⼤模型可以更好地利⽤该领域的数据,提⾼模型的性能和效果。
当然,尽管需要各⾃的⼤模型来服务不同领域,也不是说每个专业领域都要从0开始训练自己的大模型,从成本角度考虑目前也是不现实的。
不同领域也可以共享⼀些通⽤的模型和技术,例如:可以利用通⽤的⼤模型处理通⽤的⽂本任务,⽽领域特定的模型可以在通⽤模型的基础上做增强和补充,或者利用微调技术( Fine-Tuning)对通用大模型加以微调训练,以适应特定领域的需求,这样可以在满⾜领域需求的同时,也能减少模型的重复训练和资源消耗。
当下,如果您考虑训练自己专业领域模型还不具备条件,比如:可训练的数据量不够多,或者一时间承担不了训练垂域大模型的研发成本,那么如今的 RAG技术方案 也是当下的主流选择,因此,您也可以先尝试使用RAG方案应用上大模型的能力。
往期推荐:
1. RAG知识库中文档包含表格数据如何处理?
2. 深入理解:BERT模型
3. 彻底搞懂大模型“预训练”和“微调”两个概念
好了,本期内容就是这么多,希望能够帮助到您,感谢您能读到最后,如果觉得内容不错,请您点赞转发给予鼓励,咱们下期再见。