核心内容摘要
热心的朝阳群众5
引言超越更大模型如果你仅通过头条新闻关注AI故事似乎简单且重复一个新模型在基准测试中胜出宣称拥有更长的上下文窗口并塞进了更多参数。
但在这股蛮力进步的叙事之下一种更奇特、更复杂的现实正从研究前沿浮现。
我们逐渐认识到单纯地把模型做大并非答案而且它们的一些缺陷可能在数学上是永久性的。
这股研究浪潮揭示了一个更混乱、更有趣的未来。
我们看到模型可能因垃圾数据而患上“脑退化”规模扩展无法克服的基本限制以及旨在“说话”前先在内部“思考”的新型架构。
本文提炼了五个最令人惊讶且重要的真相它们正从实验室中浮现悄然重塑着人工智能的未来。
“只管放大”的时代正式结束过去几年人工智能的主导策略一直是增加模型大小和训练数据。
但据Ilya Sutskever等领军人物所言那个时代现已结束。
他认为“