在2024年12月10日举办的神经信息处理系统大会（NeurIPS 2024）上，OpenAI的前首席科学家Ilya Sutskever发表了一场引人注目的演讲，他大胆预言：“我们所熟知的预训练时代即将终结（Pre-training as we know it will end）”。这一观点在科技界引发了广泛讨论和热议。
Sutskever在演讲中指出，数据是人工智能发展的核心燃料，但这一燃料即将枯竭。他指出，由于全球数据的增长已经接近峰值，依赖海量数据进行训练的预训练模型将面临严峻挑战。他比喻道，数据就像人工智能的化石燃料，我们正在消耗这一有限资源，而未来不会再有更多新的数据。
Sutskever进一步解释，尽管现有的数据仍然可以支持人工智能的发展，但这一行业在新数据的获取上已经接近枯竭。他提到，BERT、GPT等大规模预训练模型近年来取得了巨大成功，但这些模型的训练依赖于大量的标记和未标记数据。随着数据增长的停滞，这一传统的训练方式将难以为继。
在演讲中，Sutskever还提出了未来人工智能发展的几个关键方向。他认为，未来的AI系统将具备四个关键特征：主动性（Agentic）、推理能力（Reasons）、理解力（Understands）和自我意识（Self Aware）。这些系统将不再仅依赖于模式匹配，而是能够通过类似思考的方式逐步解决问题。
Sutskever特别强调了推理能力的重要性。他指出，未来的AI系统将能够从有限的数据中理解事物，并且不会感到困惑。这些系统的推理能力越强，其行为就越不可预测。他将这一趋势与高级AI在国际象棋中的表现进行了比较，指出这些系统将能够做出人类棋手无法预测的动作。
对于Sutskever的预言，科技界反应不一。谷歌的Logan Kilpatrick在推特上表示：“预训练只有在你失去想象力时才算结束。”而前Meta具身智能团队的高级总监Dhruv Batra则持不同观点，他认为我们并不缺少数据，只是用完了人类书写的文本，而视频数据的数量远超处理能力。
然而，Sutskever的观点也得到了部分业内人士的支持。容联云副总裁兼诸葛智能创始人孔淼坦言，从性价比来说，很多企业不适合训练大模型，有些问题最终通过一些小模型就能解决。他认为，追求大模型的通用人工智能（AGI）虽然没错，但在当前节点上付出的成本是巨大的。
Sutskever在演讲中还提到了生物学对人工智能的启发。他引用了不同物种大脑与体重比例的研究，指出人类祖先在这一比例上显示出与其他哺乳动物不同的斜率。他建议，AI可能会发现类似的扩展路径，超越当前的预训练方法。
在NeurIPS 2024上，Sutskever的演讲无疑为人工智能的未来发展方向提供了新的思考。尽管科技界对于预训练时代的终结是否即将到来存在争议，但这一话题无疑已经引发了广泛的关注和讨论。
