近日，OpenAI 在开发下一代核心模型 GPT-5 的过程中遭遇困境，被曝效果远不达预期。
据报道，OpenAI 已至少完成两轮大规模训练运行，旨在通过海量数据提升模型性能。然而，首轮训练进程慢于预期，意味着更大规模训练耗时且费钱。尽管 GPT-5 性能优于前代，但进步程度尚不足以证明高昂运维成本的合理性。
为获取更多数据，OpenAI 采取多种策略，不仅利用公开数据与许可协议资源，还雇人编写新代码、解决数学问题以创新数据内容，同时使用 o1 模型生成的合成数据。
OpenAI 首席执行官萨姆·阿尔特曼此前已承认，随着 AI 模型复杂度剧增，公司在多线程项目管理和计算资源配置方面面临巨大挑战。因此，预计 GPT-5 不会在下一年发布。
此前，OpenAI 被曝光放弃代号为 Arrakis 的模型，原因是其未达预期训练效率。GPT-5 开发启动于 GPT-4 发布时，至今已超 18 个月，内部代号为猎户座 Orion。华尔街日报披露，GPT-5 的大规模训练至少进行了两轮，每次长达数月且都遇到新问题。
尽管在最好情况下，Orion 表现优于现有产品，但与消耗成本相比，提升并不显著。据估算，一次为期 6 个月的训练仅算力成本就高达 5 亿美元。
公共资源数据耗尽后，OpenAI 雇软件工程师、数学家写代码、解数学题供 GPT-5 学习，还与物理学家合作让其学习科学家理解问题的方式，但进展缓慢。
随着 o3 系列的发布，OpenAI 开启了推理 Scaling Law，o3 在 ARC-AGI 上刷新成绩。但 GPT-5 的推出依旧坎坷不断，其未来发展充满不确定性。
原创文章，作者：讯知在线，如若转载，请注明出处：http://bbs.xzxci.cn/2024/12/23/41804.shtml
