AI大模型深度报告:大模型研究框架(2025)
2017年谷歌团队提出Transformer架构,创造性推动注意力层以及前馈神经网络层的发展,加速提升模型性能。2018–2020年是预训练Transformer模型时代,GPT-3以1750亿参数突破大规模预训练的可能性界限,而SFT及RLHF等技术帮助模型加速对齐人类价值观。此后随着训练侧Scaling Law描述的幂律关系出现收益递减,叠加高质量文本数据或逐步被AI耗尽,推理模型开始进入人们视野;以OpenAI发布o1-preview将AIME 2024的模型回答准确率从GPT4o的13.4%提升至56.7%,模型维持加速迭代更新。