2017年谷歌团队提出Transformer架构，创造性推动注意力层以及前馈神经网络层的发展，加速提升模型性能。2018–2020年是预训练Transformer模型时代，GPT-3以1750亿参数突破大规模预训练的可能性界限，而SFT及RLHF等技术帮助模型加速对齐人类价值观。此后随着训练侧Scaling Law描述的幂律关系出现收益递减，叠加高质量文本数据或逐步被AI耗尽，推理模型开始进入人们视野；以OpenAI发布o1-preview将AIME 2024的模型回答准确率从GPT4o的13.4%提升至56.7%，模型维持加速迭代更新。
