AI行业专题报告:从模型视角看端侧AI-模型技术持续演进,交互体验有望升级
基础的构建:模型实现高效压缩是端侧AI的第一步。模型尺寸变小、同时具备较好性能,是端侧AI的前提。目前,在10B参数规模以下的模型中,7B尺寸占据主流,3B及以下小模型仍在探索,部分小模型性能正逐步接近更大参数模型,如谷歌Gemini-Nano模型在部分测试基准上接近GeminiPro、Meta Llama-3-8B模型表现可与Llama-2-70B匹敌。模型厂商为兼顾模型尺寸与性能,在算法优化上进行积极探索,在模型压缩技术、稀疏注意力机制、多头注意力变体等领域取得持续进展,帮助模型减少参数、降低存算需求,同时保持较好的性能,为端侧AI奠定小模型的基础。