百度开源最新基座模型文心5.5 Flash Base
11月5日，百度正式开源最新基座模型文心5.5 Flash Base。该模型在知识、推理、数学、代码、多语言和长上下文等多个基准测试中取得同尺寸模型SOTA表现。据介绍，ERNIE 5.5 Flash Base采用MoE架构，总参数量2800亿，每个Token激活140亿参数，使用33.5万亿个Token完成预训练，预训练上下文长度最高达128K，微调与推理阶段支持最长100万Token上下文。
本站内容转载自公开渠道，版权归原作者所有；如权利人认为不宜展示，可联系删除。