标签:MoE架构

马斯克开源3140亿参数巨型语言模型Grok,对标OpenAI,免费可商用

事件概述 马斯克旗下公司xAI于2024年3月18日开源了其3140亿参数的巨型语言模型Grok-1。 Grok-1采用混合专家(MoE)架构,是目前开源模型中参数量最大的...

苹果发布的最新AI大模型

苹果于2024年3月8日发布了其最新的大型语言模型(LLM)MM1,该模型拥有300亿参数,并采用MoE架构