品玩7月9日讯,据Techtimes 报道,Meta AI推出被称为 MobileLLM 的紧凑型AI模型,尽管参数较少,但它与其他人工智能模型一样有效,使其在计算能力较弱的智能手机上也能发挥作用。
MobileLLM 的研究团队来自 Meta Reality Labs、PyTorch 和 Meta AI study的研究人员,他们专注于优化参数少于十亿的模型。MobileLLM 强调模型深度而非广度、整合嵌入共享和分组查询关注,以及采用革命性的即时分块权重共享方法。
这些设计决策使得 MobileLLM 在典型的基准工作负载上比之前的同类模型高出 2.7% 到 4.3%。