首页 > 笔记本 > 笔记本资讯 > 笔记本_行业动态> 正文

迄今最大!马斯克AI大模型Grok开源:参数量达3140亿

快科技 整合编辑: 杨玥锴 发布于:2024-03-18 11:10

媒体报道称,由马斯克支持的人工智能初创公司xAI宣布其大型语言模型Grok-1已经开源,并可供公众下载。

Grok-1是基于混合专家系统(Mixture-of-Experts, MoE)技术构建的一款大型语言模型,拥有3140亿个参数,超过了OpenAI GPT-3.5的1750亿参数,成为目前参数量最大的开源大语言模型。该模型按照Apache 2.0协议开放了其模型权重和架构。

xAI表示,Grok-1完全由公司内部自行训练,预训练阶段于2023年10月完成。此次发布的是预训练结束时的基础模型检查点,这意味着发布的模型尚未针对任何特定应用进行微调。

xAI的目标是与OpenAI、谷歌、微软等公司在大模型领域展开竞争。该公司的团队由来自OpenAI、谷歌DeepMind、谷歌研究院、微软研究院等知名机构的成员组成。

尽管xAI尚未公布Grok-1的具体测试成绩,但该模型与其他公司的大型模型之间的比较将成为业界关注的焦点。

AI   马斯克
快科技

网友评论

聚超值•精选

推荐 手机 笔记本 影像 硬件 家居 商用 企业 出行 未来
二维码 回到顶部