马斯克宣布开源Grok

今天凌晨，马斯克旗下大模型公司u00a0xAIu00a0宣布正式开源u00a03140u00a0亿参数的混合专家MoE模型u00a0Grok-1，以及模型的权重和网络架构。让u00a0Grok-1u00a0成为了如今参数量最大的开源大语言模型。

作为一个彩蛋，xAIu00a0表示，这则新闻的封面图也就是上图是根据u00a0Groku00a0提示，使用u00a0Midjourneyu00a0生成的，提示词为：“神经网络的u00a03Du00a0插图，具有透明节点和发光连接，以不同粗细和颜色的连接线展现不同的权重Au00a03Du00a0illustrationu00a0ofu00a0au00a0neuralu00a0network，u00a0withu00a0transparentu00a0nodesu00a0andu00a0glowingu00a0connections，u00a0showcasingu00a0theu00a0varyingu00a0weightsu00a0asu00a0differentu00a0thicknessesu00a0andu00a0colorsu00a0ofu00a0theu00a0connectingu00a0lines.。”

而开源u00a0Groku00a0后，马斯克也在第一时间对竞争者u00a0OpenAIu00a0进行了“关心”：“我们想了解更多u00a0OpenAIu00a0的u00a0Open开放部分。”

根据u00a0xAIu00a0官方公布的消息，我们可以看到u00a0Grok-1u00a0的三大特点：

基于大量文本数据对基础模型进行训练，没有对任何特定任务进行微调；

3140u00a0亿参数的u00a0MoEu00a0模型混合专家模型，在给定u00a0tokenu00a0上的激活权重为u00a025%；

从u00a02023u00a0年u00a010u00a0月开始，xAIu00a0使用u00a0JAXu00a0库和u00a0Rustu00a0语言组成的自定义训练堆栈对u00a0Groku00a0进行了从头训练。

xAIu00a0遵守u00a0Apacheu00a02.0u00a0许可证来开源u00a0Grok-1u00a0的权重和框架，如果你拥有u00a0Apacheu00a02.0u00a0的许可证，不论个人还是商业用途，你都可以自由使用、修改、分发软件，截止发文，已经收获了u00a07.7ku00a0星标，热度极高。

xAIu00a0在项目中强调，如果你想顺利测试如此规模的模型，需要u00a0CPUu00a0拥有足够的内存，有用户给出了参考：拥有u00a08u00a0个u00a0H100u00a0就可以顺利运行u00a0Grok-1u00a0模型了。

Grok-1u00a0是马斯克u00a0xAIu00a0团队去年u00a011u00a0月推出的一款大语言模型，xAIu00a0表示，Groku00a0是一款仿照银河系漫游指南设计的u00a0AI，它几乎可以回答任何问题，甚至可以建议你问什么问题，它幽默诙谐又叛逆，可以回答其他u00a0AIu00a0系统拒绝回答的问题。

另外，为了防止u00a0Grok-1u00a0针对试题训练，xAIu00a0还针对匈牙利国家高中数学考试进行了测试，同样优于u00a0GPT-3.5。

现在，Grok-1u00a0已经在u00a0Xu00a0平台引发了不少讨论，但开源版的u00a0Groku00a0依然有一些功能需要付费才可以实现，不过随着u00a0Groku00a0的不断更新、开源，相信u00a0xAIu00a0会为我们带来更多惊喜。