“这周，xAI将开源聊天机器人Grok”

　　特斯拉创始人埃隆·马斯克

　　在其旗下的社交平台X上

　　言简意赅地发布了上述消息

　　今天凌晨

　　开源版大模型Grok终于来了

　　xAI正式发布3140亿参数

　　混合专家模型Grok-1的

　　基本模型权重和网络架构

　　而3140亿的参数

　　也让Grok-1成为迄今参数量最大的

　　开源LLM

　　官方显示的模型细节包括

　　①基础模型

　　基于大量文本数据进行训练

　　没有针对任何具体任务进行微调

　　②3140亿参数的MoE模型

　　在给定token上的激活权重为25%

　　③2023年10月

　　xAI使用JAX库和Rust语言

　　组成的自定义训练堆栈从头开始训练

　　划重点！xAI遵守Apache2.0许可证

　　来开源Grok-1的权重和架构

　　Apache2.0许可证允许用户

　　自由地使用、修改和分发软件

　　无论是个人还是商业用途

　　斯坦福研究者、推特网友

　　@Andrew Kean Gao

　　将Grok-1与其他开源模型

　　参数量进行了对比

　　显示Grok-1是Llama-65B的4倍多

　　图源：Andrew Kean Gao X推文

　　Grok-1的开源发布

　　使得AI社区一片沸腾

　　知名机器学习研究者

　　《Python 机器学习》畅销书作者

　　Sebastian Raschka表示

　　“Grok-1比其他通常带有使用限制的

　　开放权重模型更加开源

　　但是它的开源程度

　　不如Pythia、Bloom和OLMo

　　后者附带训练代码和可复现的数据集”

　　英伟达高级科学家Jim Fan评价称

　　“（这是）有史以来最大的开源大模型

　　由世界一流的团队训练”

　　“我想知道被Grok超越是什么感觉”

　　此外，他还做了一下修正

　　Google传统型号的

　　switch transformer为1.6T

　　目前保持着公开记录

　　但也有网友持怀疑态度：

　　到目前为止

　　与Grok相关的一切似乎都是表演性的

　　“作为一个功能模型，它并不严肃”

　　对此，有网友回复称

　　“还是比什么都没有好

　　训练这种规模的模型并不是免费的

　　这对研究很有用”

　　图源：X

　　而随着开源版大模型Grok的发布

　　关于“开源”还是“闭源”的探讨

　　也变得更加激烈

　　作为开源技术的支持者

　　马斯克于前不久

　　向美国旧金山法院提起了诉讼

　　他在诉讼中表示

　　OpenAI与微软的合作

　　破坏了该公司最初致力于

　　开发公共和开源通用人工智能的承诺

　　OpenAI提供了ChatGPT的一个版本

　　及其背后的语言模型供免费使用

　　但其源代码却是闭源的

　　AI模型是否应该开源？

　　部分人工智能专家认为

　　开源人工智能模型有着显著的好处

　　例如提高透明度和扩大访问范围

　　还可以推动技术发展和扩大受益人群

　　但也有不少人认为

　　随着人工智能变得更加强大

　　可能有必要限制对某些模型的访问

　　因为它可能会被滥用

　　参考丨第一财经、环球网、新华网财经、量子位、智东西、InfoQ