
文章图片

文章图片

文章图片

文章图片

文章图片

金磊 发自 凹非寺
量子位 | 公众号 QbitAI
就在刚刚 , 马斯克一手开源动作 , 引发了大伙儿的高度关注——
xAI现在正式开源Grok 2.5 , Grok 3将在半年后开源 。
其实早在本月初的时候 , 马斯克就公开表示过:
是时候开源Grok了 , 将会在下周 。
虽然开源的时间已经超过了他说的节点 , 但也正如网友所说:
迟到总比没有的好 。
42个文件 , 500个G目前 , Grok已经可以在HuggingFace中下载(链接附文末):
xAI官方建议用SGLang来运行Grok 2 , 具体步骤如下 。
第一步 , 下载权重文件 。
你可以把 /local/grok-2 换成任何你喜欢的文件夹名字:
hfdownload xai-org/grok-2—local-dir /local/grok-2官方表示 , 这个下载过程中可能会遇到一些错误 , 如果出错了 , 可以多试几次直到下载成功 。
下载成功后 , 文件夹里应该有42个文件 , 大小约为500GB 。
第二步 , 启动服务器 。
xAI官方建议安装最新版的SGLang推理引擎(版本号= v0.5.1 , 地址为:https://github.com/sgl-project/sglang/) 。
然后用下面的命令来启动推理服务器:
python3-m sglang.launch_server —model /local/grok-2—tokenizer-path /local/grok-2/tokenizer.tok.json —tp8—quantization fp8 —attention-backend triton值得一提的是 , 这个模型需要8个GPU(每个都得有超过40GB的显存)才能运行 。
最后一步 , 就是发送请求 。
这是一个经过预训练的模型 , 所以我们需要确保使用的是正确的聊天模板:
python3 -m sglang.test.send_one —prompt “Human: Whatisyour name?|separator|\\Assistant:”发送请求后 , 我们就应该能看到模型会回复它的名字了 , 即Grok 。
那么xAI最新开源的Grok 2 , 到底是什么水平?
虽然其能力定然是不及当下的各种最先进的主流模型 , 但我们可以从去年xAI发布的Grok 2相关模型的技术博客中略知一二 。
当时 , 它在LMSYS排行榜上 , 总体Elo分数已经超越了Claude和GPT-4 。
并且在一系列学术基准测试中 , Grok 2系列在研究生级别科学知识(GPQA)、一般知识(MMLU、MMLU-Pro)和数学竞赛问题(MATH)等领域达到了与其他前沿模型相竞争的性能水平 。
不过有一说一 , 网友们虽然觉得马斯克开源的动作还挺好的 , 但也有不少诟病的言论 。
例如在HuggingFace中 , 我们并没有看到xAI明确指出开源模型的参数权重 。
因此网友们就只能根据以往的信息 , 猜测它是2690亿个参数的MoE模型 。
其次 , 就是开源协议的问题 , 因为xAI在HuggingFace中的表述是这样的:
用网友的话来说 , 这基本上就是一个非商业许可的:
Mistral、Qwen、DeepSeek、微软 , 甚至是OpenAI都在用MIT或Apache 2.0许可来开源模型 。
以及 , 也是最重要的一点 , 就是运行这个开源模型的条件:
【刚刚,马斯克开源Grok 2.5:中国公司才是xAI最大对手】谢谢 , 我现在只需要8块显存超40GB的GPU……
Two More Thing:除了开源动作之外 , 马斯克还发布了Grok APP上的一些新功能 。
这次的更新(v1.1.58)主要是聚焦在了AI视频生成 , 具体效果如下:
感兴趣的小伙伴可以在APP上体验喽 。
以及马斯克还发了一段有趣的言论:
xAI很快就会超越谷歌 , 但中国公司才是最大对手 。
参考链接:[1
https://x.com/elonmusk/status/1959379349322313920[2
https://x.com/HuggingPapers/status/1959345658361475564[3
https://x.com/elonmusk/status/1959384678768447976[4
https://x.com/elonmusk/status/1959388879888302363
— 完 —
量子位 QbitAI · 头条号
关注我们 , 第一时间获知前沿科技动态
推荐阅读
- 苹果AI华人总监跳槽Meta,核心团队再-1,库克被迫求助谷歌
- 马斯克成立新公司「巨硬」:用AI把微软产品重做一遍
- 马斯克Grok-4卖货创收!AI卖货排行榜曝光,AGI的尽头是卖薯片?
- 马斯克奥特曼中文对喷, AI 视频终于从「玩具」变成「工具」
- 一年就放弃!库克在iPhone16上,“创新”了一个最无用的功能?
- 马斯克痛失xAI大将,Grok 4缔造者突然离职,长文曝最燃创业内幕
- 马斯克一觉醒来,Space X在京开卖了
- 刚刚,字节开源Seed-OSS-36B模型,512k上下文
- 刚刚,企业微信甩出AI工作流“全家桶”!搜索、汇报、表格,一网打尽
- 阿里图像生成模型登顶HuggingFace,一句话把马斯克“变老”
