这是一个创建于 422 天前的主题，其中的信息可能已经有所发展或是发生改变。
3 月 18 日消息马斯克旗下 AI 初创企业 xAI 今天发布新闻稿，宣布正在开源 3140 亿参数的混合专家模型 Grok-1 ，该模型遵循 Apache 2.0 协议开放模型权重和架构，号称是“迄今为止全球参数量最大的开源大语言模型”可能需要一台拥有 628 GB GPU 内存的机器（每个参数 2 字节）。这么算下来，8xH100 （每个 80GB ）就可以了。https://github.com/xai-org/grok-1
 |
1
lilei2023 2024-03-18 14:54:36 +08:00
没几个牛逼的 GPU ，估计跑不起来吧
|
 |
2
muzihuaner OP @lilei2023 确实
|
 |
3
Bluecoda 2024-03-18 15:16:40 +08:00  6
自主创新又可以了
|
 |
4
huihuiHK 2024-03-18 15:27:47 +08:00 2
国内一大批自主创新正在路上
|
 |
5
cPO3Im7cn3lD39cU 2024-03-18 15:57:45 +08:00 1
@Bluecoda 又乱说了
明明是一大批自主研发的，不可能用别人的技术来创新的 |
 |
6
Beginner1 2024-03-18 16:23:40 +08:00
314B 个参数，得什么水准的设备才能跑
|
 |
7
okakuyang 2024-03-18 16:23:54 +08:00 via iPhone
老马还是说到做到的
|
|
8
Beginner1 2024-03-18 16:24:21 +08:00
话说 Meta 的 13B 的 chat 如何，有没有人搭建过，准备搞一个，如果效果不好就算了
|
 |
9
e1d4py0KiD6KgqkQ 2024-03-18 18:17:57 +08:00 via Android
我看有人把它下载了，几百 G
|
 |
10
DIMOJANG 2024-03-18 20:08:06 +08:00 2
这下那些说苹果统一内存适合搞大模型的人说不出话了
 |
 |
11
huluhulu 2024-03-18 20:50:47 +08:00
Grok-1 之前测试成绩好像不太行，属于量大，但是不行的那种
|
 |
12
Chihaya0824 2024-03-18 21:30:54 +08:00
这个是一个 MoE 模型，然后也是 8 个 expert 然后同时激活两个的架构
所以大概率并不是 OP 算的那样要整个丢进去，大概硬要求只是需要类似 90B 模型的大小的空间就行了 苹果的统一内存还是很可能能用的，特别是这还是没有 Quantization 之前的大小 所以老黄能不能下一代 90 系列变成 48G 显存秋梨膏 |
 |
13
RockShake 2024-03-18 23:46:47 +08:00
有人跑成功了么？
|
 |
14
kokutou 2024-03-18 23:51:52 +08:00
搜了下
“它是 314B int8 参数，因此您需要 314GB 内存来加载模型，再加上一些用于 K/V 缓存等内容” 看来得撕裂者才行了... |
|
15
kokutou 2024-03-18 23:52:54 +08:00
@kokutou #14
内存-->显存 “一旦 llama.cpp 添加支持并且有人发布 4 位（或更低）量化权重，就可以在 CPU 上运行它。您将需要大约 256 GB RAM ，这对于普通用户来说比需要这么多 VRAM 更合理。” |
 |
16
lovestudykid 2024-03-19 01:03:19 +08:00 1
@Bluecoda #3 Grok-1 用了更多的参数，还达不到 QWEN2 的性能，就让你 high 起来了？
|
|
17
lovestudykid 2024-03-19 01:04:26 +08:00 1
这个模型就是马斯克放出来碰瓷的，用了更多的参数还比不上别家的性能，希望用开源道德绑架其他领先的厂商，逼人家也开源。
|
 |
18
mumbler 2024-03-19 02:14:39 +08:00
这个模型最大价值是用来蒸馏数据，毕竟用了 twitter 全部数据训练，这是其他大模型没有的语料
|
 |
19
coolair 2024-03-19 09:05:20 +08:00
将近 300G ，下载都没那么大硬盘……
|
 |
20
wanwaneryide 2024-03-19 09:21:35 +08:00
@coolair 300G 的硬盘很难？又不是 300T
|
 |
21
QlanQ 2024-03-19 09:26:33 +08:00
@wanwaneryide M1 256G 路过....
|
 |
22
coinbase 2024-03-19 20:07:29 +08:00
某些人的民族自卑情结也太过了吧。
Grok 虽然堆的参数多，但是实际表现比得上国产 Qwen 吗？我 Grok 开了年费会员，就用了一两天就弃用了，难用的一匹，谁会去抄袭它？ |
 |
23
s4d 2024-03-20 20:53:37 +08:00
让子弹飞一会儿
|
Select Language