1
l0wkey 291 天前
俩都是吃显存的。。
你放一起跑估计得至少 16 甚至 24G 的卡 |
2
Ericxiaoshuang OP @l0wkey 确实,我感觉至少 24g 起步
|
3
nomagick 291 天前
那你用 int4 量化的版本
|
4
litchinn 291 天前
我以为你说的单独跑跑不起来,结果是两个同时运行吗。。。。
|
5
israinbow 291 天前
|
6
Ericxiaoshuang OP @israinbow 跑的就是 int4
|
7
Ericxiaoshuang OP @litchinn 想实现的就是 aigc 应用在微信机器人,智能对话,以及/img ,文字生成图片
chatgpt 又要收费,又要科学的,成本挺高 |
8
mmdsun 291 天前 via iPhone
上 4090 24GB 吧
|