 |
yanyuechuixueV2EX 第 61683 号会员，加入于 2014-05-01 23:22:30 +08:00今日活跃度排名 21891 |
| mac os, 用 loon ，如何绕过 docker 中的 container？ Apple • yanyuechuixue • 2 天前 • 最后回复来自 thet | 3 |
| EXT4 转 APFS 有什么方案么？ macOS • yanyuechuixue • 7 天前 |
| 求救 iPhone 救砖 Apple • yanyuechuixue • 14 天前 • 最后回复来自 yanyuechuixue | 3 |
| 兄弟们，家中领导给批了 3000 块钱，买点啥实体设备好呀？ 问与答 • yanyuechuixue • 52 天前 • 最后回复来自 tamshy | 1 |
| Python , try except 无法捕获浮点数错误异常？ 问与答 • yanyuechuixue • 184 天前 • 最后回复来自 Kite6 | 2 |
| Mac 如何在切换 WiFi 时自动触发快捷指令？ macOS • yanyuechuixue • 2023-11-06 13:18:05 PM • 最后回复来自 yanyuechuixue | 4 |
| Tailscale 总是自动断开？请问怎么排查错误？ 问与答 • yanyuechuixue • 2023-09-18 12:15:03 PM |
| 有没有能部署在 NAS 上，随时随地玩 GalGame 的方法呀？ 问与答 • yanyuechuixue • 2023-08-21 16:19:09 PM |
| 有没有 Mac M1 系列适用的”超分辨率播放器“呀？ 问与答 • yanyuechuixue • 2023-08-15 16:25:37 PM |
yanyuechuixue 最近回复了
3 天前 回复了 yanyuechuixue 创建的主题 › Apple › mac os, 用 loon ，如何绕过 docker 中的 container？ |
@thet 大哥您说的这里的 source ip 是指本地（也就是 container ）还是指远端（ peers ）啊？
4 天前 回复了 ShadowPower 创建的主题 › 程序员 › 体验了 Qwen2.5 Coder 32B 之后，我觉得本地 LLM 能用了 |
7 天前 回复了 ShadowPower 创建的主题 › 程序员 › 体验了 Qwen2.5 Coder 32B 之后，我觉得本地 LLM 能用了 |
@kennylam777 不好意思，我是个新手，能否请教您一下，不同的量化有什么不同呀？
例如 exl2 量化，W4A16 量化 , GPTQ 量化，他们的性能会有比较大的不同么？
我现在简单起见，直接用了 ollama 给出的 Int4 ，想去挑一个好的
例如 exl2 量化，W4A16 量化 , GPTQ 量化，他们的性能会有比较大的不同么？
我现在简单起见，直接用了 ollama 给出的 Int4 ，想去挑一个好的
7 天前 回复了 ShadowPower 创建的主题 › 程序员 › 体验了 Qwen2.5 Coder 32B 之后，我觉得本地 LLM 能用了 |
@yanyuechuixue ok 找到了，谢谢！
7 天前 回复了 ShadowPower 创建的主题 › 程序员 › 体验了 Qwen2.5 Coder 32B 之后，我觉得本地 LLM 能用了 |
8 天前 回复了 ClA0ClA0 创建的主题 › Apple › 京东耍猴， mac mini 压根抢不到 |
你才知道啊哈哈哈哈哈
8 天前 回复了 ShadowPower 创建的主题 › 程序员 › 体验了 Qwen2.5 Coder 32B 之后，我觉得本地 LLM 能用了 |
@F1Justin 纯 CPU 么？
8 天前 回复了 ShadowPower 创建的主题 › 程序员 › 体验了 Qwen2.5 Coder 32B 之后，我觉得本地 LLM 能用了 |
@liulicaixiao cursor 怎么白嫖呀？
8 天前 回复了 ShadowPower 创建的主题 › 程序员 › 体验了 Qwen2.5 Coder 32B 之后，我觉得本地 LLM 能用了 |
看了一下，如果用 INT4 的模型，4090 没问题了。精度损失也很少。
但问题是不可能将一块 4090 用在这上面。成本太高了，不考虑保护隐私的情况下，还不如订阅 ChatGPT.
4060Ti 16G 的价格比较低，我买了一块，这个可以用来“全职”部署 LLM, 但目前即便是 INT4 也无法跑在 16G 上。
也许 Windows 的共享显存会有用，但不知道速度会降低到多少。
但问题是不可能将一块 4090 用在这上面。成本太高了，不考虑保护隐私的情况下，还不如订阅 ChatGPT.
4060Ti 16G 的价格比较低，我买了一块，这个可以用来“全职”部署 LLM, 但目前即便是 INT4 也无法跑在 16G 上。
也许 Windows 的共享显存会有用，但不知道速度会降低到多少。
14 天前 回复了 caojunjie2024 创建的主题 › iPhone › iPhone 时间旁边的火箭是什么意思哦 |
@cat 而且是 OP ？？
Select Language