 |
WuSiYuV2EX 第 117744 号会员，加入于 2015-05-19 20:37:14 +08:00 |
wusiyu.me
WuSiYu 最近回复了
15 小时 53 分钟前 回复了 LUO12826 创建的主题 › MacBook Pro › M1 Pro 用户换 M4 Pro 的感受和碎碎念 |
我是 m1 （ mbp13 2020 ）换 m4p ，感觉还是很爽的
不过单核这个确实，日常使用时区别不大，只有软件冷启动或者处理东西时感知明显
不过单核这个确实，日常使用时区别不大，只有软件冷启动或者处理东西时感知明显
1 天前 回复了 Unclev21x 创建的主题 › Apple › 苹果刚刚推出了新款 Mac Studio |
@WuSiYu 打错了，前面是 q4
1 天前 回复了 Unclev21x 创建的主题 › Apple › 苹果刚刚推出了新款 Mac Studio |
@icyalala 算了下，都 q6 量化的话，只考虑权重访存，70b dense 模型（如 qwen ）的理论极限是 20+ token/s ，R1 671B 的 moe 模型，每次激活 37B 参数，理论极限 40+ token/s ，实际考虑计算和 context 大概折半，用 q6 等量化还要打折
不算不能用，但也不算快，100b+的模型只能推 moe 的，但 moe 模型恰恰就是大规模场景才能把成本降下来（冗余专家并行）。所以除非有涉密需求，不如与其 7w+买个这，还是租 API 比较划算
不算不能用，但也不算快，100b+的模型只能推 moe 的，但 moe 模型恰恰就是大规模场景才能把成本降下来（冗余专家并行）。所以除非有涉密需求，不如与其 7w+买个这，还是租 API 比较划算
1 天前 回复了 Unclev21x 创建的主题 › Apple › 苹果刚刚推出了新款 Mac Studio |
512 对 LLM 负载意义不大了，对于这个量级的 memory ，mac 的 memory bandwidth 和 gpu peak flops 都不太够看，用人话说就是跑更大的模型能跑但慢到没法用
4 天前 回复了 996jiucai 创建的主题 › 生活 › 给女朋友看了存款，说了家里情况。已经一天没理我了 |
建议两边都及时止损
5 天前 回复了 yiqiu2324 创建的主题 › macOS › 访问 raycast 官网，会导致 CPU 和 GPU 狂转.. |
M4 Pro 能复线，虽然短时间风扇没起飞，但能看到 GPU 跑满了，整机功耗从 10w 上升到 30w+
这玩意是 three.js 做的，相当于浏览器里跑个游戏
这玩意是 three.js 做的，相当于浏览器里跑个游戏
12 天前 回复了 luciovision 创建的主题 › Apple › 英国政府要求苹果为 iCloud 留“后门”最新进展 |
带英连高级数据保护都不让用了？那岂不是还不如。。。
13 天前 回复了 ddczl 创建的主题 › 宽带症候群 › 国内有无哪个路由器是支持 wireguard 和 ipv6 防火墙的，有 2.5G 网口 |
国内其实不少原厂或能直刷 openwrt 的：gl inet ，banana pi ，cudy TR3000 （这个贼便宜）
mt789x 方案现在 openwrt 上的硬件 nat 支持很成熟，等同于硬路由了
但其实你跑 wg 的话总归是要吃 cpu ，软硬路由没啥太大区别
mt789x 方案现在 openwrt 上的硬件 nat 支持很成熟，等同于硬路由了
但其实你跑 wg 的话总归是要吃 cpu ，软硬路由没啥太大区别
18 天前 回复了 jojoadv 创建的主题 › macOS › Mac 上切换应用真的烦死人。 |
dockdoor 好用，dock 直接能当 windows 任务栏用（有窗口预览，可以选择窗口）
18 天前 回复了 beginor 创建的主题 › Apple › ANE 可以跑大模型了！ |
有点意思，ANE 的 fp16 理论性能似乎跟 m4 pro 丐板的 GPU 差不多，但可预计会省电许多
@beginor 另外“企业级 NPU”其实早有了，比如华为和寒武纪的卡都属于 NPU （而不是 GPGPU ）
@beginor 另外“企业级 NPU”其实早有了，比如华为和寒武纪的卡都属于 NPU （而不是 GPGPU ）
Select Language