 |
oldlampV2EX member #198842, joined on 2016-10-28 18:58:13 +08:00 |
 |
Per oldlamp's settings, the topics list is hidden |
Deals info, including closed deals, is not hidden
oldlamp's recent replies
4 days ago Replied to a topic by zzutmebwd › Local LLM › 关于低算力 gpu 推理时 prefill 在总时长中的占比问题 |
6 days ago Replied to a topic by Melville › AI Agent 智能体 › 大家不要怕麻烦 还是用国外的吧 阿里百炼 coding plan 429 很容易 |
确实如此，已经退订。
8 days ago Replied to a topic by dinfeo › 职场话题 › 双非本科，工作 15 年，今年 36 了，要不要考在职 985 研究生 |
@dinfeo
MBA 、MPA 、MEM ，恐怕都要陆续有可能退热。
至于英语一和英语二，我做过一段时间的相关培训，总体感受是差异没有想象的那么大。
管理类综合确实是比较友善。
心理学综合或许也可以考虑？
MBA 、MPA 、MEM ，恐怕都要陆续有可能退热。
至于英语一和英语二，我做过一段时间的相关培训，总体感受是差异没有想象的那么大。
管理类综合确实是比较友善。
心理学综合或许也可以考虑？
8 days ago Replied to a topic by dinfeo › 职场话题 › 双非本科，工作 15 年，今年 36 了，要不要考在职 985 研究生 |
没考过在职的，但是读过全日制的 PHD 。
如果还在舒适区，熟悉的领域，可能用处不一定很大。
有没有考虑，或许可以换一个自己感兴趣的，同时又不太卡毕业的方向？
如果还在舒适区，熟悉的领域，可能用处不一定很大。
有没有考虑，或许可以换一个自己感兴趣的，同时又不太卡毕业的方向？
8 days ago Replied to a topic by CatCode › Local LLM › Gemma4 12B 如何跑在 16G 显存上？ |
@coefu 确实如此，更大的显存容量用于上下文，能带来显著的 long horizon 场景的提升
13 days ago Replied to a topic by zhengfan2016 › Local LLM › 消费级显卡(16G A 卡)是不是不适合运行 vllm 和 sglang，好像使用 transformer 推理都比这两个框架快，并且占用显存低 |
@zhengfan2016
您看 12 楼那位说的非常对，您如果用这款卡的，用 walk 来跑，速度会更快很多，我记得有人在 7900 xtx 上测试 qwen3.6-27b-q4km ，能快大概 10%左右
另外，如果用 glm 4 .7 flash 的话，好像能达到 100 多的 tokens/s
您看 12 楼那位说的非常对，您如果用这款卡的，用 walk 来跑，速度会更快很多，我记得有人在 7900 xtx 上测试 qwen3.6-27b-q4km ，能快大概 10%左右
另外，如果用 glm 4 .7 flash 的话，好像能达到 100 多的 tokens/s
May 31 Replied to a topic by zhengfan2016 › Local LLM › 消费级显卡(16G A 卡)是不是不适合运行 vllm 和 sglang，好像使用 transformer 推理都比这两个框架快，并且占用显存低 |
16G 显存，是什么核心呢？
好像如果是 RX580 之类的就会比较慢，看人运行 omnicode-2-9b-q4_KM 能有十几个 tokens/s：
https://mp.weixin.qq.com/s/7c-Lj_xg33r6dswMhH7bRg
好像如果是 RX580 之类的就会比较慢，看人运行 omnicode-2-9b-q4_KM 能有十几个 tokens/s：
https://mp.weixin.qq.com/s/7c-Lj_xg33r6dswMhH7bRg
May 25 Replied to a topic by tuding › 问与答 › 找一首古早的盗版光盘附赠英文歌 |
Westlife "Flying Without Wings"？
May 22 Replied to a topic by oldlamp › 职场话题 › 聊聊学历、专业和转行 |
Select Language