V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  RoccoShi  ›  全部回复第 2 页 / 共 27 页
回复总数  526
1  2  3  4  5  6  7  8  9  10 ... 27  
leetcode 的题还是偏简单了,对于现在的大模型来说小菜一碟
坦诚清晰才是好员工
30 天前
回复了 potatouu 创建的主题 剧集 请问大家如何评价“无耻之徒”?
最喜欢的美剧 没有之一
32 天前
回复了 gransh 创建的主题 V2EX 这两天用新加坡节点一直上不了 V2
和地区没啥关系,公用 ip 很容易被 v2 屏蔽
33 天前
回复了 evilStart 创建的主题 程序员 服了,天天都有 cursor 的帖子
@ChrisV5 为啥你这每个月价格还不一样
打开前几张和鬼一样🥴
日本三网优化一般都是 gia ,价格贵流量少不抗打。
建议服务器日本随便买,然后访问流量走其他地区的反代
确实,现在基本都是小红书和各类 AI 了
op 理解都没啥问题吧我感觉, static batching 和 continuous batching 区别就是每一次 decode 生成新 token 后如何处理, 和 prefill 没啥关系, prefill 肯定都是一起的

静态 batching 就是生成 eos_token 后的 sequence 还要等着 batch 里其他所有 sequence 都生成 eos_token 后一起输出

continuous batching 就是发现有 eos_token 就直接拿出来, 塞一个新的 sequence 进来, 至于 prefill 是塞进来后再做还是做好再塞进来, 都可以

PS: 随便找了个 huggingface TGI continuous batching 的伪代码 ( https://medium.com/@martiniglesiasgo/anatomy-of-tgi-for-llm-inference-i-6ac8895d903d)

https://i.imgur.com/byYMNgm.png

PPS: 理解可能也有问题, 也不是专业的, 就碰巧之前也看过这个博客, 期待其他大佬补充(
podreddit
claude, gemini, chatgpt
恭喜上岸
1  2  3  4  5  6  7  8  9  10 ... 27  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2790 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 37ms · UTC 14:53 · PVG 22:53 · LAX 06:53 · JFK 09:53
Developed with CodeLauncher
♥ Do have faith in what you're doing.