bug2018 最近的时间轴更新 bug2018 最近的时间轴更新 |
bug2018V2EX 第 86670 号会员，加入于 2014-12-14 22:04:01 +08:00 |
| 投诉滴滴-有车不给派单 全球工单系统 • bug2018 • 2018-09-21 14:51:57 PM • 最后回复来自 gladuo | 67 |
bug2018 最近回复了
3 天前 回复了 huc2 创建的主题 › 问与答 › LLM 静态批处理和 Continuous Batch 相关疑问的求解 |
@huc2 这三种方案都是精度无损的(不考虑 float 不满足交换率)，我们实现过方案 1 和 3 。chunk split 会保存之前算好的 kvcache, 然后当前 chunk 在 attention 的时候使用前面的 kvcache ，这样就无损了。前缀缓存确实也是类似的。
按我的经验，kvcache 只能是前缀匹配，不能随意匹配中间的，要不然结果对不上了。
按我的经验，kvcache 只能是前缀匹配，不能随意匹配中间的，要不然结果对不上了。
3 天前 回复了 huc2 创建的主题 › 问与答 › LLM 静态批处理和 Continuous Batch 相关疑问的求解 |
之前实现过 continuous batching, 会把 prefill 和 decode 拼在一次处理。新 sample 的插入确实会打断 decode ，现象就是用户生成会卡顿，如果 prompt 不长一般影响不大，但长 prompt 高 qps 下会非常影响性能。
对此业界有一些应对方案，1. 前缀缓存 2. chunk split 3. prefill 和 decode 分离 。前两个方案可以缓解打断问题，方案 3 可以彻底解决打断问题。
对此业界有一些应对方案，1. 前缀缓存 2. chunk split 3. prefill 和 decode 分离 。前两个方案可以缓解打断问题，方案 3 可以彻底解决打断问题。
2023-03-19 21:45:23 +08:00 回复了 poyanhu 创建的主题 › 推广 › GPT4 API 功能上线， T 楼，送 10 个 ChatGPT 账号 |
Z3B0c2h1b0BvdXRsb29rLmNvbQo=
感谢
感谢
2023-03-17 22:57:34 +08:00 回复了 poyanhu 创建的主题 › 推广 › 送 50 张千次对话卡密 |
Z3B0c2h1b0BvdXRsb29rLmNvbQo=
感谢
感谢
2022-03-19 17:50:10 +08:00 回复了 leomm 创建的主题 › 优惠信息 › 3 月 19 号腾讯云香港新加坡云服务器约 3 年 33 元-166 元 8 台 |
过来捧捧场，万一中
2018-09-19 18:55:45 +08:00 回复了 bug2018 创建的主题 › 全球工单系统 › 投诉滴滴-有车不给派单 |
@Deville 滴滴做生意可以理解，要盈利天经地义。但做生意要将诚信，把虚假的功能放在软件里面，违背了基本的诚信。
2018-09-19 13:15:23 +08:00 回复了 bug2018 创建的主题 › 全球工单系统 › 投诉滴滴-有车不给派单 |
@taresky 我是滴滴钻石会员。这里不是插队的问题，我等了 20 分钟的时候已经排到第一位了。
2018-09-19 13:13:52 +08:00 回复了 bug2018 创建的主题 › 全球工单系统 › 投诉滴滴-有车不给派单 |
@ioschen 我打的快车单，滴滴软件里面也显示了快车的入口。我不想打拼车单。
2018-09-19 13:12:40 +08:00 回复了 bug2018 创建的主题 › 全球工单系统 › 投诉滴滴-有车不给派单 |
@ioschen 快车单：1 个小时都没接。拼车单：立马接单。
2018-09-19 08:49:13 +08:00 回复了 bug2018 创建的主题 › 全球工单系统 › 投诉滴滴-有车不给派单 |
@bk201 是的，滴滴客服只是乘客的一个反馈入口，但没有其他可以实质性解决乘客问题的能力。
Select Language