huc2 最近的时间轴更新
huc2
ONLINE

huc2

V2EX 第 614681 号会员,加入于 2023-02-17 21:11:58 +08:00
今日活跃度排名 1597
LLM 静态批处理和 Continuous Batch 相关疑问的求解
问与答  •  huc2  •  1 小时 24 分钟前  •  最后回复来自 frankyzf
4
Windsurf 是不是没有 pylance 插件
  •  1   
    Python  •  huc2  •  33 天前  •  最后回复来自 jianyisiqian
    4
    《沙威玛传奇》国区 ios 怎么搞无广告?
    问与答  •  huc2  •  70 天前  •  最后回复来自 eriko
    9
    有人用过这个 "第二代 RAG 系统 auto-coder.rag" 吗?
  •  1   
    问与答  •  huc2  •  111 天前  •  最后回复来自 xing7673
    2
    本地部署的小 LLM 模型不会自动停止输出,怎么解决?
    问与答  •  huc2  •  137 天前  •  最后回复来自 huc2
    2
    vscode 打开的终端为什么会有 2 个 conda 环境
    Python  •  huc2  •  159 天前  •  最后回复来自 GarrickLin
    5
    huc2 最近回复了
    2 小时 43 分钟前
    回复了 huc2 创建的主题 问与答 LLM 静态批处理和 Continuous Batch 相关疑问的求解
    @RoccoShi orz ,我主要是看到最上面那篇博客里的图,他每一列对齐是用 token 对齐的,从某种角度看似乎也没错。但是我脑子里想这个过程的时候,就总是一个 batch 里大家先一起 prefill (也就是我说的 prefill 阶段是左右都对齐的),然后大家每个 new_token 都一起生成第一个,第二个,,,这样子。然后看他这个图就很别扭,所以想确认一下我的理解是否有误。
    普通用户一天只能用 5 次的 gpt4o 和 claude ?
    52 天前
    回复了 Jaxbuild 创建的主题 分享创造 windsurf 资料整理
    windsurf 是不是不是完全兼容 vscode 插件啊,比如 pylance 就没有
    52 天前
    回复了 neptuno 创建的主题 分享发现 windsurf 免费领 8 周 pro 会员!快来!
    已领,感谢。但是为什么看不到什么时候到期,不知道是不是真的 8 周
    83 天前
    回复了 huc2 创建的主题 问与答 《沙威玛传奇》国区 ios 怎么搞无广告?
    @wyd011011daniel
    @Remember 我还没买啊,但是我没买的情况下,从港区切回国区就没有买断的那个选项了。没敢尝试
    啥 app ,不推广很难有人知道吧,去你认为有你客户的地方推呗,甚至是一些博客,比如阮一峰之类的
    130 天前
    回复了 37Y37 创建的主题 分享发现 分享我的照片备份方案,无 NAS,简单可靠
    博客有 rss 吗
    133 天前
    回复了 neuliyiping 创建的主题 问与答 大家平时都逛哪些论坛?
    @billzhuang reddit 一般会关注哪些社区,和自己兴趣相关的吗
    135 天前
    回复了 xiaoyureed 创建的主题 职场话题 现在远程的岗位是不是前端多一些?
    @lscexpress 英语是不是口语得好啊,日常阅读没问题,但是口语很差,没有地方可以练
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2652 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 15ms · UTC 15:11 · PVG 23:11 · LAX 07:11 · JFK 10:11
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.