xiaoFine 最近的时间轴更新
xiaoFine

xiaoFine

V2EX 第 114520 号会员,加入于 2015-05-01 12:23:40 +08:00
xiaoFine 最近回复了
2022-03-16 22:36:46 +08:00
回复了 xiaoFine 创建的主题 程序员 占用 GPU 的服务如何解决并发?
回头自问自答下。
这个要看各家的 serving 框架,目前 triton 和 torchserver 都能做到 dynamic batching 之类的功能,但本质上每次推理还是显卡独占;如果是为了省 GPU ,另一个思路是 GPU 虚拟化,暂时没实践
2022-02-22 14:41:14 +08:00
回复了 shmichaelli 创建的主题 上海 上海的程序员交流群(技术、求职、生活)
xiao_Fine
2021-12-08 11:27:27 +08:00
回复了 dwlovelife 创建的主题 程序员 typora 收费了,有什么好的替代产品
单纯问一下为啥都推荐 typora ,感觉就比裸写加了些便捷操作,和 vsc 写起来没啥区别吧,是我写 md 的姿势不对吗
我依稀记得 19 年的时候用 vscode 连 tmux 是有显示问题的。。。不知道现在还有没有。
倒是你的工作流是不是太复杂了,为啥不直接 remote 服务器,或者用 wsl
@tanxiong 说实话你这预算不如小额有偿领养
2020-06-01 09:41:39 +08:00
回复了 xiaoFine 创建的主题 程序员 占用 GPU 的服务如何解决并发?
@helloworld000 感谢(看来还有很多路要走
About   ·   Help   ·   Blog   ·   API   ·   FAQ   ·   Tools   ·   3553 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 17ms · UTC 04:30 · PVG 12:30 · LAX 20:30 · JFK 23:30
Developed with CodeLauncher
♥ Do have faith in what you're doing.