V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  xiaoFine  ›  全部回复第 1 页 / 共 2 页
回复总数  40
1  2  
2022-03-16 22:36:46 +08:00
回复了 xiaoFine 创建的主题 程序员 占用 GPU 的服务如何解决并发?
回头自问自答下。
这个要看各家的 serving 框架,目前 triton 和 torchserver 都能做到 dynamic batching 之类的功能,但本质上每次推理还是显卡独占;如果是为了省 GPU ,另一个思路是 GPU 虚拟化,暂时没实践
2022-02-22 14:41:14 +08:00
回复了 shmichaelli 创建的主题 上海 上海的程序员交流群(技术、求职、生活)
xiao_Fine
2021-12-30 15:27:55 +08:00
回复了 xoxo419 创建的主题 Go 编程语言 这个 goroutine 泄露的 demo 如何修复?
@zwpaper 我能找到的最早的出处是这样 https://medium.com/golangspec/goroutine-leak-400063aef468 ,应该就是单纯讨论 goroutine 泄漏的一个 demo ,不过确实学到了
2021-12-30 11:26:38 +08:00
回复了 xoxo419 创建的主题 Go 编程语言 这个 goroutine 泄露的 demo 如何修复?
目前能想到的只能是这样(不改变签名),有更优雅的方法吗。。
```
func queryAll() int {
ch := make(chan int)

for i := 0; i < 3; i++ {
go func() {ch <- query()}()
}
<-ch
<-ch
return <-ch
}
/**
goroutines: 1
goroutines: 1
goroutines: 1
goroutines: 1
**/
```
2021-12-30 11:01:04 +08:00
回复了 xoxo419 创建的主题 Go 编程语言 这个 goroutine 泄露的 demo 如何修复?
小白一问,试了下诸君的方法,并不行啊
1. buffer ch
```
func queryAll() int {
ch := make(chan int, 3)

for i := 0; i < 3; i++ {
go func() { ch <- query() }()
}
return <-ch
}
/**
goroutines: 3
goroutines: 5
goroutines: 5
goroutines: 7
**/
```
2. select
```
func queryAll() int {
ch := make(chan int, 3)

for i := 0; i < 3; i++ {
go func() {
select {
case ch <- query():
default:

}
}()
}
return <-ch
}
/**
goroutines: 3
goroutines: 5
goroutines: 5
goroutines: 7
**/
```
2021-12-08 11:27:27 +08:00
回复了 dwlovelife 创建的主题 程序员 typora 收费了,有什么好的替代产品
单纯问一下为啥都推荐 typora ,感觉就比裸写加了些便捷操作,和 vsc 写起来没啥区别吧,是我写 md 的姿势不对吗
我依稀记得 19 年的时候用 vscode 连 tmux 是有显示问题的。。。不知道现在还有没有。
倒是你的工作流是不是太复杂了,为啥不直接 remote 服务器,或者用 wsl
@tanxiong 说实话你这预算不如小额有偿领养
2020-06-01 09:41:39 +08:00
回复了 xiaoFine 创建的主题 程序员 占用 GPU 的服务如何解决并发?
@helloworld000 感谢(看来还有很多路要走
2020-05-31 23:29:39 +08:00
回复了 xiaoFine 创建的主题 程序员 占用 GPU 的服务如何解决并发?
@different 嗯对的,所以单纯的加显卡和优化模型可能对大量的并发请求而言是杯水车薪
2020-05-31 23:01:39 +08:00
回复了 xiaoFine 创建的主题 程序员 占用 GPU 的服务如何解决并发?
@tfdetang 队列转 batch 我确实没想到!感谢,我去试试
2020-05-31 20:43:39 +08:00
回复了 xiaoFine 创建的主题 程序员 占用 GPU 的服务如何解决并发?
@helloworld000 是的,确实是个二把刀,还请指教
2020-05-31 20:39:27 +08:00
回复了 xiaoFine 创建的主题 程序员 占用 GPU 的服务如何解决并发?
@andj4cn 这两个已经没法优化了
2020-05-31 20:38:55 +08:00
回复了 xiaoFine 创建的主题 程序员 占用 GPU 的服务如何解决并发?
@blless 对,算法端已经不能提速了,gpu 资源有限,并发一高就崩了,所以想着加个消息队列
2020-05-24 18:49:16 +08:00
回复了 tctc4869 创建的主题 Java open jdk14,各位用哪个版本的,用的怎么样?
考虑下中间件的兼容性吧
2020-05-20 13:33:01 +08:00
回复了 Vegetables 创建的主题 Linux WSL 将会支持 GPU Compute workflows、 Linux GUI app
真的能支持 gpu 就无敌了
2020-05-16 13:08:00 +08:00
回复了 xiaoFine 创建的主题 Kubernetes Istio bookinfo 是如何做到服务发现的?
https://discuss.istio.io/t/where-does-the-environment-variable-is-set/4710/3

看来却是不存在那个环境变量,用的是三元表达式的 true 值
2020-05-16 11:00:49 +08:00
回复了 xiaoFine 创建的主题 Kubernetes Istio bookinfo 是如何做到服务发现的?
参考 jimmy 大佬的书: https://jimmysong.io/kubernetes-handbook/concepts/service.html,

**当 Pod 运行在 Node 上,kubelet 会为每个活跃的 Service 添加一组环境变量**

但是这些环境变量的写法是有格式的,如下:

```
$ env | grep RATINGS
RATINGS_PORT_9080_TCP_ADDR=10.233.46.167
RATINGS_PORT_9080_TCP_PORT=9080
RATINGS_PORT_9080_TCP_PROTO=tcp
RATINGS_PORT=tcp://10.233.46.167:9080
RATINGS_SERVICE_PORT=9080
RATINGS_PORT_9080_TCP=tcp://10.233.46.167:9080
ENABLE_RATINGS=false
RATINGS_SERVICE_PORT_HTTP_WEB=9080
RATINGS_SERVICE_HOST=10.233.46.167
```

而实际上代码写的是:
```
private final static String ratings_hostname = System.getenv("RATINGS_HOSTNAME") == null ? "ratings" : System.getenv("RATINGS_HOSTNAME");
```

并不存在``RATINGS_HOSTNAME``这个东西
2020-05-15 21:41:19 +08:00
回复了 nutting 创建的主题 问与答 用 windows 的你们都是怎么装的 docker
wsl/vm 都试过,最后还是用云主机吧
1  2  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3461 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 36ms · UTC 04:41 · PVG 12:41 · LAX 20:41 · JFK 23:41
Developed with CodeLauncher
♥ Do have faith in what you're doing.