如题,公司用的是 motan /dubbo 之类的 rpc 框架
- 现在,我这边调用别的同事写的 rpc 接口 但每次只能处理 300 个,我这边数据总共有 300 万个
- 请问如何多线程异步消耗完这些数据 ? 用 mq 吗? 还是 FutureTask ?
|
1
for 循环?
|
|
gejun123456Aug 18, 2018 via iPhone
3
多线程同步调用呗
|
|
velaAug 18, 2018
4
让「别的同事」努努力?
|
|
notreamiAug 18, 2018
5
丢数据库里,让 别的同事,自己取数据,自己处理。
|
|
wdlthAug 18, 2018
6
可以试试生产者消费者模式
|
|
jason19659Aug 18, 2018 via Android
7
分组多次请求
|
|
8
要处理的数据,放到任务队列中,每次执行 300 个。
可以定时检查当前在执行的数量,不足 300 个,就执行新的任务;也可以做回调,就这样每次执行 300 个,直到任务队列为空 |
|
billleeAug 18, 2018
10
异步请求限制 on-the-fly 的数量?简单做的话用信号量就可以了吧
|
|
BBCCBBAug 18, 2018
11
你甩在 mq 里,他慢慢消费?
|
|
veightzAug 18, 2018 via Android
12
换我我选 mq
|
|
dengtongcaiAug 19, 2018 via Android
13
消息 mq 吧,消费整个多线程,速度很快
|
|
metrxqinAug 19, 2018
14
能不能详细说明每次只能处理 300 个什么意思? RPC 调用次数单位时间内不超过 300 次? 如果是这样瓶颈在哪里?
还有就是 RPC 提供了什么功能? |
|
night98Aug 19, 2018 via Android
15
线程池就行了
|
|
bobuickAug 19, 2018
16
300w 数据,你场景应该不是 c 端用户的请求吧。
更像是 OTAP 场景了。你们可能应该要改改这架构设计了。 |
|
17
@ngx4ss #2 多了 timeout 意味着你同事的接口的处理能力可能就是 1000 左右, 你用多线程提交那就是 DDOS 攻击了
|
|
mkeithAug 19, 2018 via iPhone
18
你是怎么堆积到 300W 条数据的呢
|
|
Kyle18TangAug 19, 2018
19
@metrxqin 估计是处理了 300 个以后,时间就差不多超时了
|
|
20
一次能处理 300 个,假如说你每一个请求需要 1 秒钟,我算了一下,把 300 万个处理完,只不过是用两个小时而已,这种时候你使用并发是没有用的,因为这个瓶颈在提供方那边,你没有办法进行处理
|
|
xuanbgAug 19, 2018
21
这种情况,最好的办法就是你丢队列里面,他去慢慢消费。但总感觉你说的 300 万和 300 不是一个概念的东西
|
|
22
你这边瞬间 300W 的数据请求过来,然后 rpc 调用处理,这肯定不行呀,如果真的瞬间 300W 的数据过来,rpc 调用不能处理,就只能像楼上说的,用 mq,然后慢慢消费,但是我总感觉你 300W 的说法有问题,最好在你这边把这 300W 的数据给处理一下,一般很少一下子有这么大的数据,提供方的数据太大了
|
|
sdushnAug 19, 2018 via Android
24
听描述感觉 mq 可以解决啊,你放进去他自己慢慢取就是了,我之前也遇到过类似的问题,就是用 mq 搞定
|
|
ysweicsAug 19, 2018
25
@ngx4ss 那你完全可以分批次处理,从 mongo 里面取的时候就一次少取一点,然后调用 rpc,感觉最好的办法还是 mq,然后多个生产者发送,多个消费者消费,这样并行处理,速度快些
|
|
teekAug 19, 2018
26
塞 redis ? 300w 不多的。
|
|
biaoliruyiAug 20, 2018
27
spring 的 ApplicationEvent 异步事件 分页读再去请求 rpc
|
|
cionAug 20, 2018
28
就是生产者消费者的问题,消费太慢肯定需要一个缓冲区的,缓存,mq,数据库随便选。
|