Agile Query 基于信贷业务的大数据量分析场景演示

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

这是一个创建于 593 天前的主题，其中的信息可能已经有所发展或是发生改变。

为了一个潜在客户做的演示，顺带录了个屏。有兴趣的朋友可以联系我：18901845760

演示环境： 3 台 32C ，64G 服务器 CPU: Intel(R) Xeon(R) CPU E5-2670 0 @ 2.60GHz 存储：SSD

数据体量：会员：6 千万实名会员：3.9 千万贷款申请：1.82 亿放贷数量：1.1 亿

实际演示视频：Youtobe B 站

第 1 条附言 · 2023-05-05 16:38:51 +08:00

补充一下，产品介绍：

演示

CPU

会员

query

4 条回复 • 2023-05-06 15:57:29 +08:00

liuxu

2023-05-06 12:10:32 +08:00

你这个演示只是编译阶段上层模块，能快速出数据应该还是后端数据库的支撑吧，或者建立指标时就在创建缓存

像已有订单业务，例如优惠折扣积分之类的表结构，这个好接入么

180G 内存缓存 6 千万用户数据够用，E5-2670 多核低频用在数据库上也合适，ssd 什么型号

Braisdom

2023-05-06 13:22:44 +08:00

@liuxu 当然可以接入了，目前分析的指标没有任何缓存，缓存是基于整个查询的，可以按分钟的形式的缓存。
SSD 型号：Crucial/Micron BX/MX1/2/3/500, M5/600, 1100 SSDs

本次演示的目的是为了验证 Agile Query 的大数据量的分析场景下的表现。另外，数据没有预先加载到内存中，每次都会从磁盘中拉取的。计算完会及时释放。

Braisdom

2023-05-06 13:55:46 +08:00

@liuxu 有兴趣的话，可以深入沟通一下，可以远程演示。

liuxu

2023-05-06 15:57:29 +08:00

@Braisdom 那可以啊，这硬件配置基本算是一堆洋垃圾了，看着数据出来也是秒级，要是用 epyc+ddr5+nvme/pcie4.0 ，不得起飞

我后面也是想弄弄 BI ，学习学习，你这后面数据库是 mysql/innodb 支撑的么，还是别的，开源不