V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Braisdom
V2EX  ›  程序员

智能 SQL 分析系统(我的新作品)

  Braisdom ·
braisdom · 2023-02-11 09:29:51 +08:00 · 14564 次点击
  •   指定的图片不存在
    这是一个创建于 463 天前的主题,其中的信息可能已经有所发展或是发生改变。

    视频: https://www.youtube.com/watch?v=18_ykWVmQ08

    ###技术特点:

    • 根据关键字智能生成各类数据库 SQL ,自动计算多表查询
    • 支持复杂公式,实现复杂分析
    • 支持种类可视化
    第 1 条附言  ·  2023-05-09 10:35:17 +08:00
    重要特性演示:
    第 2 条附言  ·  2023-05-09 10:36:18 +08:00
    大数量场景下,性能测试:

    第 3 条附言  ·  2023-05-15 11:00:45 +08:00

    最近在写BP,整理了Agile Query 的主要优势:

    • 我们设计了FlatQL 语言,一种高级数据查询语言,其目的是降低数据计算的门槛,让数据分析师也能轻松地进行数据分析和复杂计算。

    • 基于ChatGPT 理解自然语言,智能生成复杂计算公式和可视化参数,优化交互体验。

    • 依托MPP 型数据库的计算性能,以零编码的形式智能优化查询SQL,提升整体计算效率。

    122 条回复    2023-06-22 10:35:52 +08:00
    1  2  
    Braisdom
        101
    Braisdom  
    OP
       2023-05-16 16:19:48 +08:00
    @yinyuncan6 可视化这块正在完善,应该很快就能发布了。
    loading
        102
    loading  
       2023-05-16 16:24:00 +08:00
    目前基于 chatgpt 的都要联网运行,内网应用基本无缘。
    以后技术壁垒会越来越高,软件无国界,但人有。
    Braisdom
        103
    Braisdom  
    OP
       2023-05-16 16:26:31 +08:00
    @loading 我们正在基于 Facebook 的 LLaMA 做自己的服务,就不用担心那玩意了。哈哈
    winterx
        104
    winterx  
       2023-05-16 16:41:16 +08:00
    期待楼主成果
    phatzhong24
        105
    phatzhong24  
       348 天前
    好奇问下,后端用的什么语言实现的?
    Braisdom
        106
    Braisdom  
    OP
       348 天前
    @phatzhong24 后端用 Python
    wdmcode
        107
    wdmcode  
       348 天前
    @Braisdom @leeg810312 感觉 2 位应该都是数据行业深耕多年的大佬了,我有几个问题也想咨询下
    1. 除去软件互联网公司有实力搞自己的数据平台,有一定信息化基础的非互联网公司内部各个系统林立,错综复杂,Agile Query 这个软件如何解决数据清洗、数据治理以及指标统一的问题
    2. 你们讨论中( ODS ,DW ,ADS ,宽表,数据血缘,数据集市等, 这些概念本身就是受限技术才衍生出来,本来就不应该存在)我个人不是很赞同这句话,数据分层比较大的作用我觉得是数据治理,宽表的较大的作用是方便上层查询、统一输出指标,这些其实不是技术限制,而是为了更好的服务业务。
    Autmn
        108
    Autmn  
       348 天前
    m 一个,等发布了看看
    Braisdom
        109
    Braisdom  
    OP
       348 天前
    @wdmcode 我分别回复一下:
    第一点,数据清洗不是 Agile Query 的职责,Agile Query 只是解决数据的灵活计算,指标定义只是 Agile Query 中的一个公式而已,可能和传统 BI 系统的指标统一可能概念上不一样。

    第二点,Agile Query 会根据表之间的关系自动 Join ,自动生成最优的查询 SQL ,数据工程师不需要写 SQL ,所以宽表存在的意义就不是那么大了,最近几年 MPP 型数据库发展的非常快,计算效率也越来越高,所谓 ODS ,ADS ,宽表,数据血缘,数据集市 这一堆概念产生的背景是:因为传统 BI 需要写复杂 SQL ,而且之前计算效率非常低效,如果这两个痛点都由 Agile Query 解决了,这些概念也就不存在了。
    Braisdom
        110
    Braisdom  
    OP
       348 天前
    @wdmcode 至于数据治理,这属于一个新名字,不太理解到底是做什么的。
    Braisdom
        111
    Braisdom  
    OP
       348 天前
    @Autmn
    @wdmcode
    目前系统已经具备演示条件,有兴趣可以加我微信:18901845760
    Arainzhe
        112
    Arainzhe  
       333 天前
    关注一下
    ZGame
        113
    ZGame  
       333 天前
    我认为还是需要和 bi 看板集成起来,这是解决了一个痛点,但是如果还是要借助其他平台去生成页面的话,我估计会比较打击使用的积极性
    wmz000
        114
    wmz000  
       333 天前
    @Braisdom #11 我之前公司就是做这种 bi 的,想问下你们底层是做了不同数据库的兼容么?像 ClickHouse 这种呢?感觉有点就是展示界面有点过于简洁了,给开发看还 ok ,给老板和客户看他们可能会觉点有点不清晰生动,大家都是各种图嘎嘎炫,哈哈
    encro
        115
    encro  
       333 天前
    @Braisdom

    直接在原生数据库上进行查询


    不好吧,不怕搞死原数据库?
    Braisdom
        116
    Braisdom  
    OP
       333 天前
    @encro 数据库连接是可以选择的,会不会搞死数据库,可以根据自身的需要。
    encro
        117
    encro  
       333 天前
    @yinyuncan6

    你用下 superset 就满足了。。。
    Braisdom
        118
    Braisdom  
    OP
       332 天前
    @encro 哈哈,superset 多表查询是需要写 SQL 的,而 Agile Query 不需要写 SQL 自动多表查询。
    winglight2016
        119
    winglight2016  
       332 天前
    我们才几千万的数据,有些报表 SQL 就非常慢了,lz 这个方案,不建中间表是怎么解决性能问题的?
    Braisdom
        120
    Braisdom  
    OP
       332 天前
    @winglight2016 那是数据库选型的问题,针对 SQL 的结果进行 1 分钟,5 分钟的缓存就可以解决。异步执行
    harrozze
        121
    harrozze  
       331 天前
    @Braisdom #110 数据治理解决数据可用、规范化(命名、取值、精度等)、安全(鉴权、防护等),这一大堆问题。其中有一部分是制度层面,有一部分是安全,我觉得“数据治理”这个话题太大,也不是 Agile Query 要解决的问题,Agile Query 把自己的主要功能完善好就好。
    Braisdom
        122
    Braisdom  
    OP
       331 天前
    @harrozze 非常同意,Agile Query 有自己的边界,将跨表查询的 SQL 编译,其它的特性会适当的加上。
    1  2  
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1915 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 40ms · UTC 01:52 · PVG 09:52 · LAX 18:52 · JFK 21:52
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.