V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
abcfyk
V2EX  ›  问与答

大量数据的即时统计如何优化?

  •  
  •   abcfyk · 2014-12-02 11:42:00 +08:00 · 2732 次点击
    这是一个创建于 3673 天前的主题,其中的信息可能已经有所发展或是发生改变。
    需求:
    有一货物出库表,表字段大致有id,stockId,skuId,supplierId,cost,outQty等。大概2000W条记录。现在面向供应商(supplierId NOT NULL)提供:
    [销售统计] 功能: 可以按任意时间段,任意出货仓库,任意SKU号。查询某个时间段的出货数量和出货金额的统计功能。
    要求:页面打开速度3s内。
    系统间采用WebService方式通信,前端使用PHP,后端采用Java,数据库采用Mysql5.5
    2 条回复    2014-12-02 11:59:45 +08:00
    abcfyk
        1
    abcfyk  
    OP
       2014-12-02 11:52:11 +08:00
    目前使用solr进行统计,速度上面已经达到了要求。
    但是solr的稳定性不太好。而且几乎每张表都需要建一个solr。后期会很被动。
    yeasy
        2
    yeasy  
       2014-12-02 11:59:45 +08:00
    如果只是这个确定的统计功能
    我能想到的,提前按树状切分时间段做各段统计。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2655 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 10:08 · PVG 18:08 · LAX 02:08 · JFK 05:08
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.