V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
cloudwise
V2EX  ›  开源软件

[开源工具] 被运用到上万个项目中的数据生成器[ Data-Processer] 宣布开源

  •  
  •   cloudwise · 2016-12-16 14:16:57 +08:00 · 4232 次点击
    这是一个创建于 2908 天前的主题,其中的信息可能已经有所发展或是发生改变。

    Data-Processer 简介:

    Data-Processer 是一个模拟数据生成器。

    通常在测试过程中,产生完整、全面的真实数据比较困难。 Data-Processer 可以帮助我们根据需求,创建对应的模版和词典,生成我们需要的模拟数据。

    此工具由云智慧发布,是一款成熟的模拟数据生成器。已被广泛的运用于全栈性能监控、端到端应用性能管理、全链路性能压测、实时大数据可视化、业务运维等众多项目中,在电商、在线教育、政企、互联网金融、 o2o 、游戏、企业服务等行业均被使用。

    Data-Processer 使用场景

    Data-Processer 能够根据构建的模版和词典,生成我们需要的数据。在测试环境、持续集成、生产环境中,均可使用。

    测试场景

    测试过程中,我们需要验证数据后端的功能或性能,此时,需要降低与数据产生端的耦合,那么需要一个稳定优秀的数据生成器,来持续的不间断的产生正确的数据,和特殊情况下的异常数据。

    持续集成场景

    在整个持续集成场景中,一个或多个模块组成一个平台,需要有源源不断的数据进入持续集成环境,用以自动化地完成测试和迭代工作,使用 Data-Processer 则可以通过数据样本的指定和简单的编码,非常简单地完成这个需求。

    生产场景

    在一个项目完成测试和迭代,发布到生产环境之后,通常也需要进行持续的功能或可用性监测,那么则需要有各种正常或异常数据按照某种规则和定义,持续稳定地生产并送回平台,此时将持续集成场景中的 case ,只需通过简单配置,则可以进行生产的验证,以满足这个需求。

    Data-Processer 的架构

    数据生成器包括:模版变量提取,模版变量执行,模版变量替换组成,三部分组成。

    使用示例

    Data-Processer 资源链接

    源码地址: https://github.com/CloudWise-OpenSource/Data-Processer

    Demo 地址: https://github.com/CloudWise-OpenSource/Data-Processer-Demo

    1 条回复    2018-05-03 11:23:54 +08:00
    qq454274655
        1
    qq454274655  
       2018-05-03 11:23:54 +08:00
    你好,我用这个工具将数据插入到了 hbase 中,在本地跑是没有问题可以完美的插入到 hbase 中,但是打 jar 在服务器上运行的时候 com.cloudwise.sdg.dic.DicInitializer 取不到值( null ),导致我写的解析 json 报格式错误。 你有方法解决这个问题吗?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2795 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 00:21 · PVG 08:21 · LAX 16:21 · JFK 19:21
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.