首页   注册   登录
 fireapp 最近的时间轴更新

fireapp

V2EX 第 168536 号会员,加入于 2016-04-16 15:45:12 +08:00
fireapp 最近回复了
37 天前
回复了 caqiko 创建的主题 程序员 mysql 千万级别的数据统计
@caqiko 根据我的经验实施起来不麻烦,都是一些工具,找几个 demo 试试就会了

可以去掉 avro 这个,binlog 实时写
文本,csv/tsv 都行,隔天转 parquet, 转 parquet 能极大提高查询效率,还顺带支持压缩

drill 比 spark sql 简单,解压,简单配置下内存,启动就行,
通过它来 撸 sql 查询文本跟 parquet 文件

提供一台 8 核 16G 机器足够,都是秒查
minio 走起,压缩 + 序列化
41 天前
回复了 caqiko 创建的主题 程序员 mysql 千万级别的数据统计
binlog 实时同步写 avro,隔天 avro 转 parquet 然后单机 apache drill 或者单机 spark sql 鲁 sql 完事
44 天前
回复了 Tarkky 创建的主题 问与答 有什么办法不不用手机号注册 Google
注册 gmail 啊,随便注册啊,不用验证码的
楼主说 su root 下能安装,但是 sudo 就报错,感觉是安装脚本在 sudo 下找不到 java_home,手动指定它试试,不行的话下个源码看看,改改自己编译一个
继续写个脚步 ,export && yum install,然后 sudo 执行它
再 sudo export JAVA_HOME=java_path && sudo yum install cloudera-manager-agent.x86_64 继续试
一步步试,先 suodo yum install cloudera-manager-agent.x86_64 安装下试试
127 天前
回复了 wsds 创建的主题 问与答 游泳高手放到大海里边,会怎样?
腌咸鱼了解下,时间久了脱水 gg 了
133 天前
回复了 luozhiyun 创建的主题 程序员 我想请问一下大家 ElasticSearch 的问题
1 亿条,每条 1k,是 10G,单机 grep 加 awk 一两分钟的事,你们为啥要搞的那么复杂? 搞不懂
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2044 人在线   最高记录 5043   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.3 · 15ms · UTC 00:20 · PVG 08:20 · LAX 17:20 · JFK 20:20
♥ Do have faith in what you're doing.