分吧，不好互相迁就，就果断成就

@WangLiCha 这个是大数据需要处理的对象之一，一般都会用到常规数据库里面存储的业务数据，再加上服务产生的日志，边缘设备（ app 上报）的日志，放在一起管理和分析，最后的结果可能是给领导汇报的报表，客户看的自己使用情况，产品经理看的分析，运营需要的用户画像，以及反馈给业务系统本身。这些取决于业务形态

楼上的应该都没做过大数据。其实大数据就是在数据量大，非结构化数据多，数据价值密度低场景下的一种解决方案。遇到这种场景，哪怕是自己从头设计开发，最终也会发展出现在的大数据工具与理论，就是为了更方便管理，更方便分析，更能产生价值。可以设想一下有 10TB 服务器 nginx 日志，如何应对每天给项目经理提供一份 URI 使用情况

用 TrueNAS ，1t1g 都是扯淡，只要不开去重就没得这个问题

@Maerd 我只是消费后写文件，如果你还有其他操作肯定会更慢，比如把写文本文件改成写 gzip 就会降低到 22000 左右，还有就是需要批量拉取数据，而且不是每批量拉的越多越好，需要自己测试最佳数量

1500 确实少了点，我也是单 broker ，jvm 设置 4G ，i5 10400 ，python 写的消费，大概 38000 条每秒，22MB/s

哪家？有无链接，我也看看

成都才是

@dtgxx 对的，我整过在里面读 mongo 和 es ，合并统计数据后写入 es 另一个 index ，完全没问题，其他的场景没试过

可以，但是没必要。spark 你可以拿来当做分布式的基座，但是并不提供事务类的算子，还是得自己写

能贴一下详情不？不太了解这个

CN2 GT 非常一般，我手上的瓦工 cn2 ，时常败给 RN 的小鸡，成都电信

不管哪家，不到没得选，就不要去

@ryd994 NAS 就是 NAS ，服务器就是服务器，别混成一体用，我是个人 PC 一个，服务器用的 2680V4 双路，NAS 上的 truenas ，重要数据遵守 3-2-1 原则，ecc 真用不着，太极端的情况 3-2-1 原则也能抗住

vb2+vb6+vc+阿莫西林胶囊消炎，个人经验

普通场景没必要 ecc ，我家里台式机已经连续运行 3 年无故障，硬盘希捷银河，重点是 UPS

蹲