ES 从 File System Cache 到 Segment 大概会耗时多少呢
monetto · 2022-08-25 17:54:25 +08:00 · 1789 次点击这是一个创建于 855 天前的主题，其中的信息可能已经有所发展或是发生改变。
看 ES 原理，有一段大致是这样介绍的。
ES 将数据写入到 Memory Buffer ，同时也会将数据写入到 Translog 。
Memory Buffer 在历经 Refresh Interval （ 1 秒） 之后会把数据写入到 File System Cache ，再由 File System Cache 写入到 Segment 。
而 数据写入到 Translog 之后，要经过 5 秒 才会持久化到磁盘 log 中。
我理解 Translog 本身应该是类似于 MySQL Binlog 一样是防止数据丢失的。
但是目前看来 5s 的时间是否过长了，我理解 5s 怎么也完成 数据 从 内存 持久化 到 Segment 了啊..
 |
1
1018ji 2022-08-25 18:25:38 +08:00
|
 |
2
q474818917 2022-08-25 18:51:27 +08:00
这应该是定时频率，类似 mysql 的 redo log
|
 |
3
anjiannian 2022-08-26 10:00:11 +08:00 via Android
数据在写入 file system cache 和 segment 后仍然在内存中没有落盘的，数据落盘是根据 translog 的大小 index.translog.flush_threshold_size 或者 30 分钟才会触发 flush 操作
|
 |
4
LeegoYih 2022-08-26 11:51:58 +08:00
可以将 translog 设置成每次写操作直接 fsync 到磁盘，但是性能会差很多。
Elasticsearch 作为搜索引擎，不应该用数据库的思路来使用，牺牲一点点一致性保证可用性是可以理解的，如果发生崩溃故障，可以手动触发同步宕机前一段时间的数据 |
Select Language