想省心就接入打码平台

ip 地址转化成 32 位数字， 然后经典的 bitmap 查找

看项目规模

postgres 备份 wal 文件到 S3

善于利用导购小妹

官方文档写的不清楚吗？

当你理解一段文本怎么变成倒排索引，就能理解 term 查询是干什么的了。

假如 “当你理解一段文本怎么变成倒排索引，就能理解 term 查询是干什么的了” 这句话被 index_analyzer 分析成 ”当／你／理解／一段／文本／怎么／变成／倒排索引／就／能／理解／ term ／查询／是／干什么／的／了“ 之后， 索引里的 term 就会是这些打散的词， 此时你用 term 查询查”变成倒排索引“这个 term 时是查不到任何东西的。 当你用 match 查询查询“变成倒排索引”时, analyzer 会先把查询串切成“变成／倒排索引”，这个时候就能查到东西了。

select str, value, max(id) from xx group by str, value;

@blank4me 所以使用关系型数据库做反范式化的能力很重要

@est 刚查了下 Bloom filters 要在 Redis 3.2 才能直接集成

@est 那就用 SETBIT 和 GETBIT 操作模拟一个

scrapy-redis 只是把任务队列和 request 的去重交给了 redis 来做，你如果要用 bloomfilter ，需要把 bllomfilter 的数据丢到 redis ，这个轮子可以自己用 redis 的 bit 相关操作来实现，不过印象中好像 redis 已经要支持 bloomfilter 了， scrapy 本身不支持任和分布式的操作，他也只有一个进程，下载页面的异步的而非分布式并行的

国际版 QQ 文件目录里有个城市列表的 xml 文件，直接提取出来解析就行了

方案一
https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-function-score-query.html#score-functions?q=score

方案二
https://www.elastic.co/guide/en/elasticsearch/reference/current/search-request-sort.html

慎用LeanCloud，之前抓了一家社交软件的LeanCloud的接口数据，估计他们连基本的感知都没有

当年电话面试蘑菇街，你们竟然派了一个超级闷的工程师打电话，语速慢到令人发指。