V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
JAVAER
V2EX  ›  Python

Python 怎样去重?已经用了 redis,电脑撑不住

  •  
  •   JAVAER · 2019-05-06 00:50:09 +08:00 via Android · 5071 次点击
    这是一个创建于 1788 天前的主题,其中的信息可能已经有所发展或是发生改变。
    17 条回复    2019-05-06 13:56:44 +08:00
    huntzhan
        1
    huntzhan  
       2019-05-06 01:26:16 +08:00   ❤️ 24
    你提问像蔡徐坤
    renmu123
        2
    renmu123  
       2019-05-06 08:00:38 +08:00 via Android   ❤️ 2
    布隆过滤器
    est
        3
    est  
       2019-05-06 08:26:50 +08:00
    JAVAER 你好。这不是一个典型的 interview 问题么。
    NicholasK
        4
    NicholasK  
       2019-05-06 08:59:00 +08:00   ❤️ 1
    set ()
    xiao38245
        5
    xiao38245  
       2019-05-06 09:01:53 +08:00
    你的提问简直比怎么毁灭地球还要更宏观
    www5070504
        6
    www5070504  
       2019-05-06 09:30:22 +08:00
    这是在黑吗
    misttyw
        7
    misttyw  
       2019-05-06 09:38:13 +08:00
    你提问真蔡
    grt1st
        8
    grt1st  
       2019-05-06 10:55:47 +08:00
    详细描述看看?
    mutalisk
        9
    mutalisk  
       2019-05-06 12:09:54 +08:00
    @renmu123 bloom filter 是个好点子
    mutalisk
        10
    mutalisk  
       2019-05-06 12:12:20 +08:00
    @renmu123 但是有可能会有误判,把不重复的判成重复的吧。
    andylsr
        11
    andylsr  
       2019-05-06 12:21:08 +08:00 via Android
    @mutalisk 概率很低,自己可以根据情况设置
    zonyitoo
        12
    zonyitoo  
       2019-05-06 12:22:13 +08:00
    你提问像蔡徐坤
    renmu123
        13
    renmu123  
       2019-05-06 12:28:13 +08:00 via Android
    @mutalisk 误判概率很低,但是效率很高
    superalsrk
        14
    superalsrk  
       2019-05-06 13:45:08 +08:00 via Android
    布隆过滤器啊
    ym994561723
        15
    ym994561723  
       2019-05-06 13:51:58 +08:00
    集合去重啊
    ospider
        16
    ospider  
       2019-05-06 13:53:47 +08:00
    换 pika,硬盘版 redis
    binux
        17
    binux  
       2019-05-06 13:56:44 +08:00 via iPhone
    你先把 url hash 一下,不可能撑不住
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2514 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 16:01 · PVG 00:01 · LAX 09:01 · JFK 12:01
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.