V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
natforum
V2EX  ›  奇思妙想

做个爬虫将所有互联网信息进行离线存储包括音视频可行性

  •  
  •   natforum · 2019-10-16 16:45:28 +08:00 · 4032 次点击
    这是一个创建于 1866 天前的主题,其中的信息可能已经有所发展或是发生改变。
    前期只存储网页,后期做大了就开始存储音视频以及其他文件,但是仅仅存储,不公开传播,为人类互联网做贡献。求这种可行性方案,如果以后有了一定量的数据,可以进行机器学习。给人们打造一个透明的互联网
    19 条回复    2019-10-19 09:56:56 +08:00
    siknet
        1
    siknet  
       2019-10-16 16:46:58 +08:00   ❤️ 1
    Internet Archive: Wayback Machine

    这个网站你没去过?
    murmur
        2
    murmur  
       2019-10-16 16:48:58 +08:00
    https://archive.org/
    看了一眼,视频很多打了膜乎处理,不过看样子不是色情就是暴恐
    zdnyp
        3
    zdnyp  
       2019-10-16 16:49:26 +08:00
    0
    zdnyp
        4
    zdnyp  
       2019-10-16 16:50:07 +08:00
    @zdnyp #3 可行性
    azh7138m
        5
    azh7138m  
       2019-10-16 16:55:43 +08:00
    你要问能不能做,那肯定是能做的
    就看你有没有那么大的存储,能不能正常的对抗反爬了
    总结下就是,你这个需求,加钱就行(
    gIrl1990
        6
    gIrl1990  
       2019-10-16 17:08:45 +08:00
    但是仅仅存储,不公开传播,为人类互联网做贡献。
    你都“仅仅存储” 还怎么“做贡献”???
    loginbygoogle
        7
    loginbygoogle  
       2019-10-16 17:11:58 +08:00   ❤️ 1
    不可行,原因,没钱没技术。
    silencefent
        8
    silencefent  
       2019-10-16 17:29:16 +08:00   ❤️ 1
    我在想你准备几个月进去吃免费餐
    est
        9
    est  
       2019-10-16 17:38:53 +08:00
    现在网上这些上下左右全是不同厂牌水印带音量按钮图标在中央的录屏 n 手视频我都爬不下手。。。更不用说 android 那些发绿的传家宝图片了。。。。估计 LZ 存储了会发现自己也要 ffmpeg 再压缩一次节省空间。。。
    n3yKZn7vykSRL0xz
        10
    n3yKZn7vykSRL0xz  
       2019-10-16 17:47:18 +08:00 via iPhone
    价钱世界可及
    n3yKZn7vykSRL0xz
        11
    n3yKZn7vykSRL0xz  
       2019-10-16 17:47:32 +08:00 via iPhone
    @K1ri7o 加钱 (打错
    CloudnuY
        12
    CloudnuY  
       2019-10-16 17:55:32 +08:00
    17 年 quora 上就估算 youtube 储存达到了 10EB……
    tabris17
        13
    tabris17  
       2019-10-16 17:57:01 +08:00
    你已经游走在犯罪的边缘了
    laminux29
        14
    laminux29  
       2019-10-16 17:58:02 +08:00
    楼主是不是觉得,带宽、硬盘、服务器,是天上掉下来的?
    aoling
        15
    aoling  
       2019-10-16 17:59:19 +08:00
    痴人说梦 首富干这个事情都要考虑下,
    你有资金嘛
    locoz
        16
    locoz  
       2019-10-16 18:05:52 +08:00
    不说别的,你哪来那么大的带宽和存储空间?硬盘多了之后谁来维护?
    Bigglesworth
        18
    Bigglesworth  
       2019-10-17 15:48:06 +08:00
    棱镜不就干了么?
    dosmlp
        19
    dosmlp  
       2019-10-19 09:56:56 +08:00 via Android
    可行,但是没钱
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5080 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 39ms · UTC 03:58 · PVG 11:58 · LAX 19:58 · JFK 22:58
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.