V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
takato
V2EX  ›  分享发现

[搬运]DeepZip,用 RNN 来无损压缩内容,效果惊人

  •  
  •   takato · 2018-01-02 23:36:45 +08:00 · 4990 次点击
    这是一个创建于 2520 天前的主题,其中的信息可能已经有所发展或是发生改变。

    论文地址: https://web.stanford.edu/class/cs224n/reports/2761006.pdf

    结果如下: https://i.v2ex.co/j2TaTIE3l.png

    在有限数据集下很厉害。。。

    9 条回复    2020-06-30 12:20:03 +08:00
    nazor
        1
    nazor  
       2018-01-03 00:00:43 +08:00 via iPhone   ❤️ 6
    piped piper
    showgood163
        2
    showgood163  
       2018-01-03 00:14:41 +08:00 via Android
    前段时间看见了用深度学习做索引的工作。,
    takato
        3
    takato  
    OP
       2018-01-03 00:46:17 +08:00
    说不定我们的神经元信息也能压缩得如此简洁。你们说有可能吗?
    @nazor
    @showgood163
    Xs0ul
        4
    Xs0ul  
       2018-01-03 02:17:19 +08:00 via Android
    看起来,loss 并没有跑到 0 ?所以解压的结果还没对
    disposablexyz
        5
    disposablexyz  
       2018-01-03 08:37:08 +08:00 via iPad
    看了一下论文,可以说是非常厉害了,你的图片结果中的前四项是随机生成的 Pseudo-random-number-generated sequences (PRNG),论文作者说它之所以可以压缩到这么小是因为 DeepZip 实际上发现了这并不是“真”随机序列,非常有意思。
    作者还说 DeepZip 对于纯文本的压缩表现不是很好,大概是因为文字没有太多 dependency ?
    对于染色体这样 dependency 很多的?目前 DeepZip 已经比市面上的表现出色很多了,虽然慢很多多。
    showgood163
        6
    showgood163  
       2018-01-03 10:47:23 +08:00 via Android
    @takato 神经元的物理信息需要量化才之后才可以被压缩,量化层级比较少的时候信息量也较少,压缩相对容易些。
    showgood163
        7
    showgood163  
       2018-01-03 10:48:17 +08:00 via Android
    @Xs0ul 哈,想到一起了。不知道这里无损的标准是什么
    takato
        8
    takato  
    OP
       2018-01-03 12:25:48 +08:00 via iPhone
    @disposablexyz 对,其实神经网络发现了那个是一个有限信息空间,信息频谱存在可以“折叠”的部分,不知道这个比喻是否恰当。
    sonack
        9
    sonack  
       2020-06-30 12:20:03 +08:00
    没有啥卵用 相当于每次编解码都要重新训练模型,速度太慢了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4550 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 47ms · UTC 10:10 · PVG 18:10 · LAX 02:10 · JFK 05:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.