Bilibili 上面那些数据可视化的视频，数据都是来自哪里？

[changwei]

例如这个 up 主 https://space.bilibili.com/5760446

我看了一下他视频里面的数据最早一直到 2010 年，不知道这些数据都是哪里来的啊？如果真是 up 主自己爬虫抓了八年，那也真是厉害啊！！！

[liyvhg]

战略性 mark。
可能是来自于一些统计机构的公开数据吧？

[xzc19970719]

自己爬的？？根据日期分嘛

[Rokee]

用的 D3.js 。https://github.com/Jannchie/Historical-ranking-data-visualization-based-on-d3.js

[azh7138m]

@Rokee 读题啊
是 数据 哪里 来的

[fuchar]

mark 一下

[orsweet]

插眼

[e9e499d78f]

open data ?

[gabon]

mock ？

[orangeade]

公开数据集吧，谷歌今年还出了个数据集搜索引擎来着

[whwq2012]

我也想问，一想到数据来源可能很水立马觉得这些事情很 low。。
我猜是百度 /谷歌的搜索指数？

[yingfengi]

有时候可能是编的，或者，百度一下。
大部分所谓的统计，水分很大的。

[enjoyCoding]

Math.radom+lastRadom

[dachuige]

这个问题困扰了好久

[Torpedo]

官方告诉的吧？

[molvqingtai]

排除法，肯定不是八年抓的

[locoz]

首先从八年前开始爬到现在的概率非常低，这个 up 主的账号是 2014 年注册的，八年前他可能还不知道 b 站，或者并不会觉得这个网站的数据能有什么意义。
然后根据他发的视频内容来看，av26727147 这个视频里在 2009 年的时候就出现了广告和时尚区的记录，而这两个区在我的印象中是最近一两年才出来的；还有一点就是所有视频的开头都是有一部分不为 0。
推测出可能的情况：
1、根据发布时间筛选那个时间以前的视频，并计算需要的值的总和。（但是根据我服务器上 2017 年 8 月 17 日的全站数据来看，按这种方式算出来的值与视频中的对不上）
2、数据来源于第三方监控平台。（但是起始时间太早了，那时候一是可能没有这种监控平台，二是当时 b 站只是小众圈子，就算有监控平台也不太可能收录）
3、b 站官方记录的数据，py 交易得来。（概率较低，那么早的时候 b 站会专门存这种每天的记录？）
4、爬网页时光机、快照之类的东西，得到历史网页并解析出当时的实际值。（覆盖面不广、没有完整的数据，视频里看着又挺多，也不太可能）
5、用评论来做估值，根据评论时间和数量判断当时的值是多少，并生成假数据。（有点可能性，但存在评论很少播放量 /收藏量很高的视频，这么弄的话误差可能比较大）
6、以部分时间节点为关键点，并根据现在的数据来生成假数据。
所以很可能是假数据

[locoz]

@locoz #16 补充第一点的对比，可以看到用 [2017 年 8 月 17 号的全站数据] 统计出来的 [发布时间小于等于 2009 年 10 月 1 日的视频] 的收藏数都要比视频中的高出很多。

[Pythondr]

看个趋势，看个热闹罢了

[changwei]

@whwq2012
@orangeade
@locoz

百度指数目前最早可以查到 2011 年的数据，我也猜测是来自这个。但是他有一些数据，例如视频收藏，投币数量这种数据最早一直到 2012 年，这种数据，还要追溯到这么久以前，只有 b 站内部的人，而且还要是较高级别的运营人员才能弄到时间范围这么宽的数据吧。我就很好奇这些数据他是怎么来的，看他的账号还有 b 站官方认证，难道 b 站默默承认了他数据的真实性嘛？

另外，如果真是假数据的话，这些 up 主就有点哗众取宠了吧，弄虚作假搞些大新闻来赚人气博眼球，我觉得这样不太好。

[locoz]

@changwei #19 百度指数那部分没问题，正常情况就能爬到，就是 B 站内的那部分数据有点怪而已。
然后那个认证内容是“ bilibili 知名科普 UP 主”，并不能说明数据的真实性。而且审核人员的级别也不高，也无法得知数据是不是真实的。