@ymj123 得公司支持啊！

@jeffh 这个还是很赞的，最近在看 sicp，不过是 python 版。

@JamesR 有道理，我觉得也是。一个半小时强度很大啊！每天都是如此吗？主要是什么项目？我一般要么半小时游泳要么划船机就不行了。不过我三十多了，唉。。。

@pibicha 楼主看看这个有没有用：
www.dataengineeringpodcast.com/snuba-event-data-warehouse-episode-108/

这时间其实比不少北美公司都好了。。。

我觉得最主要就是比较 geeky 然后性格也还可以，就可以了。除非需要立刻上手否则一般几周就够入门的了。然后看一看他的代码库，因为 geeky 的人哪怕不做开发也会有点自己的东西。

@dackh insert 还是 copy?

做数据仓库，做数据可视化，然后尝试一点数据挖掘。
突然看到你们都做了。。。很强啊，看来是有高人在做数据科学这一块。数据可视化这一块不知道是只是浅显的做了做，还是有数据仓库之类的？

@pibicha 我也不是 BI 的，是 BA。。。不过经常和他们接触就是了。你要出报表的话，肯定有需求对吧，有了需求就知道大体上目前的数据行不行了。因为很多时候原始数据查询起来特别麻烦，效率很低，所以这时候就要做成 OLAP，然后再写查询，最后进可视化软件。但是具体怎么做我也不懂，而且我印象中 Clickhouse 本身就是 column-based，适合做数据仓库，所以弄不好不怎么需要处理？

我琢磨着数据量不大的话导入到 sqlite 里头做查询怎么样。。。

最好能举个例子，如果是社交网站那种 A 的朋友的朋友的朋友。。。这种查询，据说是图数据库比较好，不然就要递归。

@shakoon 我因为是从业务过来的所以觉得这块没有很大障碍。BI 也的确更偏技术一些相对 BA。

话说为何需要有很多返回值？能否从设计上改变呢？好奇

@cqcn1991 多谢 其实我们公司数据工程师和 bi 是分开的，是我把他们混在一块了。bi 就是开会，收集需求，做数据仓库，然后做可视化图表。

@Justin13 多谢，您后面说的似乎有点深，感觉要写数据库引擎，不过可能您指的是类似 spark, paquet 这些的原理，我水平不足可能得从安装 spark 和学 pyspark 开始。我先看看 semantic model 是个什么东西。

@fireapp 同意，基本上这种系统都是两部分，一部分是 Monitoring 性质的，直接做成 Dashboard，如果效率不够高就要想办法预先 aggregate 等等。还有一部分是 Analysis 性质，其实不应该是楼主管，其他部门应该有 BA/DA，但是需要楼主做好数据仓库，否则查询起来要死了。

DWH 的话 PostgreSQL 怎么样？这也是免费的，不过不知道你们数据量，以及原先存储在哪里。

这不就是 BI 么？首先分析需求，就是看有啥报告要出的，然后 ETL 进数据库做数据仓库，最后接 Tableau 或者 Power BI 出报告。Clickhouse 不熟，也许能够直接拿来用？我记得它本身适合做 OLAP。

Tableau 的话可能需要 ODBC Driver，Power BI 查了下应该也是如此。

这活可是我梦想的活，可惜没机会做。

@toyuanx 取其精华会不会最后就是注释基本没有 + 半天才理清楚 + 不注意缩进 + 冗余 + 没法交流。。。