V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  jinmingjian  ›  全部回复第 2 页 / 共 4 页
回复总数  64
1  2  3  4  
2020-08-25 18:32:32 +08:00
回复了 jinmingjian 创建的主题 Rust Unplugged Rust 线上快闪
@chux0519 现在还没人响应,有兴趣就约起来:)早期人不多,可以不介绍,本意是大家可以轻松一点、纯粹一点,就谈谈比较兴趣的相关话题就 o 啦,哈哈
2020-08-12 18:55:42 +08:00
回复了 jinmingjian 创建的主题 Rust Unplugged Rust 线上快闪
@Helcrops 这画面感很足:)毕竟大家平时潜水摸鱼,专门抽时间参加活动的我估计人数不会太多。这个活动并不是设计为一个直播,而是一个短时间线上聚会,大家在约定时间进到一个会议室,聊几分钟或者更多一点时间,然后就撤。
2020-08-12 18:19:30 +08:00
回复了 jinmingjian 创建的主题 Rust Unplugged Rust 线上快闪
@Helcrops 并不是,但(免费)大规模在线会议很少有平台支持,同时还不知道大家的兴趣如何,不要负担太重,就是轻社区,有空就聊聊这种就好,没时间大家几分钟就闪,也不错。当然一个人聊就比较尬。
2020-08-10 21:52:28 +08:00
回复了 jinmingjian 创建的主题 程序员 今天开源了一个自己写的数据仓库原型
@Sasasu 并没有。实际上,没有进行压缩,列类型大小为 4B 。内存最大带宽比较容易估算:每个内存通道的带宽为大约为 20GB/s,xeon sp 通常是 6 通道,所以总带宽是~ 20*6=~ 120GB/s,具体大小和 DDR4 的内存频率是有关系的。我看过某块 8280M 能到 123GB/s,这都是代码能跑出的真实带宽。简单说,适当的运算代码是可以基本达到最大理论带宽的。
2020-08-08 22:08:42 +08:00
回复了 jinmingjian 创建的主题 程序员 今天开源了一个自己写的数据仓库原型
@BIAOXYZ 感谢反馈!我明天下午 teams,wechat 等多加几个!这几天观察发现 slack 和 teams 似乎都有不稳定的时候。想准备一些线上活动,对 rust 和数据之一有兴趣机油们可以定期快闪聊聊,可关注项目页面更新的这些渠道!
2020-08-08 16:57:56 +08:00
回复了 jinmingjian 创建的主题 程序员 今天开源了一个自己写的数据仓库原型
@leeg810312 哦,对不起看错了,存储其实他做的相当不好,就不不具体批评了。ch 的程序员比较“吸收”和优化算法,比如 hashtable 改改。即便同样一个方向,Base 的做法也会很不一样。
2020-08-08 15:38:21 +08:00
回复了 jinmingjian 创建的主题 程序员 今天开源了一个自己写的数据仓库原型
@leeg810312 其实还是有点偏向的:)还没到这个阶段,但我感觉你有点感觉哦:)可以上 slack sao 聊?我多加几种聊天方式?
2020-08-08 15:34:01 +08:00
回复了 jinmingjian 创建的主题 程序员 今天开源了一个自己写的数据仓库原型
@leeg810312 通吃,高性能是核心设计。我这个测试就是内存运算,你可以发现 clickhouse 运算并不强。当然 clickhouse 也可以改,具体算法比较容易 copy,但架构一旦设定很难改,代价太大。Base 要把性能这个事推到到极限,如果它要 copy 架构,欢迎它 copy 我这个的架构。
2020-08-08 13:56:12 +08:00
回复了 jinmingjian 创建的主题 程序员 今天开源了一个自己写的数据仓库原型
@facelessvoid 谢谢:)
2020-08-08 11:15:59 +08:00
回复了 jinmingjian 创建的主题 程序员 今天开源了一个自己写的数据仓库原型
@AlisaDestiny 很好!大东“Rust 编程之道”这本书还不错,文字量较多适合慢看,我翻的更多的是 Jim Blandy 等的 Programming Rust,这本 jd 上有各种版本。“深入浅出 Rust”这本,作者有一定思考,但可能不太适合初学者。
2020-08-08 11:08:37 +08:00
回复了 jinmingjian 创建的主题 程序员 今天开源了一个自己写的数据仓库原型
@leeg810312 这个就功能来说,成熟度不高。但架构(或者方法论)来说很高,而且我认为局部到顶,因为自己有点完美主义,自己丢脸事小,不能给中国工程师丢脸 。我在项目 issues 列了 7 个 issue 都是 new feature,如果完成,单表查询 sql 就 ok 了。如果是我来完成 1-2 天吧,主要是体力活,但我希望有小伙伴参与进来,对理解系统工作帮助很大。我怕走太远,导致大家入门难度提升过大。另外说明一点,这个项目需要一点系统编程经验,但不需要有数据库经验。这个项目其实希望大家都把教科书那套忘掉,Base 会用很多底层而简单的 state-of-art 取代上层的优化,包括基于代价的优化器这种(都会抛弃)。

现在的状态是,如果你有一堆整数数据,用它能帮你极快的做简单统计( 7 个 issues 完成后)。但计划 2-3 个月后会有面向生产的版本。

面向生产会需要一些有趣的特性,比如滚动升级,除了性能。而这些特性其实对技能要求不是很高,大家有兴趣可以一起来,没有什么比看见一个系统从 0 成长为参天巨树更让人兴奋:)和一些“前辈”拿到风投再做不同,我做这件事只是信念,我希望中国工程师对大规模数据分析这件事有兴趣的同学能聚集过来(这件事情大厂闭源的做不了,大厂 kpi 驱动开源的做不好),我愿意提供我的经验和能力和大家一起来做这件事。
2020-08-08 09:43:04 +08:00
回复了 jinmingjian 创建的主题 程序员 今天开源了一个自己写的数据仓库原型
@sampeng 同意。Rust 这两年生态和使用体验的变化非常大,三年前我开始写一本到现在都没完成的 Rust 书,当时初步的涉猎,我发现还有大量的坑,到如今大部分已经解决的很好。
2020-08-08 09:27:34 +08:00
回复了 jinmingjian 创建的主题 程序员 今天开源了一个自己写的数据仓库原型
@BIAOXYZ 是的。把一个简单系统做复杂很容易,但把一个复杂系统做简单很难。TensorBase 就是这样一个把复杂做简单的项目。这里面的 Rust 实践是最新的,即便是 Rust 新手想最快了解整个 Rust 生态发展和工程实践,看这个 TensorBase 源码是很好的。这里面有些 Rust 功能在社区热度过高但我保留意见,比如 Async/await,过于复杂的语法抽象是有代价的,新手写起来确实容易了,出了问题就要哭。
2020-08-07 22:21:01 +08:00
回复了 jinmingjian 创建的主题 程序员 今天开源了一个自己写的数据仓库原型
@tikazyq 谢谢!主要是时间比较有限,主意还是好主意:)
2020-08-07 22:18:03 +08:00
回复了 jinmingjian 创建的主题 程序员 今天开源了一个自己写的数据仓库原型
@liprais 好问题,其实很多数仓不保证正确性。什么是正确性?单机存储是要做 checksum 的,文件系统本身可能就有 checksum 。多节点集群有副本的话有一致性问题,但本项目集群的方向是 CRDT 。单机主要是持久化。要保证高可用和集群一样,还是副本(也有些其他方案,但从系统工程和顶级的性能角度应该是比较困难的)。高性能 checksum 玩法也很多。喜欢一定要来玩:)
2020-08-07 21:42:07 +08:00
回复了 jinmingjian 创建的主题 程序员 今天开源了一个自己写的数据仓库原型
嘿嘿,哎哟,终于有人说句话啊:)之前的招聘好久了,再之前 6-7 年还发过一个 Java 高性能库,还有些游戏公司“悄悄”用,一时间“南云风”,北就是我咯:)纯 YY 一下,时光真快,想干点事?干就是了!
@yichenzzz 可能需要确认一下,但直接发个信问,无妨:)
@small369 按说对于学历,招聘人是不 care 的,甚至,我“估计”他更喜欢这种:大学挺没劲的,所以我就没读了...... 但我对你工作挺感兴趣。最近我做几个东西:1、自己的 linux 内核不支持 xxx,我拉了个 patch,改了下(因为 patch old 太快) merge 到 linux-next,build 出来试了试,io 果然快了 10x ; 2、xxDB 用 go 写了 sql parser,性能还是太低,我用 rust 重写了一个,性能加快 10x。3...... 举个例子而已。当然,有没有人和招聘人组 cp,我也不知道:)

但你如果说,“我就是态度好,能给个机会吗?”这种,我不太确定...... 但很多机会其实都是自己给自己的。
@tion 老铁,发封信也可以问嘛。来自传统行业,很多公司说出来其实很多人也都知道,只是代号。我司以业务为主,只是我部这不都是。业务的部分其实是小的,因为小司的数据需求不难,也因为难的有“高个子顶着”。难的是什么?大学里有的人跳课打游戏,有的人刷题刷论文。我对所有小伙伴就一个希望:你不虚度在我部的年华。
@abmin521 不是。我部不需要 DBA (当然整个公司还是有的运维兼 DBA 的)。这就是先进的数据系统所能帮助企业的。我部的姿势是“宕机睡大觉”,小伙伴其实有福啦:)
1  2  3  4  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5652 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 17ms · UTC 03:39 · PVG 11:39 · LAX 19:39 · JFK 22:39
Developed with CodeLauncher
♥ Do have faith in what you're doing.