V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
suqiuluck
V2EX  ›  程序员

2023 了后端还可以准转大数据吗?

  •  
  •   suqiuluck · 2023-06-16 11:22:01 +08:00 · 5718 次点击
    这是一个创建于 526 天前的主题,其中的信息可能已经有所发展或是发生改变。
    Java 普本 5 年经验,深圳今年找工作实在是太卷了,面试也比较少,本人技术中规中矩,准备转 Java 大数据开发了,想问下给位前辈大佬,现在转大数据开发有搞头吗?如果不建议转,如何在后端突破一下呢,请求各位大佬指点迷津?感觉到了瓶颈期了。
    39 条回复    2023-06-19 12:45:27 +08:00
    mmdsun
        1
    mmdsun  
       2023-06-16 12:40:43 +08:00 via iPhone
    个人理解:现在是面试都少,不是 Java 语言少吧?
    大数据一直还行。

    Java 后端工作还是有的,就是太卷了,还有不少人受不了卷,转 go 了。
    (不过一句话就是不管哪个语言、行业,卷的都是中低端,做到更上层就不会卷了,平台也更大也人少,不过能达到这层人比较少)
    hoodzwh
        2
    hoodzwh  
       2023-06-16 12:43:31 +08:00 via iPhone
    怎么 java 都想转大数据,大数据岗位很少吧,已经很卷了
    abcd106
        3
    abcd106  
       2023-06-16 12:50:31 +08:00
    有什么可以体现出技术好
    smallyu
        4
    smallyu  
       2023-06-16 13:05:50 +08:00
    1. 大数据已死
    2. 岗位少。不是技术不好
    NoOneNoBody
        5
    NoOneNoBody  
       2023-06-16 13:12:41 +08:00
    大数据 /统计是长期工作,单位时间内产出小
    所以,两个解读:
    1. 有需求的企业会稳定投入,但也不会盲目,想大富大贵那就要找纯数据统计的公司(岗位竞争自然可以预见)
    2. 产出不高,那么有需求的企业也不多,毕竟它是一个专业性较强的工作,正态分布肯定不在中间峰值的区间

    结合自身能力考虑
    xieren58
        6
    xieren58  
       2023-06-16 13:18:50 +08:00
    一年一度的 Stack Overflow 开发者大调查又双叒叕来了!
    最赚钱的语言是哪个?

    Zig 。年薪中位数为 103611 美元(合人民币约 74 万元),今年突然杀出来的。

    作为一门现代编程语言,很多人表示它跟 C 很像,如果会 C 就很好学(划重点了!!)。
    xieren58
        7
    xieren58  
       2023-06-16 13:19:16 +08:00
    转 rust / zig ...
    777777
        8
    777777  
       2023-06-16 13:58:36 +08:00
    很多公司跟们没有大数据
    TArysiyehua
        9
    TArysiyehua  
       2023-06-16 14:05:06 +08:00
    @xieren58 给个报告的链接?
    pinylin
        10
    pinylin  
       2023-06-16 14:07:06 +08:00   ❤️ 2
    @xieren58 开玩笑,是工资高的人选择了 zig, 不是用了 zig 后涨薪。。。
    la2la
        11
    la2la  
       2023-06-16 14:10:14 +08:00
    是什么让你有一种错觉大数据就简单了呢?
    TArysiyehua
        12
    TArysiyehua  
       2023-06-16 14:36:20 +08:00
    @pinylin 也是一种趋势,事实证明就是要跟着大环境跑,比如你啥都不会就扯就是 chatgpt 人家就会过来找你了解。
    8355
        13
    8355  
       2023-06-16 14:39:11 +08:00
    现在还有啥大数据了
    之前搞大数据不都是 p2p 查征信那些
    现在根本不赚钱
    Cloud9527
        14
    Cloud9527  
       2023-06-16 14:40:18 +08:00
    大数据岗位比 java 还少吧
    sadfQED2
        15
    sadfQED2  
       2023-06-16 15:04:00 +08:00
    大数据和后端重合度很高啊,并没有需要转这一说啊。你后端去搞前端说”转“还差不多。
    hhjswf
        16
    hhjswf  
       2023-06-16 15:32:14 +08:00
    大数据跟 crud 也差不多吧。。
    leonhao
        17
    leonhao  
       2023-06-16 16:08:39 +08:00   ❤️ 1
    大数据==sqlboy
    zhuanggu
        18
    zhuanggu  
       2023-06-16 16:38:18 +08:00
    @xieren58 这玩意看看就好,当年我也是看着 perl 的收入最高,入坑了。后来一言难尽啊,不过之后也是转大数据了,现在是一个幸福的 sql boy
    JKeita
        19
    JKeita  
       2023-06-16 17:22:38 +08:00
    大数据很无聊啊,而且难找工作。
    Betsy
        20
    Betsy  
       2023-06-16 17:44:24 +08:00 via iPhone
    不建议呐,大数据技术栈忘深里挖是写大数据组件本身,坑位少,只有国内几个大厂招这种人才;往广里说,把大数据组件全摸一遍,然后发现会用,出个问题貌似也不知道咋解决,企业也不需要这种人才;转 SQL boy ,没有数分基础,闭眼写业务,相比较现在有点自断后路。
    di94sh
        21
    di94sh  
       2023-06-16 18:23:36 +08:00
    haimianbihdata
        22
    haimianbihdata  
       2023-06-16 18:42:43 +08:00 via Android
    大数据要是二开组件还行。你要是转去 SQL boy 不如留在 Java
    roundgis
        23
    roundgis  
       2023-06-16 20:16:57 +08:00 via Android
    大部分的企業的數據一個 u 盤都可以拷走
    tensorzhang
        24
    tensorzhang  
       2023-06-16 20:38:45 +08:00   ❤️ 2
    这个和 java 后端很相似,但坑位少很多,都被培训班给干烂了。

    开发也分为三大方向吧,
    1.二开,对开源组件定制化,技术要求很高,普遍五年以上
    2. 离线数仓,sql boy ,
    3.实时数仓 ,java 技术栈,目前也快走向 sql boy 路线了,原来的时候 2 和 3 分开招聘,现在招聘都要求会,基本就是写 sql + java


    尚硅谷 黑马 很多培训班也都培训,坑位原本就少,卷的人还贼多。
    xuanbg
        25
    xuanbg  
       2023-06-17 09:22:37 +08:00
    说个笑话,Java 虽然卷,但毕竟还能大家一起卷。小众语言,不是这些语言不卷,而是门槛超高+坑位稀缺,你又不是大佬,根本就得不到卷的机会。
    dif
        26
    dif  
       2023-06-17 09:52:09 +08:00
    大数据已死,老老实实写 java ,再学个 python 和 go ,再学点前端,自己折腾个东西,说不定以后是你的主业。
    devilweime
        27
    devilweime  
       2023-06-17 11:20:38 +08:00
    自学过,现在还是在干 java 后端,坑位太少,实时数据处理 java 需求才会多点
    Trello
        28
    Trello  
       2023-06-17 13:28:38 +08:00
    @xieren58 这种听都没听说过的语言,国内真的有公司用吗?真要搞得 run 出去了吧。
    noparking188
        29
    noparking188  
       2023-06-17 18:51:34 +08:00
    Java 开发,划掉 -> Web 后端
    大数据,划掉 -> 数据工程( Data Engineer ?)

    学一点 Python, Shell, SQL, Scala, Spark, CI/CD ,熟悉一下各种 OLTP/OLAP/NoSQL 数据库,了解下 Airflow 这类 pipeline 和 schedule 框架,AWS/Azure/阿里云 /腾讯云之类云平台熟悉一两个。

    感觉挺杂的,不过比较重要的是 Python 多熟悉一下,干活方便快,Java 熟悉方便直接看框架源码,基本都 Java/Scala 写的。Spark 要学到应付各种底层原理八股文。
    vincent7245
        30
    vincent7245  
       2023-06-17 21:47:31 +08:00
    只说大数据开发相关,因为这是我正在的领域,注意是开发,开发,开发,不是写 SQL 的

    1 大厂会基于开源框架做二开,甚至自研框架,如果能进大厂的话还是有搞头的

    2 中小公司能上大数据的公司也不少,基本都是基于开源框架开发应用,比如基于 Spakr 的批、基于 Flink 的流,运营系统、用户行为、推荐系统等等,这就类似 java web 的增删改查了,都有现成的解决方案,照着写就行了。

    3 专门做数据分析的公司,比如做数据分析平台的神策、友盟、talkingdata 等

    大数据现在也很卷,十年前会搭建 hadoop 平台,就能轻松 30+,现在你精通 spark 、flink 源码,也很难 30+
    suqiuluck
        31
    suqiuluck  
    OP
       2023-06-18 14:13:57 +08:00
    @vincent7245 老哥我目前在做的是个数据平台,基于 springcloud 微服务那一套,目前有用到 flink cdc 做二次开发,所以本人想往数据平台开发方向走,不知道能不能加个 vx 交流下
    suqiuluck
        32
    suqiuluck  
    OP
       2023-06-18 14:15:46 +08:00
    @noparking188 java 方面没问题,现在是大数据组件没那么熟悉,目前工作中 flink cdc ,doris 有用到
    suqiuluck
        33
    suqiuluck  
    OP
       2023-06-18 14:16:39 +08:00
    @hoodzwh Java 后端进大厂和大数据进大厂哪个相对容易一些啊
    suqiuluck
        34
    suqiuluck  
    OP
       2023-06-18 14:17:51 +08:00
    @NoOneNoBody 想走数据平台开发,boss 上搜了一下,中小厂搞大数据平台还有一些
    suqiuluck
        35
    suqiuluck  
    OP
       2023-06-18 14:18:58 +08:00
    @sadfQED2 也是目前两手准备,找不到大数据平台研发,就继续走 java 后端
    suqiuluck
        36
    suqiuluck  
    OP
       2023-06-18 14:19:45 +08:00
    @Betsy 想走大数据平台研发
    suqiuluck
        37
    suqiuluck  
    OP
       2023-06-18 14:21:04 +08:00
    @haimianbihdata 是这么个理,数据平台,二开组件,目前有做 flink cdc 的二开,但是整体还是偏向 java 后端,springcloud 那一套微服务
    suqiuluck
        38
    suqiuluck  
    OP
       2023-06-18 14:22:27 +08:00
    @tensorzhang 做二开才有搞头,要求高,但是竞争也小
    Betsy
        39
    Betsy  
       2023-06-19 12:45:27 +08:00 via iPhone
    @suqiuluck 那解决社区的 issue 是个不错的方式,解决的多了就可以考虑进他们背后的公司了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2719 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 12:18 · PVG 20:18 · LAX 04:18 · JFK 07:18
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.