V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
luozhiyun
V2EX  ›  程序员

深耕大数据还是继续深耕 Java

  •  
  •   luozhiyun · 2018-11-30 00:04:43 +08:00 · 4954 次点击
    这是一个创建于 1946 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近我们公司的项目也差不多快接近尾声了, 所以从这个月开始我们公司要我们慢慢的转 hive,去做报表分析. 从我现在做的来看的话,公司已经把整个大数据的框架已经做好了,要我们做的东西就是让我们在平台上面写写 sql, 然后把报表用 hive 给做出来

    所以我现在就在考虑要不要乘着个机会转大数据, 把大数据的各个框架都去研究一下,以后好找这方面的工作.

    但是,问题来了, 万一到时候我在大数据上面浪费了半年, 甚至一年的时间去做大数据, 后来发现学了根本没有卵用, 去外面根本找不到好的工作,而目前的公司也只要我会写 hive 的 sql 就够了,那这我浪费了一年的时间去整这个没有什么用的东西不是很亏?

    我是 16 年毕业的经济学专业的,自学的 java,做的 java 开发,平时对技术还是很热爱的,如果不加班就是在家里学技术了,也希望自己能成为一个像各位一样的精英.

    所以对自己的未来究竟能怎么样还是很纠结的,希望各位能指点一下,谢谢

    30 条回复    2018-11-30 21:50:02 +08:00
    liprais
        1
    liprais  
       2018-11-30 00:16:44 +08:00
    这俩不冲突
    luozhiyun
        2
    luozhiyun  
    OP
       2018-11-30 00:24:56 +08:00
    @liprais 也就是说, 你觉得后端的也要会大数据吗,类似 hadoop 和 spark 之类的都要会吗
    xiaoshenke
        3
    xiaoshenke  
       2018-11-30 01:28:49 +08:00 via Android
    写 hive 和 sql 我并不认可为大数据开发,你还是先把 java 学好吧
    noqwerty
        4
    noqwerty  
       2018-11-30 03:32:04 +08:00 via Android
    公司工作不忙,不正好是学新东西提高自己的机会吗
    CoderHugo
        5
    CoderHugo  
       2018-11-30 03:57:27 +08:00
    正好我软工刚毕业,有个风控老板让我做他贴身助理,老哥怎么看这类工作的啊。。。
    我帮他办公还行,经济学知识完全没有,而且感觉助理啥也学不到,不像写代码跟着做了项目还能吹一吹。。
    p2pCoder
        6
    p2pCoder  
       2018-11-30 07:47:19 +08:00 via Android
    这是数仓 BI 开发吧
    myhot21
        7
    myhot21  
       2018-11-30 08:13:01 +08:00 via Android
    这两个并不冲突。
    younfor
        8
    younfor  
       2018-11-30 08:28:25 +08:00
    这个所谓的大数据开发,就是写 SQL。接触不到底层技术,说出来可能是 BI 开发 ,其实就是埋在业务量写 SQL。我之前写了半年逃出来了。哎。不过现在还是在做 Java 开发。人生啊,好艰难(想爆哭
    neimenggudehai
        9
    neimenggudehai  
       2018-11-30 08:30:01 +08:00
    支持 younfor,大数据最后还要落实到编码上,学好 java 是根基,然后大数据什么火,就去捞一下
    luozhiyun
        10
    luozhiyun  
    OP
       2018-11-30 08:49:43 +08:00 via iPhone
    @younfor 我也知道这单纯的写 sql 没啥意思,只是说,要不要自己把整个大数据体系学习一遍。但是就怕出现丢了西瓜,捡了芝麻这种情况,到头来啥都不精
    VoidChen
        11
    VoidChen  
       2018-11-30 08:53:52 +08:00
    给你说个实话,大数据的话 hive 只是冰山一角,我最近从 storm 转 spark,hive 花了 1 天就会用了(我是有用过 hdfs 和 hbase 所以比较快上手,算是一年大数据经验吧)
    VoidChen
        12
    VoidChen  
       2018-11-30 08:56:06 +08:00
    另外现在很多 java 也要会一点大数据的组件了,solr,hbase,redis 那些,自己有空得看一下
    Bryan0Z
        13
    Bryan0Z  
       2018-11-30 08:59:50 +08:00 via Android
    Java 是大数据开发的基础,hbase, influxdb,kafka,refis,hive 一大堆框架,虽然看着多,但是基本就是一天入门,没那么难学
    dalieba
        14
    dalieba  
       2018-11-30 10:02:44 +08:00 via Android
    上 Kotlin
    wqzjk393
        15
    wqzjk393  
       2018-11-30 10:03:21 +08:00
    大数据开发和 sql 这些关系不大,大数据开发岗大部分还是以搭建 hadoop 环境和 hivespark 等等插件和性能调优为主,而且多是 java 开发的。sql 这些更偏向数据处理方向的,分析挖掘这些,以后深入的话接触的是挖掘模型和算法,而不是 java 框架。所以还是看你自己想法了
    ipwx
        16
    ipwx  
       2018-11-30 10:17:19 +08:00
    框架年年都有新。算法才是永恒的。
    luozhiyun
        17
    luozhiyun  
    OP
       2018-11-30 10:23:26 +08:00
    @dalieba 老铁 , Kotlin 现在普及不是很广唉, 我也看了语法, 让我去掌握的话,估计三天就可以搞个七七八八 ,问题不大
    luozhiyun
        18
    luozhiyun  
    OP
       2018-11-30 10:27:29 +08:00
    @wqzjk393 算法这些,当然是感兴趣的, 算法我在 leetcode 上也有没事就去做做的冲动 ,但是就我目前做 hive 来看, 和算法关系不大啊, 只是各种创建临时表, 数据倒来倒去, 函数调来调去, hive 也不能像存储过程一样 可以写 if else ,游标这些东西 ,还是比较无聊的, 我还是比较喜欢研究一样 netty , dubbo 这些源码来的有意思
    cyspy
        19
    cyspy  
       2018-11-30 10:32:43 +08:00
    十分理解大家都爱造轮子,可是如果 BI 不算大数据的话什么叫大数据?参与框架的全国一共有多少人?
    gaius
        20
    gaius  
       2018-11-30 11:05:33 +08:00
    不冲突的吧
    leiuu
        21
    leiuu  
       2018-11-30 11:15:45 +08:00
    这俩不冲突,hive 基于 hadoop、hadoop 是基于 JAVA 的。用的深入了可能需要 JVM 调优。这些都是 JAVA 的范畴。
    说一个可怕的事,然后你可能还得顺便掌握其他编程语言:scala、python、bash。底层一点的就得 c、c++了。
    所以可以保证先有的一定广度,比如 hive、spark、impala、redis、hbase、flume、kafka 等用熟悉,会调优(官网都会有 tuning guide )。楼上说一天入门我感觉太厉害了...这一套两三年用熟就厉害了。
    luozhiyun
        22
    luozhiyun  
    OP
       2018-11-30 11:37:42 +08:00
    @leiuu 他意思是会用吧, 我们这周一的时候 培训 hive ,两小时不到, 领导就过来拍拍我的肩膀说, 是不是可以开发了 ,哭笑不得 ~
    leiuu
        23
    leiuu  
       2018-11-30 12:26:19 +08:00
    @luozhiyun 俩小时太久了...如果你知道 SQL...5 分钟就能实现项目了...
    laike9m
        24
    laike9m  
       2018-11-30 12:30:10 +08:00 via Android   ❤️ 1
    精英是不会被语言和技术绑死的
    VoidChen
        25
    VoidChen  
       2018-11-30 13:33:59 +08:00
    @leiuu 是会用 hive,其他我都用了 1 年了,正在学 scala,scala+spark 一周上手开发,全归功于 java 功底= =
    wizardoz
        26
    wizardoz  
       2018-11-30 14:17:30 +08:00
    深耕 Java 什么鬼?
    luozhiyun
        27
    luozhiyun  
    OP
       2018-11-30 15:00:01 +08:00
    @wizardoz 指的是学习各种开源源码, 并且尝试自己造轮子
    binge
        28
    binge  
       2018-11-30 17:09:27 +08:00
    两者不冲突,要深耕的不是工具的使用,而是什么时候用什么技术解决什么样的问题
    daimazha
        29
    daimazha  
       2018-11-30 17:32:31 +08:00
    现在后端基本上都会点 storm hbase 等大数据框架
    jbiao520
        30
    jbiao520  
       2018-11-30 21:50:02 +08:00
    这俩不冲突的,大数据框架就是 java 或者 scala 写的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   949 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 21:49 · PVG 05:49 · LAX 14:49 · JFK 17:49
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.