V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  linuxchild  ›  全部回复第 37 页 / 共 52 页
回复总数  1024
1 ... 33  34  35  36  37  38  39  40  41  42 ... 52  
2017-10-31 10:32:12 +08:00
回复了 zhuziyi 创建的主题 程序员 Sublime Text 频繁更新,官网也焕然一新...
可惜已经用了 vs code
2017-10-30 15:36:11 +08:00
回复了 johncang 创建的主题 生活 税后 30 万一年,最好的理财是买房吗?
是的~最好的投资

要不然你也可以试试买企鹅家股票
iOS 上,开语音就经常没声音,外放的情况下,关了重开就好了。

接耳机就没问题
2017-10-24 19:29:31 +08:00
回复了 qipan0321 创建的主题 职场话题 招行卡中心 IT 还是 ofo 前端,应届求各位前辈指导
招行~
2017-10-23 14:58:08 +08:00
回复了 nvid2333 创建的主题 成都 成都精灵云科技有限公司怎么样?
赶紧落户买房子~以后即使想去北上深广也可以卖了去付首付
2017-10-17 17:31:44 +08:00
回复了 northisland 创建的主题 Python 问 2 个关于 Python 的简单问题。困扰我很久
with 就是用来自动释放的 - -。没有 with 咋个释放
2017-10-17 11:27:53 +08:00
回复了 mikewoo 创建的主题 王者荣耀 请问怎么提升王者荣耀水平?
主要靠意识
2017-10-16 16:05:46 +08:00
回复了 linuxchild 创建的主题 Hadoop spark 计算 array 非空的数量
@noNOno 谢谢耐心回复,感谢感谢
2017-10-16 15:41:32 +08:00
回复了 linuxchild 创建的主题 Hadoop spark 计算 array 非空的数量
@noNOno 加上 end 可以了。

多问一句,array 的长度用什么函数? 在 sql 中写 email.length() email.size()都会提示 Undefined function 错误
2017-10-16 14:41:12 +08:00
回复了 linuxchild 创建的主题 Hadoop spark 计算 array 非空的数量
@noNOno 这样好像语法有问题,提示

org.apache.spark.sql.catalyst.parser.ParseException:
mismatched input 'when' expecting {')', ',', '.', '[', 'OR', 'AND', 'IN', NOT, 'BETWEEN', 'LIKE', RLIKE, 'IS', EQ, '<=>', '<>', '!=', '<', LTE, '>', GTE, '+', '-', '*', '/', '%', 'DIV', '&', '|', '^'}(line 1, pos 18)
2017-10-16 12:08:47 +08:00
回复了 linuxchild 创建的主题 Hadoop spark 计算 array 非空的数量
@liprais 哎,搞错了。

提示了满屏的警告后,然后出来了一个数……
2017-10-16 12:04:36 +08:00
回复了 linuxchild 创建的主题 Hadoop spark 计算 array 非空的数量
@liprais

查询语句是下面这种,其中 tb_name 是 dataframe 创建出来的 TempView:

scala> var test=spark.sql("select count(email) from tb_name where IsNotNull(email[0])")

scala> test.show()

但是这样会提示
Can not initialize counter due to context is not a instance of TaskInputOutputContext, but is org.apache.hadoop.mapreduce.task.TaskAttemptContextImpl

最终计算结果不正确,请问您知道我是哪里搞错了么
2017-10-13 20:10:08 +08:00
回复了 linuxchild 创建的主题 Hadoop 请教一个 spark 初级问题, IsNotNull 怎么用?
找到了一个用法,参考[这里]( http://blog.csdn.net/silentwolfyh/article/details/51879162)

要在 where 语句中用,如下

spark.sql("select * from abc where IsNotNull(colunm_name) limit x")
1 ... 33  34  35  36  37  38  39  40  41  42 ... 52  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1196 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 38ms · UTC 18:15 · PVG 02:15 · LAX 11:15 · JFK 14:15
Developed with CodeLauncher
♥ Do have faith in what you're doing.