首页   注册   登录
 kex0916 最近的时间轴更新

kex0916

V2EX 第 238839 号会员,加入于 2017-07-05 14:48:46 +08:00
kex0916 最近回复了
邀请码:nlb4o8
241 天前
回复了 blackcurrant 创建的主题 程序员 上百亿个键值对使用什么数据库好?
hbase
@qiuyesuifeng 我看官网上大数据岗位在北京,成都有岗位吗?
291 天前
回复了 leechow 创建的主题 成都 成都招银网络科技云平台(云计算)开发社招
@leechow 好的,谢谢
293 天前
回复了 leechow 创建的主题 成都 成都招银网络科技云平台(云计算)开发社招
老哥可以帮推大数据的吗
298 天前
回复了 casillasyi 创建的主题 程序员 最近在准备弃了 Java ,入 Clojure 的坑
可以试试 scala 瑟
你要找应用真正停止的原因,是正常执行完还是遇到了错误
ERROR scheduler.LiveListenerBus: SparkListenerBus has already stopped! 这个应该是 SparkContext 停止引起的,java.io.IOException: Broken pipe 这个要看看调用栈
数据的话你可以重新跑这个任务吗,计算一下条数什么的比较一下
看样子是 task 提交被拒绝了,你有开启 spark task 推测执行吗,具体的原因要看一下 driver 的日志
如果被拒绝的原因是因为已经执行完成的话对数据没有影响,如果是因为已经标记失败的话那可能对数据有影响,如果 task 重试成功可能会重复,如果重试失败可能丢数据
你点有 failed 的 stages,应该能看到失败的原因,或者去查看 executor 的日志应该也能找到失败原因
数据准确性这块你是保存文本数据,写出操作不是幂等的话在出错的时候是保证不了有且仅有一次的
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1016 人在线   最高记录 5043   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.3 · 12ms · UTC 18:11 · PVG 02:11 · LAX 10:11 · JFK 13:11
♥ Do have faith in what you're doing.