首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Coding
V2EX  ›  Spark

spark straming。submit Python 脚本报错。

  •  
  •   yanzixuan · 2017-11-24 11:11:55 +08:00 · 2191 次点击
    这是一个创建于 747 天前的主题,其中的信息可能已经有所发展或是发生改变。

    spark 2.2.0 默认安装,啥都没动 python 2.7.9 ipython 5.4.1 运行 network_wordcount 例子。 跑 scala 脚本成功,但是运行 python 的例子,直接报错: Job aborted due to stage failure: Task 0 in stage 2.0 failed 1 times, most recent failure: Lost task 0.0 in stage 2.0 (TID 1, localhost, executor driver): java.lang.IllegalArgumentException: port out of range:459092027

    自己去谷歌了一下,这个 bug 被提交过: https://issues.apache.org/jira/browse/SPARK-7688

    但是被认为不是 bug,直接关掉了 怎么解决的没说。 有达人知道怎么搞么?

        1
    kex0916   2017-11-24 11:44:02 +08:00
    没用过 python spark,看 7688 介绍说升级到 python 3.1.0 可以用的嘛
        2
    yanzixuan   2017-11-24 14:13:08 +08:00
    @kex0916 公司环境是 python2.7.无法啊。
        3
    kex0916   2017-11-24 14:30:24 +08:00
    @yanzixuan 那就很尴尬了,或者考虑 scala+shell 的方式吧
        4
    tttwww18   2017-11-24 18:23:29 +08:00
    https://issues.apache.org/jira/browse/SPARK-3772 作为参考,设置 PYSPARK_PYTHON 试试呢
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3116 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 22ms · UTC 10:55 · PVG 18:55 · LAX 02:55 · JFK 05:55
    ♥ Do have faith in what you're doing.