pypy 内存占用问题

[cloudyplain]

不知道论坛有玩 pypy 的高手吗？ 基础架构：gunicorn+gevent+pypy5.8,由于 jit 的原因 qps 的确有明显提升，但在大量并发请求时内存会突然飙升，用 psutil 查看： 不知道没有什么工具查看这部分内存是怎么分布的？谢谢！ ps:guppy 以及 pyrasite 等，pypy 都无法支持。

from gevent import monkey
monkey.patch_all()
import redis
import bottle
from bottle import route

conn = redis.Redis()


app = bottle.Bottle()


@app.route('/hello')
def hello():
    return conn.hget('key', 'filed')

分析了下代码，发现是redis在并发时会消耗大量内存，用wrk -c 50 -d 20压测，pypy大概占用700M而cpython只有20M左右

把 gunicorn 的 worker 改成 sync，内存表现正常，怀疑是 gevent 的问题

[janxin]

试试 objgraph?pypy 没有生产上过，帮不上什么忙

[billlee]

据说，Quora 切换到 pypy 后又因为内存问题换回 CPython 了

[SlipStupig]

过来人经验告诉的告诉你，90%是你的代码问题，检查一下是不是有对象一直占用着，gc 回收周期是否过长，剩下的就是 pypy 神坑，会莫名其妙的 crash 掉

[gouchaoer]

request 到了 1000 重启

[gouchaoer]

脚本语言常驻内存做 http server 很容易泄露

[sujin190]

pypy 似乎是为了尽可能减少 gc 而会使用比较多内存，可以设置 gc 相关的环境变量限制其最大内存就可以了
一直稳定在生产环境用，内存使用量巨大是个很大的问题，而且其本身提供的 gc 相关的信息有太少

[sujin190]

@gouchaoer #4 不靠谱，pypy 本来就是为了高并发的，每秒一千请求才起步还没预热的，你就重启，还用什么的 jit 啊

[gracece]

http://doc.pypy.org/en/latest/gc_info.html

https://www.reddit.com/r/Python/comments/juwja/how_does_quora_deal_with_tornados_memory_leaks/

可以尝试修改环境变量

[tempdban]

@sujin190 这个哥们和 Python 有关的问题基本都要强答一遍，基本都要被人喷。

[tempdban]

@gouchaoer 脚本语言常驻内存很容易内存泄漏
贼 6666666666

[sagaxu]

http://doc.pypy.org/en/latest/cpython_differences.html

[cloudyplain]

@SlipStupig 目前看上去不是业务代码本身的问题，可能是 gevent 的问题

[cloudyplain]

@janxin objgraph 貌似没什么用，不过谢谢了。

[terrawu]

pypy 和 gevent 相性不和，强烈推荐 pypy + tornado

[cloudyplain]

@terrawu 怎么不和，还请解释下？ 切 tornado 业务代码要重构代价太大。

[terrawu]

@cloudyplain 语言无关，runtime gc 最怕的就是所谓的 ffi 问题。比如 gevent 重度使用了 c 来实现协程和其他工具类。这在 cpython 是优势（效率高，内存使用效率也好）。但在 pypy 是相当的劣势 -- pypy gc 不得不追踪的 gevent c 调用，然后很难及时释放它。

pypy 的成功案例或演示案例基本都是 tornado 这种接近纯 python 的例子。

[cloudyplain]

@terrawu 感谢回复，不过我简单看了下 gevent 在 pypy 环境下并不是使用 cpython 的 greenlet 而是自己实现的 greenlet.py ，另外 gevent 针对 pypy 放弃了 cython 而是使用 cffi 调用 c，这是目前 pypy 推崇的方式。接触 pypy 时间很短，可能有错。

[est]

@gouchaoer 正解。