V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MySQL 5.5 Community Server
MySQL 5.6 Community Server
Percona Configuration Wizard
XtraBackup 搭建主从复制
Great Sites on MySQL
Percona
MySQL Performance Blog
Severalnines
推荐管理工具
Sequel Pro
phpMyAdmin
推荐书目
MySQL Cookbook
MySQL 相关项目
MariaDB
Drizzle
参考文档
http://mysql-python.sourceforge.net/MySQLdb.html
sbmzhcn
V2EX  ›  MySQL

高并发实时数据写入, mysql 经常出错

  •  
  •   sbmzhcn · 2015-08-27 18:13:44 +08:00 · 7780 次点击
    这是一个创建于 3366 天前的主题,其中的信息可能已经有所发展或是发生改变。
    This Session's transaction has been rolled back due to a previous exception during flush. To begin a new transaction with this Session, first issue Session.rollback (). Original exception was: (raised as a result of Query-invoked autoflush; consider using a session.no_autoflush block if this flush is occurring prematurely )

    This session is in 'prepared' state; no further SQL can be emitted within this transaction.

    多个线程周时向数据库中写入数据。 innodb 。 经常出现上面的错误 ,请问如何能解决这个问题?
    12 条回复    2015-08-28 13:28:09 +08:00
    lvfujun
        1
    lvfujun  
       2015-08-27 18:18:38 +08:00
    锁+队列!
    flycare
        2
    flycare  
       2015-08-27 18:20:22 +08:00
    1.上 TokuDB ,适合高频率 insert ,少 update 的场景
    2.走消息队列
    3.先存 cache 在同步
    kier
        3
    kier  
       2015-08-27 18:20:40 +08:00
    数据库连接时设成 autocommit 吧
    eliteYang
        4
    eliteYang  
       2015-08-27 18:29:01 +08:00
    这种高并发实时性数据,建议使用 nosql ,不过你的 mysql 最多就是卡,不太可能出现你说的问题,除非就是卡的时间太长了,导致 session 失效了。还有,如果确认是 InnoDB ,只要不是特别实时的入库应该还好了。
    sbmzhcn
        5
    sbmzhcn  
    OP
       2015-08-27 18:49:40 +08:00
    @eliteYang 目前最有可能是我代码有问题。
    sbmzhcn
        6
    sbmzhcn  
    OP
       2015-08-27 18:51:46 +08:00
    Python gevent
    '''
    def get_session (scoped=False, engine=None, db_host=None, db_name=None, db_user=None, db_pass=None ):
    if not engine:
    engine = get_engine (db_host, db_name, db_user, db_pass )

    session_factory = sessionmaker (
    bind=engine,
    autoflush=True,
    autocommit=False,
    )

    if scoped:
    ScopedSession = scoped_session (session_factory )
    return ScopedSession
    else:
    return session_factory


    Session = get_session (db_host=db_host, db_name=db_name, db_user=db_user, db_pass=db_pass )
    session = Session ()
    server = DebuggingServer ((HOST, PORT ), session=session )
    server_thread = threading.Thread (target=server.serve_forever )

    '''
    这样写有啥问题?
    daiv
        7
    daiv  
       2015-08-27 18:54:26 +08:00
    ssdb 你考虑一下 :)

    我一直在用
    akira
        8
    akira  
       2015-08-27 19:33:10 +08:00
    队列应该就足够了
    sbmzhcn
        9
    sbmzhcn  
    OP
       2015-08-27 20:16:25 +08:00
    @akira 能提供更多信息吗,如何使用队列。我还真不会。
    ljdawn
        10
    ljdawn  
       2015-08-28 09:15:21 +08:00
    @sbmzhcn 赶紧去用 rq 哈哈哈哈哈
    xiangace
        11
    xiangace  
       2015-08-28 10:24:43 +08:00
    可能是 session 之前的操作抛出了异常, 但没有 rollback.
    你的场景可能是批量写,遇到异常时处理下,并输出 log.

    web application 里用的 session, 每次 request 其实也可能存在这个问题, 但多数时候没发现是因为
    设置 autocommit 之类或者严格处理 rollback, 另外框架可能会帮你 session.close

    注意是有 session.close 这部,在 commit/rollback 之后的操作, 因此在之后请求来时,不会出现
    这个问题.
    vivisidea
        12
    vivisidea  
       2015-08-28 13:28:09 +08:00
    大批量数据 insert 的话还可以考虑 batch 的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5736 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 03:12 · PVG 11:12 · LAX 19:12 · JFK 22:12
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.