请问 sqlalchemy 用什么算法从数据库获取大量数据，且不浪费性能啊

[qq2549112]

数据库： mysql
数据量：20W

打算用 sqlalchemy 来把里面的数据 下载到本地的另外一个 postgresql数据库里面

思路是，sqlalchemy 去mysql获取数据，然后直接插入本地的postgresql里面

我目前的方法是 session.query(User1).all() 然后for ，然后插入本地数据库，但是好卡 好卡的

我知道 我还 可以先获取 总数据量，然后 limit 分页 来获取数据

我想请问下，有没有实现这样功能的轮子呀

嘿嘿

谢谢大家
我可能表达的有点模糊


现在 难住我的 并非 如何插入pg

而是， 如何把20w数据 取出来

目前我是一次性把20w获取出来，但是很卡

我知道必须要写成 limit 形式， 分页获取

这个分页算法，我不知道如何写

我就是像和大家咨询下 请教下 分页算法


感谢 所有回答我的朋友们 谢谢

最终，我像实现的功能

就是让 pg 里面的数据 和mysql 保持一致

1. 先把历史数据拷贝过来 ，数据量20w

2. 实时增量同步


目前，我要先实现第一步， 就遇到了分页问题

有朋友说可以让我研究下dblink，所以我打算先看看这个东西，也不知道 是不是可以满足我的需求

[clijiac]

不能导出成sql 然后再导入么~
写代码的话 也有batch insert的吧 随便搜了下 看看这个http://stackoverflow.com/questions/758945/whats-the-fastest-way-to-do-a-bulk-insert-into-postgres

[sivacohan]

@clijiac 他的难点应该是mysql到pg。不排除他使用了什么奇特的数据类型。

[clijiac]

脑子一拍 navicat的datatransfer可不可以支持啊..哈哈哈

[Septembers]

@sivacohan 比如PgSQL VARCHAR不容忍\0字符

[qq2549112]

@clijiac
@sivacohan
@Septembers
谢谢 难点不是 怎么插入到pg ，而是 怎么把数据库取出来，主要是数据量大，如果只有几百个记录，我直接 all 就可以了， 但这里面有20w 不能用all

[whatot]

试试postgresql的dblink，外部表

[qq2549112]

@whatot 谢谢 如果用dblink 还能用postgresql 的jsonb 特性吗

[Septembers]

@qq2549112 可以转换成CSV格式 然后在PgSQL里执行copy导入
see http://www.postgresql.org/docs/9.5/static/sql-copy.html

[whatot]

@qq2549112 dblink之后，转换成jsonb就行了，20w数据量很小的

[qq2549112]

@whatot 哦哦 我研究下这个东西，dblink 我目前理解 好像是 快捷方式的意思， 那数据还是在远程mysql里面吗， 是不是我查询的时候，他才去转换为jsonb哦，如此的话 那每次查询会浪费好多性能，要好多时间哦， 我再研究下 dblink看看，我还是第一次接触这个东西 嘿嘿 谢谢

[whatot]

@qq2549112 如果数据只是一次转移，推荐先从mysql导出数据，之后使用copy导入到postgresql。
如果是长期任务，那可以试试dblink。

[qq2549112]

@whatot 就是长期的

最终，我想实现的功能

就是让 pg 里面的数据 和mysql 保持一致

1. 先把历史数据拷贝过来 ，数据量20w

2. 实时增量同步

目前，我要先实现第一步， 就遇到了分页问题 [ 也就是现在发帖求助的问题]


谢谢

[qq2549112]

@qq2549112 谢谢你，刚才我研究了下，发现dblink不行 ，因为 mysql在内网， postgresql 在外网，他们2个之间 无法互相访问， 我有个主机可以访问他们2个， 可能还是要用 python脚本来弄

[clijiac]

https://wiki.postgresql.org/wiki/Converting_from_other_Databases_to_PostgreSQL#MySQL

[clino]

我觉得楼主要先弄清楚是读慢还是写慢,我估计读不会慢,如果写慢要用事务,用单个事务批量写才能快

[realityone]

其实可以参考 flask-sqlalchemy 里面的 Pagination 的实现

[ksupertu]

20万数据用kettle可以搞定，有mysql bulk load功能，图形化配置，酸爽无比，前提你的linux有图形界面，配置好之后可以用脚本去跑，数据量更大的话我是用python的pandas库来实现的，但是当有重复数据的时候插入的很慢很慢，600万条我跑了三天了，也许是代码写的渣渣吧……mysql blob字段插入的时候慢成狗了，似乎每次都要全表扫描一次，优化了下还是慢成狗……

[zhouquanbest]

20w真心少
我觉得LZ是写法有问题
和Sqlalchemy没什么关系

[qq2549112]

感谢楼上各位