V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  qq2549112  ›  全部回复第 2 页 / 共 5 页
回复总数  90
1  2  3  4  5  
@qq2549112 谢谢你,刚才我研究了下,发现dblink不行 ,因为 mysql在内网, postgresql 在外网,他们2个之间 无法互相访问, 我有个主机可以访问他们2个, 可能还是要用 python脚本来弄
@whatot 就是长期的

最终,我想实现的功能

就是让 pg 里面的数据 和mysql 保持一致

1. 先把历史数据拷贝过来 ,数据量20w

2. 实时增量同步

目前,我要先实现第一步, 就遇到了分页问题 [ 也就是现在发帖求助的问题]


谢谢
@whatot 哦哦 我研究下这个东西,dblink 我目前理解 好像是 快捷方式的意思, 那数据还是在远程mysql里面吗, 是不是我查询的时候,他才去转换为jsonb哦,如此的话 那每次查询会浪费好多性能,要好多时间哦, 我再研究下 dblink看看,我还是第一次接触这个东西 嘿嘿 谢谢
@whatot 谢谢 如果用dblink 还能用postgresql 的jsonb 特性吗
@clijiac
@sivacohan
@Septembers
谢谢 难点不是 怎么插入到pg ,而是 怎么把数据库取出来,主要是数据量大,如果只有几百个记录,我直接 all 就可以了, 但这里面有20w 不能用all
2015-07-02 11:54:14 +08:00
回复了 qq2549112 创建的主题 问与答 请问 mysql 数据实时复制到 postgresql 里面 如何实现最好呀
@cevincheung 谢谢, 我网上搜了下 dklink 好像这个只是 创建一个链接, 数据还是在原始的mysql里, 但这样的话 就无法使用postgresql的某写特性了 比如jsonb特性

所以我像把数据 直接 增量同步到 postgresql里面
2015-07-01 22:48:11 +08:00
回复了 qq2549112 创建的主题 问与答 请问 mysql 数据实时复制到 postgresql 里面 如何实现最好呀
@Septembers 非常感谢您的回答

我分别用的阿里云的 mysql rds 和 postgresql rds

mysql rds 是别人提供给了我 一个 [只读权限] 的 帐号密码
postgresql rds 是我自己购买的


之前我自己写过一个python脚本,5秒同步一次 [首次很慢,因为要拉取历史数据,之后5秒一次没有问题]
目前不用担心给主数据库带来负担,并且数据量并不是特别大,
所以 不用担心给mysql rds [主数据库] 增加负担


关于您说的binlog,因为是rds,所以binlog这个方案实现起来 似乎有点麻烦

所以 可能我还是得用以前的方法

用python 去 mysql [发现数据] 然后 再插入到 新的postgresql里面

然后每隔 几秒 就去 [发现] 一次
2015-07-01 22:03:22 +08:00
回复了 qq2549112 创建的主题 问与答 请问 mysql 数据实时复制到 postgresql 里面 如何实现最好呀
@cevincheung dblink 我用的rds 无法安装软件 谢谢哦
2015-07-01 22:03:00 +08:00
回复了 qq2549112 创建的主题 问与答 请问 mysql 数据实时复制到 postgresql 里面 如何实现最好呀
@jiaojing 不是etl 谢谢
2015-07-01 22:02:47 +08:00
回复了 qq2549112 创建的主题 问与答 请问 mysql 数据实时复制到 postgresql 里面 如何实现最好呀
@gamexg 简单的说就是这个意思, 就是我太菜了,不知道如何实现细节
2015-07-01 22:02:25 +08:00
回复了 qq2549112 创建的主题 问与答 请问 mysql 数据实时复制到 postgresql 里面 如何实现最好呀
@Septembers 谢谢 SymmetricDS 好像不太适合我,这个东西好复杂,我想让 我的数据每隔1-10秒,postgresql 就和mysql保持一次更新同步,保证2个数据库里面的信息一致
2015-07-01 22:01:03 +08:00
回复了 qq2549112 创建的主题 问与答 请问 mysql 数据实时复制到 postgresql 里面 如何实现最好呀
@choury 谢谢,mysql 我只有只读权限 所以 无法在上面 安装 binlog
2015-07-01 18:53:52 +08:00
回复了 qq2549112 创建的主题 问与答 请问 mysql 数据实时复制到 postgresql 里面 如何实现最好呀
@hging 我的帐号是只读权限 没有给我写的权限,其他业务有写的权限
2015-07-01 18:22:58 +08:00
回复了 qq2549112 创建的主题 问与答 请问 mysql 数据实时复制到 postgresql 里面 如何实现最好呀
求大神指点一二
2015-07-01 18:09:02 +08:00
回复了 Coyote 创建的主题 问与答 你心目中的 Python 社区应该是什么样?
ruby发展的很好,很期待有人 可以建立个好的python交流社区
2015-06-17 14:35:59 +08:00
回复了 qq2549112 创建的主题 问与答 有会拍照的 v 友吗,帮我看看这个是如何打光的
@jarlyyn 多谢
2015-06-17 12:43:53 +08:00
回复了 XhstormR 创建的主题 问与答 百度翻译中的一个实用小工具转换成书签,即点即用.
可以换 有道哦 不过是个chrome插件 用起来挺好 翻译准确度超过 百度 谷歌 ,感觉
2015-06-17 12:35:26 +08:00
回复了 qq2549112 创建的主题 问与答 有会拍照的 v 友吗,帮我看看这个是如何打光的
@fater 多谢,我是85 1.8 下午6点拍的, 今天打算3 -4点再去试拍
2015-06-17 12:33:53 +08:00
回复了 qq2549112 创建的主题 问与答 有会拍照的 v 友吗,帮我看看这个是如何打光的
@a591826944 1.8 85 定焦
2015-06-16 21:33:02 +08:00
回复了 qq2549112 创建的主题 问与答 有会拍照的 v 友吗,帮我看看这个是如何打光的
@a591826944 我的也是大光圈 1.8的 今天下午6点我拍了 但是感觉我的有些暗淡,所以我打算明天 中午 再去拍拍看
1  2  3  4  5  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2626 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 24ms · UTC 13:41 · PVG 21:41 · LAX 06:41 · JFK 09:41
Developed with CodeLauncher
♥ Do have faith in what you're doing.