V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
qanniu

OneDrive google drive 同步方法 share & 请教

  •  
  •   qanniu · Sep 16, 2018 · 7503 views
    This topic created in 2792 days ago, the information mentioned may be changed or developed.
    # 请教各位 v 友,想把 OneDrive 文件 /文件夹 同步 到 google driver 上有什么好的办法吗?

    # share 一下我用的方法&缺点:
    1. flow.microsoft.com
    优点: 配置简单
    缺点: 只能同步文件, 不能同步文件夹。
    现状: 放弃

    2. rclone.org
    优点: 客制化方便
    缺点:google driver 经常同步过程中自动 killed。我已经用了 tmux。见下文 log。
    现状: 放弃

    ```
    root@Klg_VPS:~# rclone copy -v "fan_gdriver:Google Photos" "school_gdriver:Google Photos"
    2018/09/16 03:57:18 INFO :
    Transferred: 0 / 0 Bytes, -, 0 Bytes/s, ETA -
    Errors: 0
    Checks: 0 / 0, -
    Transferred: 0 / 0, -
    Elapsed time: 1m0.8s

    ^C
    root@Klg_VPS:~# rclone copy --stats 3s "fan_gdriver:Google Photos" "school_gdriver:Google Photos"
    Killed
    root@Klg_VPS:~#
    ```

    3. 台湾的某 cloudsync。
    缺点: 发现照片同步了一部分就停止了。
    现状: 放弃
    19 replies    2018-09-27 07:31:36 +08:00
    zhxhwyzh14
        1
    zhxhwyzh14  
       Sep 16, 2018
    Kyon945
        2
    Kyon945  
       Sep 16, 2018 via iPhone
    AirExplorer 手松,取决于本地网络,实质为下载后再上传
    qanniu
        3
    qanniu  
    OP
       Sep 16, 2018
    @zhxhwyzh14

    其实第三个就是指 https://www.multcloud.com
    3. 台湾的某 cloudsync。
    缺点: 发现照片同步了一部分就停止了。
    现状: 放弃
    Moorj
        4
    Moorj  
       Sep 16, 2018
    群晖
    kslr
        5
    kslr  
       Sep 16, 2018
    你起码把 rclone 日志打印出来
    qanniu
        6
    qanniu  
    OP
       Sep 16, 2018 via iPhone
    @kslr 开 log 后帮忙看看可以吗,请教您用 rclone 大量文件 copy 如何?
    qanniu
        7
    qanniu  
    OP
       Sep 16, 2018 via iPhone
    @Moorj 别安利群晖啦,请问现在上传照片到群晖体验如何?
    kslr
        8
    kslr  
       Sep 16, 2018
    @qanniu 你先打出来看看 -vvv google
    google drive 每天限制 750G
    qanniu
        9
    qanniu  
    OP
       Sep 16, 2018
    @kslr 感谢


    2018/09/16 05:26:10 DEBUG : pacer: Rate limited, sleeping for 2.191554469s (2 consecutive low level retries)
    2018/09/16 05:26:10 DEBUG : pacer: low level retry 2/10 (error googleapi: Error 403: Rate Limit Exceeded, rateLimitExceeded)
    2018/09/16 05:26:12 DEBUG : pacer: Rate limited, sleeping for 4.429970431s (3 consecutive low level retries)
    2018/09/16 05:26:12 DEBUG : pacer: low level retry 3/10 (error googleapi: Error 403: Rate Limit Exceeded, rateLimitExceeded)
    2018/09/16 05:26:12 DEBUG : pacer: Rate limited, sleeping for 1.371816901s (1 consecutive low level retries)
    kslr
        10
    kslr  
       Sep 16, 2018
    @qanniu tpslimit 等和 retries
    Moorj
        11
    Moorj  
       Sep 16, 2018
    @qanniu 母鸡。。我都是文件传输。。我跟你需求差不多,我 2 家公司,分别是不同的坚果云账户, 想一起同步到我个人的 onedrive 上,目前是用群晖解决的
    qanniu
        12
    qanniu  
    OP
       Sep 16, 2018
    @kslr
    参考下文是说 gdriver 流量限制, 但我的数据不多, 就不到 500g 的照片。
    https://forum.rclone.org/t/sending-data-to-gdrive-403-rate-limit-exceeded/3469/21
    kslr
        13
    kslr  
       Sep 16, 2018
    @qanniu 按照日志是速率请求,我建议你等恢复了,然后限制每秒 api 数量
    qanniu
        14
    qanniu  
    OP
       Sep 16, 2018
    @kslr 感谢指导。如你推测,的确是的。参考下文,
    但不确定限制多少合适?

    Add --tpslimit and --tpslimit-burst to limit transactions per second …

    … for HTTP

    This is useful if you are being rate limited or banned by your cloud
    storage provider.


    https://github.com/ncw/rclone/issues/1351
    https://github.com/ncw/rclone/commit/6f71260acf5235bd86b27ff664bd692d985e9a41
    qanniu
        15
    qanniu  
    OP
       Sep 16, 2018
    @kslr 兄台也是台风中家里呆着吧?
    ETiV
        16
    ETiV  
       Sep 16, 2018
    出 killed 应该看一下内核日志,看是不是 out of memory 啥的,被杀了
    neteroster
        17
    neteroster  
       Sep 16, 2018 via Android
    看 rclone 的 log 应该是被 oom killer 杀掉了 可以开一台大内存 VPS, swap 也拉大应该可以解决
    alexkhh
        18
    alexkhh  
       Sep 27, 2018
    你好 OneDrive 使用 rclone 复制到 GD 中途是不是不能断开 SSH 的?
    qanniu
        19
    qanniu  
    OP
       Sep 27, 2018 via iPhone
    @alexkhh 可以,nohup,screen,tmux
    我用 tmux
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1026 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 206ms · UTC 19:00 · PVG 03:00 · LAX 12:00 · JFK 15:00
    ♥ Do have faith in what you're doing.