跨国数据传输方案，涉及到网络波动，如何保证数据的一致性，实时性

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1086 天前的主题，其中的信息可能已经有所发展或是发生改变。

最近在做跨国的实时大数据相关 flink 任务，有个网络传输问题。数据源是在泰国发到国内阿里云，最早采用 kafka 外网直连，时断时续。后来在泰国搞了个 udp 的中心数据 server ，再由 udpserver 发送到国内。还有几个问题：

udp 端口经常被封
实时性差
数据成倍扩张下的 server 瓶颈

各位有没有类似情况，或者通用解决方案。

udp

Server

数据

跨国

25 条回复 • 2022-08-12 11:37:25 +08:00

idblife

2021-12-03 19:07:25 +08:00

落地香港
然后中港专线？

CEBBCAT

2021-12-03 20:00:17 +08:00

是租用云服务商的机器吗？联系他们试试呢？一般来说他们有自己维护的链路

liuxu

2021-12-03 20:08:05 +08:00

泰国的话，用香港 CN2 线路中转，或者 IPLC 穿透，便宜点你就 udp over tcp 了

rouzip

2021-12-03 20:25:12 +08:00

可以通过 multipath 去做？

leeg810312

2021-12-03 20:29:11 +08:00 via Android

我们客户不少跨国公司，跨地区传输很多数据，一般都是走专线 VPN

huangsen365

2021-12-04 00:20:41 +08:00 via iPhone

腾讯云的 anycast ，但是要大公司才可以申请。如果小公司的话就用 ucloud 的 pathx

Nnq

2021-12-04 05:03:01 +08:00

看你数据源是不是集中，如果集中的话，直接走专线比较好。不集中的话，看数据的大小，小的数据注意校验，大的数据看能不能分割之类的。

Kinnice

2021-12-04 11:11:00 +08:00 via Android

腾讯云 aia 网络

yuguorui96

2021-12-04 11:38:11 +08:00

数据上云场景： https://www.alibabacloud.com/help/zh/doc-detail/51655.htm

或者直接上传到 OSS 上。

markgor

2021-12-04 12:56:01 +08:00

专线 VPN 正解，其余别折腾了；
所谓的中转，udp over tcp 这些都是为了防止被 GFW 封了；
UDP 常用的话也会被封端口，只能一直换着端口用。

想无后顾之忧，可以办理专线 VPN ，云服务商有提供，但涉境外业务需要报备。

以前异地联网，考虑的是技术上的事情；
现在异地联网，首要考虑就是 GFW 的事情。

loveminds

2021-12-05 03:48:53 +08:00

阿里云的话，有 CEN 和 SAG 能适配相应场景
https://www.aliyun.com/product/smartag
https://www.aliyun.com/product/cbn

GeekGao

2021-12-05 17:26:43 +08:00

sd-wan 专线啊，企业还是要用合法的跨境专线的，严格的说不然会有法律风险

fastcache

2021-12-05 21:03:42 +08:00

1 、目前有带宽保障、稳定且比较经济实用的方案：国内 CEN 先打到 Region HK ，HK 开个 vpn 网关，与泰国 site2site 打通内网，比 sd-wan （ SAG ）便宜
2 、2022 年 ali 在泰国开站，方案同上，国内可以直接打到泰国（费用更高），目测泰国几个 carrier 到 hk （ hkix ）带宽通畅，估计质量变化不大

patrickyoung

2021-12-06 09:11:09 +08:00

纯软件的方案有 kcp 协议（ kcptun 作为一个套娃），但是动态扩张上存在的问题比较严重。

至于被封的问题，除了正面迎接监管 and 加钱之外，无解。

cheng6563

2021-12-06 09:23:46 +08:00

不保可用性吗？那不是随便搞。

dafen7

2021-12-06 10:55:36 +08:00

@CEBBCAT 联系过，老大嫌太贵

dafen7

2021-12-06 10:57:18 +08:00

@cheng6563 肯定要保啊，实时性、一致性都要 T T

dafen7

2021-12-06 10:58:50 +08:00

@Nnq 现在的大部分数据每条也就两百 KB ，也加了校验，但还是会有延迟特别大的情况，实时性保证不了。。

dafen7

2021-12-06 11:00:44 +08:00

@markgor 这个专线成本高了点，之前和阿里云聊过，跨国专线太贵了

youxiachai

2021-12-06 16:04:49 +08:00

想省钱,只能放弃稳定性了...

sbilly

2021-12-06 16:28:02 +08:00

快 /稳 /宽
三个都要就贵，只要一个或者两个就用另外的换吧

markgor

2021-12-08 11:47:04 +08:00

@dafen7 #19
我之前有个香港的业务，用的是 IPLC 专线，除了线路维护（提前 1 周会通知）外，5 年来基本没出过任何问题。
听说是 2000HKD/月，从香港那边申请办理的，2M 带宽。

后来有个业务需要也需要涉及港澳，自行在良心云购买了两地的服务器，自建 openVPN ，运行 2~3 个月的就被封端口。流量也不算大。折腾过很多方案，二次封包，加密等的....基本无解，感觉流量识别并不是解密流量后进行封，而是识别长期连接同一个端口触发封禁，当然具体我也不知道，GFW 规则那么神秘。

而且你们的还是数据同步，这种对于稳定性要求比较高的，考慮国情因素，因此建议 IPLC

dafen7

2021-12-08 17:17:30 +08:00

@markgor 多谢，我们的场景主要是数据量比较大，带宽现在是 15M ，专线都比较贵上头不给批才用的 udp 直连，还跟我们要解决方案。苦逼啊

markgor

2021-12-08 18:08:52 +08:00

@dafen7 #23 这要求我们之前也提交过工单和腾讯云工程师了解过，他们也表示出无奈，因为某些原因他们无法处理类似这种跨境业务的网络问题，而且他们也明确表示了，如果真有技术方案能解决这种问题（前提是稳定性），那专线将变得毫无意义。我觉得这句话挺合理的。
而且封禁这个并不属于技术问题，而是政策问题。
打个比方就是如果你们通过 UDP 进行收发，但是服务偶尔挂起，那你遇到的是技术问题；但是当 UDP 收发时，端口偶尔被禁，这属于政策问题；哪怕你当时更换了端口或使用别的方法绕过去，但一段时间后也许 GFW 也会把你的方式给封了。所以回到源头这种政策问题就应该按政策形式去处理，而不是找技术方式进行绕过。除非接受稳定性降低。

blening

2022-08-12 11:37:25 +08:00

可以找我