lien321 最近的时间轴更新 lien321 最近的时间轴更新 |
lien321V2EX 第 665648 号会员，加入于 2023-12-04 22:04:28 +08:00今日活跃度排名 20078 |
| [自研开源] MyData 诚邀试用体验，成为永久免费用户 & 附集成案例 分享创造 • lien321 • 16 天前 • 最后回复来自 xhawk | 4 |
| [自研开源] MyData 数据集成之分批传输 v0.7 分享创造 • lien321 • 32 天前 |
| [自研开源] MyData 数据集成之任务调度模式 v0.7 分享创造 • lien321 • 37 天前 • 最后回复来自 hlibaibai1 | 1 |
| [自研开源] MyData v0.7.3 更新日志 分享创造 • lien321 • 39 天前 |
| [自研开源] MyData 数据集成之环境变量 v0.7.2 分享创造 • lien321 • 42 天前 |
| [自研开源] MyData v0.7.2 更新日志 分享创造 • lien321 • 39 天前 • 最后回复来自 lien321 | 7 |
| [自研开源] MyData 数据集成任务的流程介绍 v0.7.1 分享创造 • lien321 • 50 天前 |
| [自研开源] 用 Docker 部署 MyData v0.7.1 分享创造 • lien321 • 58 天前 • 最后回复来自 lien321 | 2 |
lien321 最近回复了
16 天前 回复了 lien321 创建的主题 › 分享创造 › [自研开源] MyData 诚邀试用体验，成为永久免费用户 & 附集成案例 |
@zyxcompany 你好，目前是开源且开放使用的，适用要做集成的技术人员，没有技术也可以提供技术支持
39 天前 回复了 lien321 创建的主题 › 分享创造 › [自研开源] MyData v0.7.2 更新日志 |
@boycem 你好，十分感谢之前的留言！
关于分批拉取数据 经过考虑计划后续版本中 在定时任务上增加批量参数的配置 实现自动批量拉取，简化之前的方案。
关于分批拉取数据 经过考虑计划后续版本中 在定时任务上增加批量参数的配置 实现自动批量拉取，简化之前的方案。
45 天前 回复了 lien321 创建的主题 › 分享创造 › [自研开源] MyData v0.7.2 更新日志 |
@boycem 你好，数据是分批还是一次性主要取决于 API 能否通过参数支持分批，再通过任务配置实现分批调度；
例如：API 能返回类似分页结果的数据，可以将其保存到环境变量，并配置到请求参数中，任务每次调用 API 并发送参数 实现分批查询，再将新的分页结果覆盖环境变量值；
例如：API 能返回类似分页结果的数据，可以将其保存到环境变量，并配置到请求参数中，任务每次调用 API 并发送参数 实现分批查询，再将新的分页结果覆盖环境变量值；
45 天前 回复了 lien321 创建的主题 › 分享创造 › [自研开源] MyData v0.7.2 更新日志 |
@coolair 目前 0.7 版本还不支持，有增加对数据的编码、加密、脱敏等通用处理的开发计划，后续会实现
45 天前 回复了 lien321 创建的主题 › 分享创造 › [自研开源] MyData v0.7.2 更新日志 |
@coolair 你好，如果用户验证采用的是 Web Token 可通过 环境变量 实现，操作过程如下：
1. 配置环境变量的定时任务，从用户验证的 API 获取 token 并存入环境变量，以便重复使用；
2. 调用数据 API 时 可通过配置 header 或 param 传递环境变量；
如果不满足您的使用场景 期待进一步的交流
1. 配置环境变量的定时任务，从用户验证的 API 获取 token 并存入环境变量，以便重复使用；
2. 调用数据 API 时 可通过配置 header 或 param 传递环境变量；
如果不满足您的使用场景 期待进一步的交流
58 天前 回复了 lien321 创建的主题 › 分享创造 › [自研开源] 用 Docker 部署 MyData v0.7.1 |
@q2316367743 您好，MyData 的定位是专一提供数据集成服务，疏通数据的来源和去向，为企业内部或项目提供数据集成服务
58 天前 回复了 lien321 创建的主题 › 分享创造 › [开源] MyData 基于 Web API 的数据集成平台 v0.7.0 |
@nielinjie 您好，感谢提问
目前市面上有很多数据相关的平台或系统，而 MyData 的定位是专一提供数据集成服务，疏通数据的来源和去向，同时可以把其他数据相关的平台融合起来 而不是要取代；
技术方面，因为开源 所以系统相对轻量些，MyData 仅支持 Web API 对接 基本没有技术要求、能复用业务接口对数据的处理、更不会侵入业务数据库；
目前市面上有很多数据相关的平台或系统，而 MyData 的定位是专一提供数据集成服务，疏通数据的来源和去向，同时可以把其他数据相关的平台融合起来 而不是要取代；
技术方面，因为开源 所以系统相对轻量些，MyData 仅支持 Web API 对接 基本没有技术要求、能复用业务接口对数据的处理、更不会侵入业务数据库；
Select Language