[自研开源] MyData v0.7.2 更新日志

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

爱意满满的作品展示区。

这是一个创建于 265 天前的主题，其中的信息可能已经有所发展或是发生改变。

开源地址：gitee | github

详细介绍：MyData 基于 Web API 的数据集成平台

部署文档：用 Docker 部署 MyData

使用手册：MyData 使用手册

试用体验：http://demo.mydata.work

交流 Q 群：430089673

v0.7.2 更新说明

完善数据集成场景：支持环境变量的定时更新、跨环境数据集成、任务跨环境复制；

新功能

项目管理 / 集成管理
- 增加变量任务管理，实现定时从接口更新变量值；
- 任务支持跨环境同步数据，支持多环境的数据集成，同时业务数据按环境隔离；
- 复制任务到其他环境，简化重复配置操作；

优化

升级后端 SpringBlade 框架版本；
- 去掉框架示例功能；
升级前端 Sword 框架版本；
- 去掉框架示例功能；

功能

mydata_funtion_v0.7.0

7 条回复 • 2024-03-19 10:36:19 +08:00

coolair

265 天前

需要用户验证的 API 怎么办？

lien321

265 天前

@coolair 你好，如果用户验证采用的是 Web Token 可通过环境变量实现，操作过程如下：
1. 配置环境变量的定时任务，从用户验证的 API 获取 token 并存入环境变量，以便重复使用；
2. 调用数据 API 时可通过配置 header 或 param 传递环境变量；

如果不满足您的使用场景期待进一步的交流

coolair

265 天前

有没有办法对获取的数据添加后置处理函数？
比如：获取到了数据'aaaaa'，但是要的值是 base64 编码后的。

lien321

265 天前

@coolair 目前 0.7 版本还不支持，有增加对数据的编码、加密、脱敏等通用处理的开发计划，后续会实现

boycem

265 天前

拉取数据是分批还是一次性？

lien321

265 天前

@boycem 你好，数据是分批还是一次性主要取决于 API 能否通过参数支持分批，再通过任务配置实现分批调度；
例如：API 能返回类似分页结果的数据，可以将其保存到环境变量，并配置到请求参数中，任务每次调用 API 并发送参数实现分批查询，再将新的分页结果覆盖环境变量值；

lien321

259 天前

@boycem 你好，十分感谢之前的留言！
关于分批拉取数据经过考虑计划后续版本中在定时任务上增加批量参数的配置实现自动批量拉取，简化之前的方案。