这是一个创建于 107 天前的主题，其中的信息可能已经有所发展或是发生改变。
比如，某业务表有 2e 数据，每天凌晨整点要批量检查这些数据的某些状态进行对应操作。
直接循环查然后挨个扔异步慢慢处理吗？
有啥现成的解决方案吗？总觉得应该有啥工具是已经实现的。类似场景各场应该用到很多吧。
蹲个高性能解决方案。怎么能尽快的、容错率高的、支持重复执行的、能应对频繁场景的处理这些数据呢？
11 条回复 • 2024-08-20 13:41:44 +08:00
 |
1
liprais 107 天前
批量检查不是给自己找不愉快么
|
 |
3
linauror 107 天前
扔到延迟队列呢，或者直接就凌晨时查出来放到队列里，然后跑
|
 |
6
min 107 天前
spark
|
 |
7
abcfyk 107 天前
解决方案太多了。但是你提出要求比如“尽快的、容错率高的、支持重复执行的、能应对频繁场景” 全是废话， 如果想要别人给出可用的解决方案，那就在需求层面描述清楚比如：
业务表的存储是什么？ 读写频率是多少？ 配置是什么？有类似主从、集群的配置吗？ 凌晨整点要批量检查这些数据的某些状态进行对应操作 的 [操作] 指的是表内数据操作 还是 关联业务表操作？ 大概单条操作耗时是多少？ 数据分布情况是怎么样的？分批处理的可行性如何？对数据准确性的要求如何？ |
|
8
abcfyk 107 天前
大的解决方案路线分两种，
一种是后端技术栈内实现， 比如 Java+MySQL （假设）。 关注点是 数据库性能、索引设计、程序设计 一种是依赖大数据技术实现， 使用 6L 建议的 Spark/Flink 这种技术实现，关注点就是 数据同步（也可不同步）、数据准确性 |
 |
9
Sawyerhou 106 天前
Azkaban ？
|
Select Language