怎样用 Boot 组织大数据处理应用?
查看完整题解
参考回答
直接回答
先分清有界批处理与持续流处理,再选择Spring Batch、Kafka Streams或适合的计算平台;Boot负责启动、配置和集成,不会把单机JVM自动变成分布式计算引擎。关键是数据规模、分区、状态、恢复与下游承受能力,而不是给普通循环加一个“大数据”名称。
讲清原理
批处理可按块读取、处理和提交,记录进度以支持重启;流处理关注事件时间、窗口、分区和状态存储。两者都要限制在途数据,不把全部记录一次装入内存。
检查点与业务提交边界必须一致,否则重启可能漏掉或重复处理。并行度还受数据库连接、磁盘和外部接口限制,不是线程越多就一定更快。
例子与易错点
先用小数据验证重启、去重与异常恢复,再测实际负载。框架显示任务完成,不代表所有下游副作用已恰好一次完成;例如发送邮件仍需独立的可靠处理边界。
相关题:第 54 题、第 59 题、第 62 题。
这道题,你掌握得怎么样?
掌握程度由你主动标记,阅读和收藏不会自动改变状态。