Redis 怎样给分布式爬虫分配任务？
查看完整题解
参考回答
直接回答
可用 Stream 记录待抓取 URL，用消费组分派、确认和超时重领。另用 Set 或数据库约束去重，按站点做速率和并发控制。
讲清原理
任务可能因超时重投，所以处理 URL 应幂等。URL 归一化要保留有意义的参数，避免把不同页面误判成相同。
例子与易错点
按站点规则与授权范围抓取。对失败区分暂时错误、永久错误和重复任务，给重试设上限。
相关题 · 第 85 题、第 87 题
这道题，你掌握得怎么样？
掌握程度由你主动标记，阅读和收藏不会自动改变状态。