Redis 怎样给分布式爬虫分配任务？
先说出你的答案
定义边界、关键机制、一个反例；P8题再补容量、失败与验证。
查看完整题解
参考回答
直接回答
可用 Stream 记录待抓取 URL，用消费组分派、确认和超时重领。另用 Set 或数据库约束去重，按站点做速率和并发控制。
讲清原理
任务可能因超时重投，所以处理 URL 应幂等。URL 归一化要保留有意义的参数，避免把不同页面误判成相同。
例子与易错点
按站点规则与授权范围抓取。对失败区分暂时错误、永久错误和重复任务，给重试设上限。
相关题 · 第 85 题、第 87 题
和评分标准对照，你能独立回答到哪一步？
自评会安排下一次复习，不保存你的口述内容。
这道题，你掌握得怎么样？
掌握程度由你主动标记，阅读和收藏不会自动改变状态。