Scrapy Redis Python Packages

aio-scrapy

Implement scrapy with asyncio

aioscpy

An asyncio + aiolibs crawler imitate scrapy framework

scrapy-redis-sentinel

scrapy-redis-sentinel 基于 scrapy-redis 的基础上 新增 哨兵（sentinel）连接模式 以及 集群（cluster）连接模式。

scrapy-redis-bloomfilter-block-cluster

Scrapy Redis with Bloom Filter，support redis sentinel and cluster

scrapy-proxy-ip-pool

这是一个Scrapy中间件，用于管理代理IP池(支持使用Redis作为代理池)。