1. 框架流程图¶
1.1. 模块说明：¶
- spider 框架调度核心
- parser_control 模版控制器，负责调度parser
- collector 任务收集器，负责从任务队里中批量取任务到内存，以缓冲对任务队列数据库的访问频率及并发量
- parser 数据解析器
- start_request 初始任务下发函数
- item_buffer 数据缓冲队列，批量将数据存储到数据库中
- request_buffer 请求任务缓冲队列，批量将请求任务存储到任务队列中
- request 数据下载器，封装了requests，用于从互联网上下载数据
- response 数据返回体，封装了response, 支持xpath、css、re等解析方式。自动处理中文乱码
1.2. 流程说明¶
- spider调度start_request生产任务
- start_request下发任务到request_buffer中
- spider调度request_buffer批量将任务存储到任务队列数据库中
- spider调度collector从任务队列中批量获取任务到内存队列
- spider调度parser_control从collector的内存队列中获取任务
- parser_control调度request请求数据
- request请求与下载数据
- request将下载后的数据给response，进一步封装
- 将封装好的response返回给parser_control（图示为多个parser_control，表示多线程）
- parser_control调度对应的parser，解析返回的response（图示多组parser表示不同的网站解析器）
- parser_control将parser解析到的数据item及新产生的request分发到item_buffer与request_buffer
- spider调度item_buffer与request_buffer将数据批量入库