- 自动加载中间件；自动加载
schema - 日志处理
log4js - 封装的限制次数的错误重试
request - 使用任务调度
cron.js - 生产者模式的
ip代理池， 自动补充代理ip nodemon监听文件，开发环境热加载- 使用
node event事件封装
- docker 容器部署
- 断点重爬
- 爬虫数据更新
- 爬虫状态监控
- 其他...
lyctea/node-crawler-system
Folders and files
| Name | Name | Last commit date | ||
|---|---|---|---|---|
| Name | Name | Last commit date | ||
|---|---|---|---|---|
schemalog4jsrequestcron.jsip 代理池， 自动补充代理 ipnodemon 监听文件，开发环境热加载node event 事件封装