# Request ## 简介 Request为feapder的下载器，基于requests进行了封装，因此支持requests的所有参数 我们可以直接调用框架中的Request发起请求，使用示例： ``` from feapder import Request request = Request("https://www.baidu.com", data={}, params=None) response = request.get_response() print(response) ``` 返回的response支持xpath、css等表达式，具体用法见[Response](source_code/Response) Request除了支持requests的所有参数外，更需要关心的是框架中支持的参数 ## 参数详解 ```python @summary: Request参数 --------- 框架参数 @param url: 待抓取url @param retry_times: 当前重试次数 @param priority: 请求优先级 越小越优先 默认300 @param parser_name: 回调函数所在的类名 默认为当前类 @param callback: 回调函数 可以是函数 也可是函数名（如想跨类回调时，parser_name指定那个类名，callback指定那个类想回调的方法名即可） @param filter_repeat: 是否需要去重 (True/False) 当setting中的REQUEST_FILTER_ENABLE设置为True时该参数生效 默认True @param auto_request: 是否需要自动请求下载网页 默认是。设置为False时返回的response为空，需要自己去请求网页 @param request_sync: 是否同步请求下载网页，默认异步。如果该请求url过期时间快，可设置为True，相当于yield的reqeust会立即响应，而不是去排队 @param use_session: 是否使用session方式 @param random_user_agent: 是否随机User-Agent (True/False) 当setting中的RANDOM_HEADERS设置为True时该参数生效 默认True @param download_midware: 下载中间件。默认为parser中的download_midware @param is_abandoned: 当发生异常时是否放弃重试 True/False. 默认False @param render: 是否用浏览器渲染 @param render_time: 渲染时长，即打开网页等待指定时间后再获取源码 -- 以下参数于requests参数使用方式一致 @param method: 请求方式，如POST或GET，默认根据data值是否为空来判断 @param params: 请求参数 @param data: 请求body @param json: 请求json字符串，同 json.dumps(data) @param headers: @param cookies: 字典 或 CookieJar 对象 @param files: @param auth: @param timeout: (浮点或元组)等待服务器数据的超时限制，是一个浮点数，或是一个(connect timeout, read timeout) 元组 @param allow_redirects : Boolean. True 表示允许跟踪 POST/PUT/DELETE 方法的重定向 @param proxies: 代理 {"http":"http://xxx", "https":"https://xxx"} @param verify: 为 True 时将会验证 SSL 证书 @param stream: 如果为 False，将会立即下载响应内容 @param cert: -- @param **kwargs: 其他值: 如 Request(item=item) 则item可直接用 request.item 取出 --------- ``` 举例说明：如果我们不想用内置的下载器，写法如下： def start_requests(self): yield feapder.Request("https://www.baidu.com", auto_request=False) def parse(self, request, response): # response 为None， 需要自己去下载 pass ## 方法详解 ### 1. 发起请求，获取响应 ``` def get_response(self, save_cached=False): """ 获取带有selector功能的response @param save_cached: 保存缓存 方便调试时不用每次都重新下载 @return: """ ``` save_cached 参数用于设置是否把响应缓存到redis，若为True, 需要配置redis连接信息。redis连接信息会读取setting.py文件，所以需要保证工作区间下有setting.py。 或者可以将连接信息设置为环境变量 以mac电脑为例 ``` > vim ~/.bash_profile export REDISDB_IP_PORTS='ip:port' # 多个地址用逗号隔开 export REDISDB_USER_PASS='xxx' export REDISDB_DB='xxx' # 默认是0, 可不设置 export REDISDB_SERVICE_NAME='xxx' # 用于redis的哨兵模式，单节点或集群模式可不设置 ``` 这样，当框架读取不到setting时，便会取环境变量里的值 ### 2. 从缓存中取响应 ``` def get_response_from_cached(self, save_cached=True): pass ``` 用于从上面的缓存中取response。当缓存不存在时，会先下载，然后将响应存入缓存，之后再返回响应。缓存同样依赖redis，因此需要先配置好redis连接信息 ### 3. 删除缓存 ``` def del_response_cached(self) pass ``` ### 4. 复制Request ``` def copy(self): pass ``` ## 缓存机制 ### 1. 缓存有效期 缓存使用redis的str结构存储，每条缓存对应一个key，默认有效期20分钟，可以通过 `Request.cached_expire_time=过期时间`来设置 ### 2. 缓存key 默认的key为 `response_cached:test:request指纹` 可通过`Request.cached_redis_key`设置，设置后为 `response_cached:自定义的key:request指纹` ## 代理及UserAgent 代理及UA的设置优先取传递的参数，若参数没指定，则依赖`setting.py`的配置，默认如下： ```python # 设置代理 PROXY_EXTRACT_API = None # 代理提取API ，返回的代理分割符为\r\n PROXY_ENABLE = True # 随机headers RANDOM_HEADERS = True # requests 使用session USE_SESSION = False ``` PROXY_EXTRACT_API 为代理的提取地址，如 ```python PROXY_EXTRACT_API="http://xxxx" ``` 返回的代理格式为： ``` ip:port ip:port ip:port ```