时间：2023-04-23 15:45:02 | 来源：网站运营
时间：2023-04-23 15:45:02 来源：网站运营
6,搭建免费代理池： requests模拟发送http请求，频率限制---》变换ip---》代理（免费，收费）---》
在线咨询
搭建步骤 ### 第一步：下载代码 git clone git@github.com:jhao104/proxy_pool.git ### 第二步：安装依赖 pip3 install -r requirements.txt ### 第三步：修改配置--》项目路径下的settings.py # 配置API服务 HOST = "0.0.0.0" # IP PORT = 5000 # 监听端口 # 配置数据库 DB_CONN = 'redis://127.0.0.1:8888/0' # 配置 ProxyFetcher--->配置爬取哪几个免费代理的网站 PROXY_FETCHER = [ "freeProxy01", # 这里是启用的代理抓取方法名，所有fetch方法位于fetcher/proxyFetcher.py "freeProxy02", # .... ] ### 第四步，启动项目 # 启动调度程序（爬取代理） python3 proxyPool.py schedule # 启动webApi服务（提供接口） python3 proxyPool.py server#1 使用代理池import requests# res=requests.get('http://127.0.0.1:5010/get/')# print(res.json()['proxy'])### ## 咱们的爬虫，随机使用代理去访问# proxies={# 'http':res.json()['proxy']# }# respone=requests.get('https://www.12306.cn',# proxies=proxies)## print(respone.status_code)关键词：代理,免费
