自动抓取网页图片-图片下载神器
时间:2023-06-07 23:24:02 | 来源:网站运营
时间:2023-06-07 23:24:02 来源:网站运营
自动抓取网页图片-图片下载神器:前一阵因为一个项目中的爬取需求,用python3写了个爬取网页图片的工具,中间碰到了不少问题,例如不同网页的图片地址格式不同,存放位置也不尽相同,就很让人头疼,趟了不少雷还好都解决了,客户是IT小白,所以操作界面必须也得傻瓜式的简单易懂,吐槽一下wxpython开发界面真够原始的。
本工具有以下功能特点:1、支持多个网页的图片抓取,支持模板网页类似迅雷下载多个文件,支持导入网址文件;2、支持本机抓取和代理抓取;3、支持手工中断抓取;4、支持自定义图片存储目录,并按照网址特征自动为图片创建分类目录;5、支持下载图片失败自动清理;6、支持下载图片去重功能;7、支持抓取过程中查看已下载图片;
功能介绍视频地址:优酷视频
https://v.youku.com/v_show/id_XNDcyOTk2NDYxMg==.html 功能测试结果:搜索网站类似百度,知识网站类似本站、行业网站类似汽车X家、常见美女/美景网站,均可抓取成功。
功能界面截图:
1、下载后解压缩到本地,双击get_page_image.exe即可启动本软件
2、填写普通网址--填写要下载图片网页的地址,从浏览器中直接粘贴过来即可;填写模板网址--填写下载图片网页的网址,把改变的部分修改为通配符;导入网址文件--支持文本文件一个图片网址一行;导入图片网址文件--支持文本文件一个图片网址一行
3、填写下载图片存储文件夹名称,例如汽车、装修等等,支持自动创建图片分类目录
4、点击“开始抓取”按钮即可,抓取过程中会显示日志,抓取过程中可以点击“打开图片目录”按钮查看已下载的图片 ,下载完成可通过点击“调整尺寸”按钮调整为指定尺寸
下载下来的每张图片会根据网页和网页中的顺序生成一个唯一编号
补充说明:
a.欢迎各位同学下载体验交流,下载地址:
http://www.tomsoftcent.com:8180/download/抓取网页图片.rar
b.针对各大搜索引擎例如百度/360/微软必应等,门户电商网站例如新浪微博、京东、淘宝等,知名图片网站例如汇图网、昵图网、红动中国等的都进行了针对的反爬虫处理。