有哪些网站用爬虫爬取能得到很有价值的数据？

时间：2023-11-20 02:24:02 | 来源：网站运营

时间：2023-11-20 02:24:02 来源：网站运营

有哪些网站用爬虫爬取能得到很有价值的数据？：这里给出了一些网站平台，我们可以使用爬虫爬取网站上的数据，某些网站上也给出获取数据的API接口，但需要付费。




财经数据

（1）新浪财经：免费提供接口，这篇博客教授了如何在新浪财经上获取获取历史和实时股票数据。

（2）东方财富网：可以查看财务指标或者根据财务指标选股。

（3）中财网：提供各类财经数据。

（4）黄金头条：各种财经资讯。

（5）StockQ：国际股市指数行情。

（6）Quandl：金融数据界的维基百科。

（7）Investing：投资数据。

（8）整合的96个股票API合集。

（9）Market Data Feed and API：提供大量数据，付费，有试用期。




网贷数据

（1）网贷之家：包含各大网贷平台不同时间段的放贷数据。

（2）零壹数据：各大平台的放贷数据。

（4）网贷天眼：网贷平台、行业数据。

（5）76676互联网金融门户：网贷、P2P、理财等互金数据。




公司年报

（1）巨潮资讯：各种股市咨询，公司股票、财务信息。

（2）SEC.gov：美国证券交易数据

（3）HKEx news披露易：年度业绩报告和年报。




创投数据

（1）36氪：最新的投资资讯。

（2）投资潮：投资资讯、上市公司信息。

（3）IT桔子：各种创投数据。




社交平台

（1）新浪微博：评论、舆情数据，社交关系数据。

（2）Twitter：舆情数据，社交关系数据。

（3）本站：优质问答、用户数据。

（4）微信公众号：公众号运营数据。

（5）百度贴吧：舆情数据

（6）Tumblr：各种福利图片、视频。




就业招聘

（1）拉勾：互联网行业人才需求数据。

（2）中华英才网：招聘信息数据。

（3）智联招聘：招聘信息数据。

（4）猎聘网：高端职位招聘数据。




餐饮食品

（1）美团外卖：区域商家、销量、评论数据。

（2）百度外卖：区域商家、销量、评论数据。

（3）饿了么：区域商家、销量、评论数据。

（4）大众点评：点评、舆情数据。




交通旅游

（1）12306：铁路运行数据。

（2）携程：景点、路线、机票、酒店等数据。

（3）去哪儿：景点、路线、机票、酒店等数据。

（4）途牛：景点、路线、机票、酒店等数据。

（5）猫途鹰：世界各地旅游景点数据，来自全球旅行者的真实点评。

类似的还有同程、驴妈妈、途家等




电商平台

（1）亚马逊：商品、销量、折扣、点评等数据

（2）淘宝：商品、销量、折扣、点评等数据

（3）天猫：商品、销量、折扣、点评等数据

（4）京东：3C产品为主的商品信息、销量、折扣、点评等数据

（5）当当：图书信息、销量、点评数据。

类似的唯品会、聚美优品、1号店等。




影音数据

（1）豆瓣电影：国内最受欢迎的电影信息、评分、评论数据。

（2）时光网：最全的影视资料库，评分、影评数据。

（3）猫眼电影专业版：实时票房数据，电影票房排行。

（4）网易云音乐：音乐歌单、歌手信息、音乐评论数据。




房屋信息

（1）58同城房产：二手房数据。

（2）安居客：新房和二手房数据。

（3）Q房网：新房信息、销售数据。

（4）房天下：新房、二手房、租房数据。

（5）小猪短租：短租房源数据。




购车租车

（1）网易汽车：汽车资讯、汽车数据。

（2）人人车：二手车信息、交易数据。

（3）中国汽车工业协会：汽车制造商产量、销量数据。




新媒体数据

新榜：新媒体平台运营数据。

清博大数据：微信公众号运营榜单及舆情数据。

微问数据：一个针对微信的数据网站。

知微传播分析：微博传播数据。




分类信息

（1）58同城：丰富的同城分类信息。

（2）赶集网：丰富的同城分类信息。




网络指数（可能需用图像识别）

（1）百度指数：最大中文搜索数据，观测网络热点趋势。

（2）阿里指数：商品搜索和交易数据，基于淘宝、天猫和1688平台的交易数据，分析国内商品交易的概况。

（3）友盟指数：移动互联网应用数据，包含下载量、活跃度、用户情况等多维度数据。

（4）爱奇艺指数：涉及到播放趋势、播放设备、用户画像、地域分布、等多个方面数据。

（5）微指数：通过关键词的热议度，以及行业/类别的平均影响力，来反映微博舆情或账号的发展走势。




目录持续更新，如果你是小白，并且希望用爬虫来获取有价值的数据，可以看看我们的课程：Python爬虫：入门+进阶

——————————

关注公众号（datacastle2016），获取更多数据分析干货。