有哪些「神奇」的数据获取方式？

时间：2023-11-20 05:00:01 | 来源：网站运营

时间：2023-11-20 05:00:01 来源：网站运营

有哪些「神奇」的数据获取方式？：大数据时代，用数据做出理性分析显然更为有力。做数据分析前，能够找到合适的的数据源是一件非常重要的事情，获取数据的方式有很多种，不必局限。下面将从公开的数据集、爬虫、数据采集工具、付费API等等介绍。给大家推荐一些能够用得上的数据获取方式，后续也会不断补充、更新。

一、公开数据库

1.常用数据公开网站

UCI：经典的机器学习、数据挖掘数据集，包含分类、聚类、回归等问题下的多个数据集。很经典也比较古老，但依然活跃在科研学者的视线中。

国家数据：数据来源中华人民共和国国家统计局，包含了我国经济民生等多个方面的数据，并且在月度、季度、年度都有覆盖，全面又权威。

CEIC：最完整的一套超过128个国家的经济数据，能够精确查找GDP、CPI、进口、出口、外资直接投资、零售、销售以及国际利率等深度数据。其中的“中国经济数据库”收编了300,000多条时间序列数据，数据内容涵盖宏观经济数据、行业经济数据和地区经济数据。

万得：简要介绍：被誉为中国的Bloomberg，在金融业有着全面的数据覆盖，金融数据的类目更新非常快，据说很受国内的商业分析者和投资人的亲睐。

搜数网：已加载到搜数网站的统计资料达到7,874本,涵盖1,761,009张统计表格和364,580,479个统计数据，汇集了中国资讯行自92年以来收集的所有统计和调查数据，并提供多样化的搜索功能。

中国统计信息网：国家统计局的官方网站，汇集了海量的全国各级政府各年度的国民经济和社会发展统计信息，建立了以统计公报为主，统计年鉴、阶段发展数据、统计分析、经济新闻、主要统计指标排行等。

亚马逊：来自亚马逊的跨科学云数据平台，包含化学、生物、经济等多个领域的数据集。

figshare：研究成果共享平台，在这里可以找到来自世界的大牛们的研究成果分享，获取其中的研究数据。

github：一个非常全面的数据获取渠道，包含各个细分领域的数据库资源，自然科学和社会科学的覆盖都很全面，适合做研究和数据分析的人员。

2.政府开放数据

杭州市政务数据资源网：包含竞技、交通、医疗、天气等数据。

杭州市政府数据开放平台：交通、文娱、就业、基础设施等数据。

杭州市政务数据服务网：覆盖经济建设、文化科技、信用服务、交通出行等12个重点领域数据。

浙江省政府数据开放平台：浙江省在政务数据开放方面做的确实不错。

Data.gov：美国政府开放数据，包含气候、教育、能源金融等各领域数据。

3.数据竞赛网站

竞赛的数据集通常干净且科研究性非常高。

DataCastle：专业的数据科学竞赛平台。

Kaggle：全球最大的数据竞赛平台。

天池：阿里旗下数据科学竞赛平台。

Datafountain：CCF制定大数据竞赛平台。

二、利用爬虫可以获得有价值数据

这里给出了一些网站平台，我们可以使用爬虫爬取网站上的数据，某些网站上也给出获取数据的API接口，但需要付费。

1.财经数据

（1）新浪财经：免费提供接口，这篇博客教授了如何在新浪财经上获取获取历史和实时股票数据。

（2）东方财富网：可以查看财务指标或者根据财务指标选股。

（3）中财网：提供各类财经数据。

（4）黄金头条：各种财经资讯。

（5）StockQ：国际股市指数行情。

（6）Quandl：金融数据界的维基百科。

（7）Investing：投资数据。

（8）整合的96个股票API合集。

（9）Market Data Feed and API：提供大量数据，付费，有试用期。

2.网贷数据

（1）网贷之家：包含各大网贷平台不同时间段的放贷数据。

（2）零壹数据：各大平台的放贷数据。

（4）网贷天眼：网贷平台、行业数据。

（5）76676互联网金融门户：网贷、P2P、理财等互金数据。

3.公司年报

（1）巨潮资讯：各种股市咨询，公司股票、财务信息。

（2）SEC.gov：美国证券交易数据

（3）HKEx news披露易：年度业绩报告和年报。

4.创投数据

（1）36氪：最新的投资资讯。

（2）投资潮：投资资讯、上市公司信息。

（3）IT桔子：各种创投数据。

5.社交平台

（1）新浪微博：评论、舆情数据，社交关系数据。

（2）Twitter：舆情数据，社交关系数据。

（3）本站：优质问答、用户数据。

（4）微信公众号：公众号运营数据。

（5）百度贴吧：舆情数据

（6）Tumblr：各种福利图片、视频。

6.就业招聘

（1）拉勾：互联网行业人才需求数据。

（2）中华英才网：招聘信息数据。

（3）智联招聘：招聘信息数据。

（4）猎聘网：高端职位招聘数据。

7.餐饮食品

（1）美团外卖：区域商家、销量、评论数据。

（2）百度外卖：区域商家、销量、评论数据。

（3）饿了么：区域商家、销量、评论数据。

（4）大众点评：点评、舆情数据。

8.交通旅游

（1）12306：铁路运行数据。

（2）携程：景点、路线、机票、酒店等数据。

（3）去哪儿：景点、路线、机票、酒店等数据。

（4）途牛：景点、路线、机票、酒店等数据。

（5）猫途鹰：世界各地旅游景点数据，来自全球旅行者的真实点评。

类似的还有同程、驴妈妈、途家等

9.电商平台

（1）亚马逊：商品、销量、折扣、点评等数据

（2）淘宝：商品、销量、折扣、点评等数据

（3）天猫：商品、销量、折扣、点评等数据

（4）京东：3C产品为主的商品信息、销量、折扣、点评等数据

（5）当当：图书信息、销量、点评数据。

类似的唯品会、聚美优品、1号店等。

10.影音数据

（1）豆瓣电影：国内最受欢迎的电影信息、评分、评论数据。

（2）时光网：最全的影视资料库，评分、影评数据。

（3）猫眼电影专业版：实时票房数据，电影票房排行。

（4）网易云音乐：音乐歌单、歌手信息、音乐评论数据。

11.房屋信息

（1）58同城房产：二手房数据。

（2）安居客：新房和二手房数据。

（3）Q房网：新房信息、销售数据。

（4）房天下：新房、二手房、租房数据。

（5）小猪短租：短租房源数据。

12.购车租车

（1）网易汽车：汽车资讯、汽车数据。

（2）人人车：二手车信息、交易数据。

（3）中国汽车工业协会：汽车制造商产量、销量数据。

13.新媒体数据

新榜：新媒体平台运营数据。

清博大数据：微信公众号运营榜单及舆情数据。

微问数据：一个针对微信的数据网站。

知微传播分析：微博传播数据。

14.分类信息

（1）58同城：丰富的同城分类信息。

（2）赶集网：丰富的同城分类信息。

如果你是小白，想通过爬虫获得有价值的数据，推荐我们的体系课程——Python爬虫：入门+进阶

三、数据交易平台

由于现在数据的需求很大，也催生了很多做数据交易的平台，当然，出去付费购买的数据，在这些平台，也有很多免费的数据可以获取。

优易数据：由国家信息中心发起，拥有国家级信息资源的数据平台，国内领先的数据交易平台。平台有B2B、B2C两种交易模式，包含政务、社会、社交、教育、消费、交通、能源、金融、健康等多个领域的数据资源。

数据堂：专注于互联网综合数据交易，提供数据交易、处理和数据API服务，包含语音识别、医疗健康、交通地理、电子商务、社交网络、图像识别等方面的数据。

四、网络指数

百度指数：指数查询平台，可以根据指数的变化查看某个主题在各个时间段受关注的情况，进行趋势分析、舆情预测有很好的指导作用。除了关注趋势之外，还有需求分析、人群画像等精准分析的工具，对于市场调研来说具有很好的参考意义。同样的另外两个搜索引擎搜狗、360也有类似的产品，都可以作为参考。

阿里指数：国内权威的商品交易分析工具，可以按地域、按行业查看商品搜索和交易数据，基于淘宝、天猫和1688平台的交易数据基本能够看出国内商品交易的概况，对于趋势分析、行业观察意义不小。

友盟指数：友盟在移动互联网应用数据统计和分析具有较为全面的统计和分析，对于研究移动端产品、做市场调研、用户行为分析很有帮助。除了友盟指数，友盟的互联网报告同样是了解互联网趋势的优秀读物。

爱奇艺指数：爱奇艺指数是专门针对视频的播放行为、趋势的分析平台，对于互联网视频的播放有着全面的统计和分析，涉及到播放趋势、播放设备、用户画像、地域分布、等多个方面。由于爱奇艺庞大的用户基数，该指数基本可以说明实际情况。

微指数：微指数是新浪微博的数据分析工具，微指数通过关键词的热议度，以及行业/类别的平均影响力，来反映微博舆情或账号的发展走势。分为热词指数和影响力指数两大模块，此外，还可以查看热议人群及各类账号的地域分布情况。

除了以上指数外，还有谷歌趋势、搜狗指数、360趋势、艾漫指数等等。

五、网络采集器

网络采集器是通过软件的形式实现简单快捷地采集网络上分散的内容，具有很好的内容收集作用，而且不需要技术成本，被很多用户作为初级的采集工具。

造数：新一代智能云爬虫。爬虫工具中最快的，比其他同类产品快9倍。拥有千万IP，可以轻松发起无数请求，数据保存在云端，安全方便、简单快捷。

火车采集器：一款专业的互联网数据抓取、处理、分析，挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息。

八爪鱼：简单实用的采集器，功能齐全，操作简单，不用写规则。特有的云采集，关机也可以在云服务器上运行采集任务。

——————————

关注公众号（datacastle2016），获取更多数据分析干货。