时间：2023-04-24 11:45:02 | 来源：网站运营
时间：2023-04-24 11:45:02 来源：网站运营
手撸了一个java爬虫，发现了c站这么多大佬：今天我们使用Java语言写一个爬虫，用来爬取csdn首页推荐博客的博主，看看这些博主有多少人在写微信公众号。
在线咨询
url，然后将响应的页面进行解析，将解析到的数据保存，同时解析出当前页面的url，继续进行爬取，一直循环下去，爬取当前网站的内容。https://www.csdn.net/，f12查看目标元素<a></a>中，其二是博客地址的格式为https://blog.csdn.net/+"用户名"+/article/details/+"文章标识"（记住这个博客地址，后面有用）。f12来查看DOM元素，发现这一块内容在id=asideCustom的<div>中。a标签a标签，根据博客地址格式，匹配到所有的博客地址id=asideCustom的<div>httpclient用于网络请求，另一个是用来解析DOM元素的jsoup。<dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.10</version></dependency><!-- 添加jsoup支持 --><dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.10.1</version></dependency>网络调用伪代码public static ArrayList<Document> HttpUtil(HashSet<String> urls){ CloseableHttpClient httpClient = HttpClients.createDefault(); CloseableHttpResponse response = null; ArrayList<Document> list = new ArrayList<>(); try { for(String url : urls){ HttpGet request = new HttpGet(url); response = httpClient.execute(request); //判断响应状态为200，请求成功，进行处理 if(response.getStatusLine().getStatusCode() == 200) { HttpEntity httpEntity = response.getEntity(); String html = EntityUtils.toString(httpEntity, "utf-8"); Document document = Jsoup.parse(html); list.add(document); } else { System.out.println("返回状态不是200"); } } } catch (ClientProtocolException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } finally { HttpClientUtils.closeQuietly(response); HttpClientUtils.closeQuietly(httpClient); } return list;}调用及解析伪代码public static void main(String[] args) { // 标记有多少博主设置了自定义信息 int i = 0; // 首页url HashSet<String> url = new HashSet<>(); // 文章urls HashSet<String> articleUrls = new HashSet<>(); url.add("https://www.csdn.net/"); // 爬取csdn首页 ArrayList<Document> list = HttpUtil(url); // 选择a标签 for(Document document : list){ Elements a = document.select("a"); for(Element element : a){ // 获取a中的url // <a href = "https://xxxx"> </a> String href = element.attr("href"); // 筛选博客地址 if(href.contains("article/details")){ articleUrls.add(href); } } } ArrayList<Document> list2 = HttpUtil(articleUrls); for(Document document : list2){ Element asideCustom = document.getElementById("asideCustom"); if(asideCustom != null){ i++; } } // 输出爬取的文章数量 和 设置了自定义信息的博主数量 System.out.println("爬取的文章数量="+articleUrls.size()+"/n"+"写公众号的博主数量="+i);}控制台输出信息爬取的文章数量=25写公众号的博主数量=5关键词：爬虫
