时间:2023-12-15 09:36:01 | 来源:网站运营
时间:2023-12-15 09:36:01 来源:网站运营
前端工程师用什么工具扒网站?:如果题主说的是爬虫,一般来说我们需要这 3 类工具网络资源请求
工具。NodeJS 技术栈中,常见的工具有request-promise
官方Github 地址var request = require("request");request("https://www.zhihu.com", function(error, response, body) { console.log("body:", body); // Print the HTML});
// Node环境中const superagent = require("superagent");superagent .get("https://www.zhihu.com") // 请求地址 .query({ user: "liukanshan" }) // 请求页面或接口的参数 .end((err, res) => { // res是返回体,res.text就是html文本,更多查看官方文档 });
读取里面的数据
,比如获取导航栏菜单的名称,一般会用到页面模拟工具,常见的工具有var request = require("request");var cheerio = require("cheerio");request("https://www.zhihu.com", function(error, response, body) { var $ = cheerio.load(body); console.log($(".Tabs-link.AppHeader-TabsLink").text); // 打印出 '首页'});
const puppeteer = require("puppeteer");(async () => { const browser = await puppeteer.launch(); const page = await browser.newPage(); await page.goto("https://zhihu.com"); await page.screenshot({ path: "本站首页截图打印成图片.png" }); await browser.close();})();
查看网络请求和返回
关键词:工具,工程师