柏拉图(platon.ai)如何工作?
时间:2023-06-01 22:06:02 | 来源:网站运营
时间:2023-06-01 22:06:02 来源:网站运营
柏拉图(platon.ai)如何工作?:柏拉图是一款网络数据处理工具,它能够 100% 无人干预就能将网页变成数据 -- 不需要配规则,甚至也不需要机器学习训练,它是无监督机器学习驱动的。目前,我们提供了一个可执行的预览版。
我们将每个网页在浏览器中渲染后,通过 js 计算出每个网页元素的一系列属性,主要包括元素的位置和大小。同时,我们构造了网页元素的更多有趣的隐含特征,譬如拓扑和语义相关的特征。目前,包括位置和大小在内,我们为每个网页元素构造了 100 多个独立特征。这样,一张网页就变成了由很多个带属性的矩形组成的几何图形(Geometric graph)。
对网页进行信息抽取,也就是将一组网页中意义相同的元素聚到一起,技术上就是对这组网页的所有元素进行聚类(无标注)或者分类(有标注)。通过将网页元素建模为带属性的矩形,这使得相关的机器学习任务变得格外轻松,对一组网页的给定区域,机器学习算法通常能够发现几乎全部字段,并对 90% 以上字段都能获得 99.9% 以上的精度(如图示),这就完全摆脱了人工配规则的苦恼。
你可以下载并试用:
java -jar exotic-standalone*.jar harvest https://shopee.sg/Computers-Peripherals-cat.11013247 -diagnose -refresh
更进一步,任意给一个列表页,我们能够对链出页面进行评估,来探测哪一组页面是由同一套模板生成的,从而其中的字段值能够被抽取出来。
java -jar exotic-standalone*.jar arrange https://shopee.sg/Computers-Peripherals-cat.11013247
这样,原本需要手工编写几个甚至几十个正则表达式或者 CSS PATH 的网页抽取问题,现在只需要告诉系统列表页链接就行了,而满足这种要求的网页占据了互联网上绝大多数网页。
最后,我们为爬虫系统和数据分析系统配备了 SQL 引擎,这样,我们可以仅仅使用一条 SQL 语句就实现监控一个网站栏目,实时提取关键数据。事实上,配备 SQL 引擎后,互联网和本地数据库几乎就可以同等待了(除了互联网数据响应时间较久外)。
一个典型电商网页局部仅仅告知列表页链接,100% 零干预完整精确提取网页数据仅使用一条 SQL 语句实现站内商品比价并生成图表