网站采集器主要技术
时间：2023-07-16 01:03:01 | 来源：营销百科
时间：2023-07-16 01:03:01 来源：营销百科
网站采集器主要技术：网站采集器核心技术是模式定义和模式匹配。模式属于人工智能的术语，意思为前人所积累的经验的抽象和升华。简单地说，就是从不断重复出现的事件中发现和抽象出的规律，是解决问题的经验的总结。只要是一再重复出现的事物，就可能存在某种模式。
所以要让网站采集器能够运行，目标网站必须具备重复出现的特征。目 前大多网站都是动态生成的，这样就会让同一模板的页面包含相同的内容，网站采集器正是利用这些相同的内容来定位采集数据的。
网站采集器中的模式大多不是程序自动发现的，目 前几乎所有的网站采集器产品都需要通过人工来定义。但模式本身是个很复杂，很抽象的内容，所以所有的开发者精力都花在怎样让模式定义更简单，更准确，这也是网站采集器竞争力的衡量标准。
但我们怎样来描述模式呢，目 前技术主要有两种方式：正则表达式定义和文档结构定义。
正则表达式定义
正则表达式定义是目 前主流应用的技术，主要代表为火车头采集器。此技术简单，灵活性高。但用户操作复杂。由于此模式作用于网页的源代码上，因此匹配的结果受代码版面格式影响比较大，并且也不够直观，对比较复杂的页面结构几乎无能为力。 目 前已经有几款产品使用辅助工具来减低用户的操作难度。
文档结构定义
文档结构定义应该说它是目前最先进的技术，已经具备一定的模式学习能力。此模式作用于文档这一层，不同于正则表达式作用于页面源代码。所谓文档这一层，指的是源代码运行后所生成的实际对象，即用户在浏览器所看到的内容。所以操作可视化是此技术天生就具备的能力。
由于它是对文档结构进行匹配，所以它不受页面源代码的影响，用户定义比较直观，并且程序能够根据文档对象获取更多的逻辑上的特征信息，匹配更准确，通用性更强。
此技术在学术研究论文上已经呈现过，也在几家实验室开发出此类产品。但真正在商业上应用很少。
目 前能够面向普通大众的，只有DM实验室推出的视采采集器，该产品不仅在技术起点上比较高，而且在用户使用这一层上，所独有的实时用户操作向导功能也是让人惊奇的，此技术让专业级操作变为傻瓜式操作，真是科学让一切变为可能！
在线咨询
