博特智能，现有的对一个抽取工具的定性评价可参考以下几个指标：
自动化程度：这是个非常重要的指标。它意味着在生成包装器的同时，需要用户参与的工作量。用专用语言生成包装器的工具需要用户手工描绘要抽取的对象的边界，所以自动化程度较低。以HTML为中间件的工具往往能提供自动化程度较高的生成包装器的操作，但这种高度自动化的效果需要建立在一个假设上：被抽取页面的HTML标签具有高度的一致性。而这个假设对于现实网络中的大部分页面是不成立的。基于NLP的工具、包装器的归纳工具、基于模型的工具都可以称为半自动化工具，因为这些工具都需要用户提供样例页面，从而生成包装器。BYU这样的基于本体的工具首先需要全人工的建立知识库，但之后，只要本体有足够的表达能力，抽取操作就能够做到全自动。
是否支持复杂结构对象的处理：网页中大多数的数据呈现出复杂的结构，例如多层嵌套(multiple nesting levels)结构。这就需要抽取工具能够处理这些复杂的数据结构。
是否支持页面的文本分析：网页的内容，基本可分成两类：一类是半结构化数据(以多类型数据为主)，一类是半结构化文本(以大段文本为主)。用专用语言生成包装器的工具、以HTML为中间件的工具、包装器的归纳工具、基于模型的工具往往依赖于识别出数据的边界，从而生成抽取规则，所以它们更适合处理半结构化数据。基于NLP的工具更适合处理半结构化文本。BYU这样的基于本体的工具则两者都可处理。
是否提供图形用户界面(GUI，Graphical User Interfaces)：为了帮助用户更好地生成包装器，一些工具提供了图形用户界面。
是否支持非HTML文档：一些网页并不是用HTML写的。因为基于NLP的工具在分析时完全不依赖于HTML标签，所以非常适合处理非HTML文档。包装器的归纳工具、基于模型的工具在分析时不仅仅依赖于HTML标签，所以也可以处理一部分非HTML文档。以HTML为中间件的工具在分析时，则完全依赖HTML标签，所以不能处理非HTML文档。
灵活性(Resilience)和适应性(Adaptiveness)：因为网页的结构和表达往往变化频繁，所以评价包装器的一个重要指标就是灵活性，即当网页有部分改变时，包装器是否仍然有效。另一个重要指标是适应性，即一个针对某应用领域的某种Web源的包装器是否也能对同一应用领域中的其他Web源有效。
来源：freebuf.com 2020-08-29 21:12:42 by: 博特智能内容安全实验室
© 版权声明
文章版权归作者所有，未经允许请勿转载。
THE END
喜欢就支持一下吧
请登录后发表评论
注册