最后更新:2020-03-17 12:37:49 手机定位技术交流文章
知识地图是打开智能机器大脑的钥匙,可以打开网络3.0时代的知识宝库本文将从知识地图的概念、体系结构、关键技术、应用领域以及需要注意的问题等方面带您进入知识地图的世界。什么是
知识地图?
a一组互连类型化实体及其属性的知识图一致性。
知识图本质上是一个语义网络,是由节点和边缘组成的基于图的数据结构。在知识地图中,每个节点代表现实世界中存在的“实体”,每个边代表实体之间的“关系”。知识地图是关系最有效的表现。
,一般来说,知识地图是一个将所有不同种类的信息连接在一起的关系网络。知识地图提供了从“关系”角度分析问题的能力
知识地图的概念是由谷歌首先提出的,主要用于优化现有的搜索引擎。与传统的基于关键词搜索的搜索引擎不同,知识地图可以更好地查询复杂的相关信息,从语义层面理解用户意图,提高搜索质量例如,当科比被输入到谷歌的搜索框中时,科比的相关信息如出生日期、家庭状况等。将出现在搜索结果页面的右侧。

在知识地图中,我们通常用“实体”来表示图的节点,用“关系”来表示图的“边”。实体是指现实世界中的事物,如人、地名、概念、公司等。关系是用来表达不同实体之间某种联系的,比如人——“住在”——北京,张三和李四是“朋友”等。
通过以上示例,读者应该对知识地图有一个初步的印象。它的本质是表达知识。从实际应用的角度来看,知识地图可以简单地理解为一个多关系图。
知识地图的表示什么是多关系图?图由顶点和边组成,但是这些图通常只包含一种类型的节点和边。但是相反,多关系图通常包含许多类型的节点和许多类型的边。例如,下图,因为该图包含许多类型的节点和边这些类型由不同的颜色标记

当知识地图具有属性时,我们可以使用属性图来表示它。如上图所示,科比和瓦内萨是夫妻,他们的结婚时间是从2001年到2020年,其中结婚时间可以作为关系的属性。同样,科比也有他自己的属性,比如性别,出生日期等。这个属性图的表达非常接近现实生活场景,也能很好地描述业务中包含的逻辑。
除了属性图,知识图也可以用RDF表示,RDF由许多三元组组成RDF的主要设计特征是它易于发布和共享数据,但是它不支持实体或关系具有属性。如果必须添加属性,则需要在设计中进行一些修改。目前,RDF主要用于学术场景。在工业中,我们仍然使用图形数据库(例如,存储属性图形)
知识地图主要有两种存储方法:一种是基于RDF的存储;二是基于图形数据库的存储。RDF的一个重要设计原则是易于发布和共享数据,而图形数据库则侧重于高效的图形查询和搜索。其次,RDF以三元组存储数据,并且不包含属性信息。然而,图形数据库通常使用属性图作为基本表示,因此实体和关系可以包含属性,这意味着更容易表达真实的业务场景
知识抽取
知识地图的架构指的是构建模式结构,如下图所示知识地图的构建过程需要随着人们的认知能力不断更新和迭代。

所谓静态关系地图集意味着我们不考虑地图集结构本身随时间的变化,而只关注当前知识地图集结构然而,我们也知道地图集的结构随着时间而变化。
在下图中,我们给出了在时间T和时间T+1的知识地图的结构。我们可以很容易地看到地图结构(或结构的一部分)在这两个时间之间发生了明显的变化。我们如何判断这些结构性变化?感兴趣的读者可以密切关注我,并将继续更新与技术堆栈相关的知识地图。这篇文章一开始不会讨论太多。

回到知识地图的架构图。知识地图的构建是后续应用的基础,构建的前提是从不同的数据源中提取数据。对于垂直领域的知识地图,其数据源主要来自两个渠道:一是业务本身的数据,通常包含在公司内部的数据库表中,并以结构化的方式存储;另一个是在网络上披露和获取的数据。这些数据通常以网页的形式存在,因此它们是半结构化/非结构化数据。
前者只能通过简单的预处理作为后续人工智能系统的输入,而后者通常需要通过自然语言处理等技术提取结构化信息。例如,在上面的搜索示例中,神户和凡妮莎之间的关系可以从非结构化数据中提取,例如维基百科和其他数据源
信息抽取的难点在于处理非结构化数据从非结构化文本中,需要提取实体、关系和属性。例如,下图显示了神户从维基百科获得的文本信息:

是从大量文本中构建一个类似于文章开头的知识地图。自然语言处理技术涉及几个方面:
名称实体识别,关系抽取,实体解析,共指Resolution)是第一个实体名称识别。它是从文本中提取实体,并对每个实体进行分类/标记:例如,从上面的文本中,我们可以提取实体-“科比布莱恩特”,并将实体类型标记为“人”;我们还可以从中提取“宾夕法尼亚州费城”,并将实体类型标记为“位置”
过程被称为实体命名识别,这是一种相对成熟的技术。有一些现成的工具可以用来做这件事。其次,我们可以通过关系抽取技术从文本中抽取实体之间的关系,例如,实体“科比·布莱恩特”和“宾夕法尼亚州费城”之间的关系是“生于”等等
此外,在实体名称识别和关系抽取的过程中,有两个棘手的问题:一个是实体的统一,也就是说,有些实体写得不同,但实际上指向同一个实体例如,“科比·比恩·布莱恩特”和“科比”表面上是不同的字符串,但他们实际上是指科比,需要被合并。
实体的统一不仅可以减少实体的类型,还可以减少稀疏性);地图。另一个问题是回指解析,“他”、“它”和“她”指的是哪个实体
实体统一和共指解析比前两个问题更具挑战性
大型知识库的建设和应用需要各种智能信息处理技术的支持。通过知识抽取技术,可以从一些公共的半结构化和非结构化数据中抽取出实体、关系和属性等知识元素。
可以通过知识融合消除实体、关系、属性和其他引用对象与事实对象之间的歧义,形成高质量的知识库知识推理是在现有知识库的基础上进一步挖掘隐藏的知识,从而丰富和扩展知识库分布式知识表示形成的综合向量对知识库的构建、推理、融合和应用具有重要意义。
是一篇科普文章。本文的目的是向您介绍知识地图。更深入的知识抽取、知识表示、知识融合和知识推理技术在空间上受到限制,将成为下一篇文章的重点供您参考。构建
知识地图需要说明的第一点是,构建知识地图系统最重要的核心在于对业务的理解和知识地图本身的设计。这类似于数据库表的设计,对于业务系统来说尤其重要。此外,这种设计绝对离不开对业务的深入了解和对未来业务场景变化的预测。当然,我们不会在这里讨论数据的重要性。
完整知识地图的构建包括以下步骤:
定义特定业务问题数据的集合&预处理知识地图的设计将数据存储到知识地图的上层应用开发和系统评估中。对于定义具体的业务问题,需要明确的一点是,您是否需要知识映射系统来支持您自己的业务问题因为在许多实际场景中,即使存在对关系分析的某种需求,传统的数据库实际上也可以用来完成分析。因此,为了避免使用知识地图而选择知识地图和更好的技术选择,以下是一些总结供参考。

下一步是确定数据源并进行必要的数据预处理我只想说一点。并非所有相关数据都必须输入知识地图。本部分的一些决策原则将在后续文章中详细介绍。
知识地图的设计是一门艺术。作为程的,我把它交给了更专业的人员。我们不得不面对存储系统对存储的选择,但是因为我们设计的知识地图具有属性,所以地图数据库可以是首选。然而,选择哪个图形数据库还取决于通信量和效率要求。
如果数据量非常大,辅助服务器可能无法满足业务需求。此时,有必要选择支持准分布的系统,如OrientDB、JanusGraph,或者通过效率和冗余原则将信息存储在传统数据库中,从而减少知识地图携带的信息量。一般来说,对于比例尺小于10亿个节点的地图来说,二级就足够了。在
完成这些之后,我们可以转到最熟悉的链接并开发应用程序(代码滚动)
知识地图的应用
知识地图应用的前提是知识地图已经构建,也可以视为知识库。当我们执行搜索时,我们可以通过在知识库上进行关键词提取和匹配来直接获得最终答案。
搜索方法不同于传统的搜索引擎。传统的搜索引擎返回的是网页而不是最终答案,因此用户需要额外的一层过程来过滤信息。
知识地图的应用主要集中在搜索和推荐领域:

是语义搜索。知识地图的搜索不同于传统的搜索,传统的搜索是根据关键词找到相应的网页集合,然后通过页面排序等算法对网页集合中的网页进行排序,然后显示给用户。基于知识地图的搜索是遍历现有地图知识库中的知识,然后将查询到的知识返回给用户。通常,如果路径正确,只找到一个或几个知识,这是相当准确的。对于
问答系统,系统还将首先借助知识地图,对用户使用自然语言提出的问题进行语义分析和语法分析,然后转换成结构化的查询语句,然后在知识地图中查询答案。对
的建议练习
首先,知识地图是一个相对较新的工具。它的主要功能是分析关系,尤其是深层关系因此,在商业中,我们必须首先保证它的必要性。事实上,许多问题可以通过非知识地图来解决。
知识地图领域最重要的课题之一是知识推理。而知识推理是强大人工智能的唯一途径然而,不幸的是,从语义网络角度讨论的许多推理技术(如深度学习和概率统计)很难应用于实际的垂直应用。事实上,目前最有效的方法是基于一些规则的方法论,除非我们有一个非常大的数据集。
最后,应该强调的是,知识地图项目本身仍然是以业务为中心和以数据为中心的。不要低估业务和数据的重要性如果这篇文章对你有帮助,请互相表扬和鼓励。
参考文献:
“知识地图技术概述”徐增林、盛、何、王知识地图基础(1)-什么是知识地图这是一个用户友好的知识地图技术和应用指南作者:臧
简介:在中国科星地图有限公司(北京)的部后端技术组工作就我个人而言,我擅长Python/Java开发,并且知道前端的基础。精通MySQL、MongoDB和Redis。;熟悉Linux开发环境,掌握Shell编程,良好的Git源代码管理习惯;精通发动机、烧瓶、斯沃格开发框架;多克+库本内特斯云服务开发经验对人工智能和基于云的技术更感兴趣
编者:陶家龙
草稿:凡提交文章并有兴趣报道的,请联系编者@51cto.com
本文由 在线网速测试 整理编辑,转载请注明出处。