mbd模型技术特点（一站式了解多模态）

整理 | 许爱艳

出品 | AI科技大本营（ID：rgznai100）

【导读】7 月 3-4 日，由 CSDN 主办的第三届 AI 开发者大会（AI ProCon 2020）在线上举行。本次大会有超万人报名参与，参与人群覆盖 60 领域、5000 家企业。其中有来自行业内 70 顶尖企业、开源社区与科研高校的近 100 位行业领袖、技术大咖与研究学者。

他们用更新鲜、更有趣、更年轻的方式，聚焦智能时代 AI 技术的发展曲线以及 AI 与社会各行业结合的最新应用进展，深入解析热门 AI 技术在行业中的实践与落地经验，揭示技术与行业发展面临的机遇与挑战。

在 7 月 4 日的知识图谱与认知智能论坛上来自高校和企业 4 位知识图谱大咖围绕知识图谱的技术进展与在场景中的应用案例为大家带来了 4 场干货满满的主题演讲。目前，论坛的直播回放已上传，大家可以收藏反复学习。

以下内容根据「知识图谱与认知智能」论坛 4 位嘉宾的演讲内容，由 AI科技大本营（ID：rgznai100）整理：

嘉宾 1：漆桂林，东南大学教授，AI ProCon 2020 「知识图谱与认知智能」论坛出品人，议题为《多模态知识图谱技术进展与应用》

首先，漆教授先带领大家了解 从 2004 年至今，多模态技术及相关技术的发展历程。

直到 2013 年 NEIL：Image Knowledge Miner 出现前，无论是语义网还是 ImageNet，严格意义上来说都不算多媒体技术领域范畴，大多还处于图像与文本数据标注阶段。在 Image Knowledge Miner 项目中，研究者开始基于自动化抽取、半监督学习等技术抽取图像实体之间的关系；随后，语义网学者提出 IMGpedia 多模态知识图谱项目，不过 IMGpedia 没有对图像内可能存在的实体间关系进行深入挖掘；基于此，2019 年研究者们进一步提出 Richpedia 多媒体知识图谱。

虽然，知识图谱这类符号主义系统（System 2）与深度学习端到端的模型（System 1）两个系统都是从 Input（Question）到 Goal（Answer）的任务过程，但是两种系统的处理与推理逻辑却是完全不同的。如此，在常识性问题、知识性问答等任务中知识图谱可以弥补深度学习的不足。

那么，多模态知识图谱时又可以发挥哪些价值?

在现实场景中，多模态数据是普遍存在的，而多模态知识图谱可以帮助我们丰富信息，回答更多的问题。

多模态知识图谱的三大意义：

（1）多模态间是互补的关系

（2）通过跨模态可以获得更多的信息、细节与答案

（3）不同模态间可以进行消歧

那究竟什么是多模态知识图谱？如何定义？与传统知识图谱有哪些区别？以及更重要的课题——如何构建多模态知识图谱？可以怎么应用？在后半段的分享中，漆教授围绕三个研究工作中的问题及其解决方法都一一为大家进行了讲解。

有了这些方法与解决问题的思路，目前多模态知识图谱技术的研究与应用还面临着哪些挑战？接下来，大家还可以投入到哪些研究问题中？大家可以观看漆教授完整的演讲分享深入了解这些内容，相信可以为你目前的学习与研究带来启发。

嘉宾 2：丁效，哈尔滨工业大学助理研究员/硕士生导师，议题为《基于事理图谱的文本推理技术》

演讲开始，丁老师便引导大家开始思考：目前大家对知识图谱都有一定的了解，那么我们为什么需要事理图谱呢？什么是事理图谱呢？与大家熟知事理图谱又可以如何应用？有哪些典型的应用场景呢？

对事理图谱有了初步了解后，我们就要跟着丁老师一起进到事理图谱工作中开始学习了。现在大家都知道了，在事理图谱中，事件是非常重要的一个概念，我们只有明确清晰了事件的定义，才能在认知层面掌握事件之间的关系（归纳、因果、上下位、条件关系等），进而组织成为知识，并通过形成的这些认知在现实场景下发挥推理与引导作用。关于刚刚提到的这四种事件之间的关系，大家可以在视频里具体学习。

有了事理图谱，我们可以做哪些文本推理任务？接下来，我们就一起来看丁效老师为大家分享的基于事理图谱的五大文本推理任务及其关键技术。

不同的任务中还存在着不同的问题，针对这些问题目前又有哪些解决方法，在后半段的分享中，大家可以详细掌握五大任务中的关键方法与技术，满满干货，不容错过！

2018--2019 年间，丁效老师所在的哈工大 HIT-SCIR 实验室连续发布了两版《金融事理图谱》，在数据规模、事件数、事件关系以及抽取结果上都在不断丰富与提升。

同时，这些事理图谱的演示系统大家还可以在线体验。

除了这些应用，事理图谱还有哪些潜在应用？大家可以扫码观看丁老师的完整演讲。

前两位老师针对多模态知识图谱和事理图谱为大家分享了当下知识图谱的热门研究问题与关键技术应用，接下来是两位业界的技术大咖为大家带来的分享，一览群智的刘老师与文因互联的鲍捷老师将通过实际业务中的需求和面临的诸多问题与挑战，为大家分享将知识图谱落地场景的实践之道。

嘉宾 3：一览群智技术副总裁 刘占亮，议题为《从AI到IA，知识图谱信息抽取在智能审单业务中的应用实践》

从大规模通用知识图谱到行业知识图谱，领域专业知识与逻辑变得更密集、更复杂深入，因而场景与需求也变得更复杂，知识图谱面临着诸多的新挑战。

以智能审单系统为例，在国际结算、跨境支付与保险理赔等场景中，知识图谱都是其背后强有力的技术支撑。

构建知识图谱的数据来源有结构化与非结构化的数据，而在知识图谱设计与构建的过程中，需要思考的一个重要问题是知识如何表示，在设计好图谱模式后，在进行知识抽取与映射转换。

在接下来的分享中，刘老师以智能审单系统包含的三个知识图谱——基础知识图谱、单据知识图谱与审核规则知识图谱为例，为大家介绍知识图谱构建的关键问题与实践经验。

• 基础知识图谱构建流程

• 单据知识图谱构建流程

单据知识图谱是智能审单系统中的核心技术，承担着对单据规范、单据条款、字段的理解能力，在实际业务场景的构建过程中会面临诸多挑战。

首先，面临着不同于其他 OCR 系统的技术挑战。单据图谱中的 OCR 技术不仅要识别文字，对识别后的票据还要进行要素抽取（业务分析模块）；其次，单据要素抽取并不是一项简单的工作，尤其是对没有统一模板制式的票据，在信息抽取模型构建过程中需要结合多种方法来帮助开放式票据的信息抽取；最后，通过 Schema 对抽取后的信息进行归一化。

• 审核逻辑知识图谱

下面展现了智能审单系统的完整业务流程，在构建知识图谱的过程中还有诸多技术问题，大家可以在刘老师的完整演讲中学习。

嘉宾 4：鲍捷，文因互联 CEO，议题为《深数据需要一把柳叶刀--知识图谱在金融领域实战》

如题，什么是深数据呢？这先要从一个大背景说起：感知智能时代与认知智能时代。

大家都知道，传统感知智能时代有三要素——算法、算力与数据，但它们在认知时代下却失去了原本的效果。

根本原因是认知时代是强依赖外源知识，有些问题不是有海量数据、算力资源和高精准的模型就可以解决的。所以，我们提出了新的要求——「深数据」这一概念由此而生，而传统方法在深数据上失去了原本的效能。

那究竟什么是深数据？其中最典型的案例就是在金融场景中。大部分的金融数据都是隐藏在 PDF 文件中的，目前，在信贷与债券领域中可以用到的数据不仅是结构化的数据，更多的数据是需要阅读 PDF 文件，理解其内容，进而辅助业务的实践，这就需要大量的行业或领域的专业知识。而我们需要做的就是通过机器训练进行部分的替代，识别并掌握各类文档中的语义信息，根据业务需求构建知识图谱。

大家不免提出质疑，这些通过大量数据标注进行训练，或者把 PDF 文件转换成 word，亦或者通过 ODR 识别不就可以解决了吗？直播中鲍捷老师告诉大家：并非如此简单。想象与现实间的差距是不容小觑的。对金融领域知识图谱的构建来说，其难不在于“大”、“多”，而在于“深”。

而深数据给我们带来的这些困难，我们可以怎么办呢？在接下来的分享中，鲍捷老师结合自己与团队在金融领域知识图谱构建与应用的多年经验，从深度文本分析、深度领域建模与深度场景约束三大解决方法给大家一些实践之道。

• 深度文本分析：无论是篇章中包含的复杂语义关系，还是表格中变化多样的陈述方式，对 PDF、Word 这些文档中需要进行复杂、深度、细粒度的语义分析与理解时，都需要深度文本分析的处理。

• 深度领域建模：想要做好金融文本分析，没有深度领域的建模也是不行。这一过程中也会有各种问题需要深入解决，如根据业务规则，如何选择正确的数值；如果只看表面数据没有业务逻辑也可能无法正确处理问题。

• 深度场景约束：在深入场景中，我们还会面临稀疏标注、快速冷启动、定向优化、可解释性等问题。

在业务中，出现这些问题了，有哪些解决思路呢？如何能利用当下有限的资源解决尽可能多的问题呢？

问题已经发现了，我们可以有哪些解决方法呢？

首先，要先说明的一个观点是：我们今天讲的内容不是要反对深度学习，而是与之相反，我们要在实际中采取融合多种的方法，如 DeepQA 和 AlphaGo 的解决思路与架构，把一个问题仔细分解成几百个小问题，对每一个小问题选择合适的解决方法，再组合到一起。

这也就引出了我们今天分享的主题——深数据需要一把柳叶刀，这把柳叶刀的核心思想。这些要点在具体业务中如何实现，大家可以在鲍捷老师的分享中再深入学习。

鲍捷老师对篇章识别模型（SamartChapter技术）、表格分析（SmartTable技术）、基于 XBRL 规则进行财务数据自动化校验、稀疏标注（小样本学习）、快速冷启动、定向优化等问题的技术解决思路为大家做进一步的分析与讲解。

扫码直接观看【知识图谱与认知智能】论坛回放视频

,