AI发展快速,最适合的应用场景,应该是游戏了。光是NPC的问答、选项,就有很多可以操作的空间。本文从游戏行业出发,分析了问答机器人的实现原理和语料的经验,供大家参考。

随着AI这两年的快速发展,游戏厂商跃跃欲试如何让AI融入游戏。

半年前,我们也在游戏内嵌社区中,上线了一款以大语言模型为核心打造的问答机器人,旨在满足玩家快速获取攻略的需求。

这篇文章,将以游戏行业产品经理的角度,分享这款问答机器人的实现原理,及其语料的制作经验。

一、为什么需要问答机器人

问答机器人所落地的游戏,是一款三国策略类游戏。游戏中玩家被随机分到魏蜀吴中的一个国家,并通过一系列玩法攻城略地,扩展疆土。玩家可以招募各色三国英雄,并给英雄搭配不同装备、学习不同技能以提升战力,并可以组建不同的英雄阵容去挑战别的玩家以及掠夺别国的城池。因此,游戏玩法的自由度给予了玩家很多策略探索的可能。

起初,我们只是搭建了一个问答社区,供用户发表问题与分享攻略心得。随着玩家人数增加及赛季的深入,玩家对攻略的需求日益明显。官方发布的攻略,不一定能满足玩家快速获取攻略的需求。有时候玩家只想找一个答案,却要看完一整篇攻略。因此,我们想通过智能问答机器人的形式,满足玩家快问快答的痛点,以提升玩家的游戏体验。

我们的智能机器人名为“诸葛先生”,以H5的形式开展对话。对用户来说没有复杂的功能,只要提问,机器人就会回答。

(页面样式这里用原型图代替了哈)

二、机器人技术原理:大语言模型RAG的应用

在介绍问答机器人的原理前,先说一个前提,就是我们的大语言模型的语料库中,有一种语料是QA形式的,即一问(question)一答(answer),与一般的段落形文章有所区别。关于语料库的介绍,下边章节会继续细说。这里将继续讲机器人的运行原理。

如下图,在用户提出问题后,我们的机器人分有两个答案输出逻辑。首先,用户提问的问题都会先进行内容检索,通过检索模型检索出与用户提问相关的内容。当检索到用户提问有匹配的QA时(即玩家提问匹配到语料库中预设的Question),则程序会直接输出Answer;另一种逻辑是,当检索模型没有检索到匹配的QA,那程序就会继续检索其他内容(如文章段落),并产出一条带内容的提示词(prompt)输入到大语言模型中,由大语言模型生成答案。

举个例子,假设用户提问了“赵云怎么培养”,则程序会通过检索模型,先检索是否存在与“赵云怎么培养”接近的question,存在则输出对应answer,否则找出“赵云培养”相关的内容。我们比拟程序找到的相关内容为AABB,此时给到大语言模型的提示词(prompt)就是:“AABB,请根据上述内容回答:赵云怎么培养。”大语言模型则根据上述提示词生成答案。

为什么我们不直接使用大语言模型,而是前置一步加入检索模型呢?

我们知道,大语言模型基于神经网络模型,使用大量的语料库进行训练,比如互联网上的大量文本数据。因此,大语言模型能高效准确地回答通用知识类的问题。而游戏属于专有领域,如何让大语言模型直接回答专有领域知识,则它给出的答案必定会差强人意(答非所问或是回答不出)。因此我们会先前置一步进行内容搜索,通过内容来约束大语言模型的生成。这样的技术逻辑也称为RAG(Retrieval-Augmented Generation,检索增强生成)。

RAG其实就是对大语言模型的检索能力及联想能力的外扩,让大语言模型在可控范围内生成更准确高精的回答,尤其适用于专有领域的问答工具。RAG的原理如下图:

RAG 系统的起点一般是一个文本文档的语料库,简单看起来是这样的: 把文本分割成块,然后把这些分块嵌入到向量与transformer编码器模型,把所有这些向量建立索引,从而查询出与用户提问相关的上下文,最后创建一个带上下文的大语言模型提示语,让模型回答用户的查询。

我们可以对比有无检索模型对回答的差别:

大语言模型同样是ChatGPT3.5,提问“赵云要怎么培养”,单纯使用大语言模型,而没有检索模型的约束时,回答的内容就和游戏不沾边(左图)。而使用了检索模型,让大语言模型的回答就完全贴合游戏了(右图)。

三、问答质量的打磨调优

为了提升机器人的回答准确率。我们的调优有几个方面:

增强对用户提问的理解

对于用户的提问,除了分词切割,我们还有错字甄别、同义词判定等逻辑,希望程序能尽量清晰理解用户的意向。

增强检索模型的召回质量

在众多语料中如何找到最匹配玩家的内容呢?我们的检索算法,会在对用户提问进行分词后,会先用BM25算法根据关键词对文档进行第一次评分,然后根据评分阈值提取top-k文档进行第二次评分,还有问题和文档稠密向量的相关性评分等。每一步都可能影响检索的内容及LLM的回答结果。

选择更智能的语言模型

机器人上线初期,使用的模型是国内的ChatGLM2.0。但通过拉取用户的实际问答数据,我们发现答案质量并不理想,答案中存在较多答非所问、胡编乱造的问题。并且在多次调优检索模型后(提高召回文档的相关性),答案质量仍然不佳。

于是我们考虑更换大语言模型。我们找来了两款智能体做对比,分别是ChatGPT3.5及Google旗下的Gemma。三者对比后我们发现,ChatGLM2.0的幻觉问题较其他两个模型会更为明显。意思就是,如果检索模型召回的文档中不存在用户提问的相关内容(相关性低),则ChatGLM2.0会一本正经胡说八道。即便是检索模型召回的文档中有用户所需的内容(相关性高),ChatGLM2.0也可能会回答失准。

最后我们选择了ChatGPT3.5。对比下来,ChatGPT3.5在对话生成的流畅度、连贯性以及上下文理解方面的表现都更出色,能够生成更加精准和自然的回答,对于无法回答的问题,也会更直接地告知用户它不清楚。

四、语料的构成

如果说模型是问答机器人的肉躯,那语料就是血液。语料足够多,覆盖面足够广,问答机器人才会更具活力。

我们的语料有几个部分构成:

  • 游戏内所有呈现给玩家的文案,包括道具名称、说明及玩法简介。这类内容属于短内容,只有单个句子或单一段落。
  • 发布于官网、论坛的游戏攻略。这类内容属于长内容,由多个段落构成。
  • QA问答对。一问一答的固定内容。

如前所述,我们机器人分了两个答案输出逻辑,如果检索模型命中QA,则会更快给玩家产出答案。基于此,我们加大了QA问答对的产量,以提升问答效率。QA来源于玩家的真实提问,我们提取了高频问题,以及部分刁钻的提问,做成了问答对。

制作问答对比较费人工,因为answer都是人工写的,有时候还要玩一下游戏验证写的answer是否正确。为了节约工时,我们又借用了AI工具协助我们生产问答对。这里AI工具的作用不是帮我们快速生成答案,而是提前生成玩家可能问到的问题并产出答案。我们给AI喂入上述语料中的2-攻略长内容,并让AI根据文章内容中生成QA。不过,虽然生产速度提高了,但内容的实用性却并不高。AI生成的问题并不像玩家的提问,更像是老师出的考题,需要再二次修改问答对的内容。因此,目前的问答对维护还是集中在人工生产。

五、问答机器人的未来创想

我们的问答机器人还有很多优化空间。目前,虽然它在提升玩家体验方面已经取得一定成效,但仍存在一些需要改进的地方。例如尚未开发连续对话,玩家无法追问,造成对话交互不够自然流畅。此外,随着游戏内容的不断更新,我们的语料库也需要持续地维护和扩充,这也是需要不断消耗人力的工作。

不过我相信,问答机器人将在未来的游戏世界中扮演更加重要的角色,为玩家带来更加精彩和便捷的游戏体验。

欢迎在评论区一起探讨问答机器人的更多可能~

作者:杨桃,游戏行业B端产品经理,爱用文字记录观察及想法。

本文由 @杨桃 原创发布于人人都是产品经理,未经许可,禁止转载。

题图来自 Unsplash,基于CC0协议。

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。

友情提示

本站部分转载文章,皆来自互联网,仅供参考及分享,并不用于任何商业用途;版权归原作者所有,如涉及作品内容、版权和其他问题,请与本网联系,我们将在第一时间删除内容!

联系邮箱:1042463605@qq.com