请选择您感兴趣的产品

得助大模型平台

模型训练平台

一站式服务简化大模型训推评全流程
智能体平台

高效、低成本构建大模型企业级应用

知识管理

财富助手

为财富顾问提供一站式智能问答服务
知识助手

组合式AI打造大模型企业知识助手

智能客服

全媒体呼叫中心

全渠道全媒体、一站式AI+呼叫中心
语音机器人

外呼大模型加持，听得准确说得自然
文本机器人

即时文本对话，自研知识引擎
智能陪练

大模型拟真，千人千面沉浸式AI对练

智能运营

音视频服务平台

全场景自研AI+RTC实时音视频服务
OCR识别

高精度、高安全的图文检测识别服务
智能RPA

AI+RPA深度融合，赋能企业自动化
多模态防伪

全链路生物数据核验，守卫安全防线
多模态质检

大模型赋能合规，金融级多模态质检
对话式BI

自然语言交互，可视化智能分析数据

企业出海

全媒体呼叫中心(海外版)

企业跨语种无界沟通，赢占国际市场
文本机器人(海外版)

多语言国际服务，跨时区沟通无障碍
语音机器人(海外版)

多语言智能交互助力全球营销与服务
智能质检(海外版)

大模型赋能国际企业多模态质检服务

智能营销

企微SCRM

智能营销服引擎，高效转化私域流量
营销平台

打通营销全链路，赋能企业增速业务
企业直播

打造超低延迟、超稳定的直播平台

其他

通用人力外包

为企业提供多场景、高质量专业服务
线路

安全稳定、应用多场景的线路服务

描述具体需求(选填)

欢迎微信扫码咨询

中关村科金得助智能-小得

跳过

完成

智能填单功能：大模型自动填写工单准确率达95%

公司新闻

2024-03-28 15:27:42

作者：超能AI

阅读量：1212

文章目录

文章摘要：目前，中关村科金得助智能填单系统已正式上线得助智能联络中心，并向广大客户开放使用，帮助客户提升坐席的填单效率，并更详细的记录通话中的信息。在多个项目应用中，得助智能填单都取得了预期效果，在帮助运营人员提升工作效率、节省企业运营成本等方面展现出明显优势。

基于大模型优秀的问答、总结和话术生成能力，主流联络中心纷纷接入大模型升级智能知识库、智能工单、智能陪练等应用。

以智能填单为例，借助大模型能够轻松从对话中提取出实体信息、判定对话意图、识别情绪、生成沟通摘要等。通过简单的Prompt，完成工单字段的提取任务更是轻而易举。

然而在初期效果测试中，大模型获取的工单填单结果对比客服的真实填写结果准确率不足30%，且大模型的处理速度也达不到业务方提出2秒内返回结果的要求。

大模型并非传统的NLP技术，无法依靠业务标注数据进行自主优化，那么大模型的调用方在业务应用中，该如何进行使用效果优化成为了现实考题。

现实考题，五大因素影响填单可用率

提不准

众所周知，工单填写对字段有着明确的格式要求，尤其是选项或统计类的字段，需要大模型严格按照格式输出指定结果。

幻觉问题

例如，若需要判断客户的注册渠道，大模型必须严格返回“支付宝”三个字段。而现实情景中，大模型往往返回连篇累牍的描述，导致工单系统无法收到准确的结果。

此外大模型不仅“啰嗦”，还容易“胡编乱造”，返回的结果是经过“理解”、“联想”加工的，这在对容错性有着严格要求的现实业务场景中是不能被接受的。

缺乏业务背景

在真实业务场景中，客户和坐席之间的对话内容往往无法清晰、明确地对照工单中所需记录、填写的信息标准发生。例如，坐席能够根据消费者的模糊描述，“使用的是一款能够进行AI画脸的产品”精准匹配出对应的产品。而大模型则难以做出正确的判断，无法胜任绝大多数的工单填写任务。

缺乏判断能力

更大的挑战是，在退订业务等双方存在复杂拉扯的对话场景中，大模型容易按照任意一方的“片面之词”判定最终结果，而不是根据业务逻辑得出准确结论。例如，客户申请退回三个月的费用金额，客服表示只能退回一个月。

如果客户同意，那实际双方达成一致的退回金额为一个月的费用，而非三个月。如果客户表示不同意，则实际退回费用为0.如果大模型没有“理解”这一判定标准，则最终退回的金额会在一个月或三个月中随机生成。

填太慢

实际业务中，坐席的工作节奏非常快，需要在通话进行中，2秒内完成工单内容的填写，通话结束后5秒内完成通话小结的填写。如果大模型不能比坐席的填写速度更快，那么大模型应用的意义与价值将大打折扣。

实时场景的时延问题

坐席辅助场景要求低时延，而智能填单旨在自动帮助人工填写工单，如果填单时间超过2秒，便基本失去了帮助坐席提率的可能。坐席不可能在对话过程中，等待大模型输出结果后再询问客户下一个问题。但即使只调用一次大模型进行小结，平均时延也在5秒左右。

而通话会话小结的评价指标为：要素完备性、要素准确率、业务接受率。若对会话小结中的细分场景、业务细则、专有名词等方面有更高的要求，便需要在通用格式的会话小结中再补充业务要素。这就需要多次调用大模型，智能小结的时延将会达到10秒左右。

连接调用不稳定产生漏损

大模型调用会有失败的情况，就像有时会遇到偶发的不响应情况，这在C端应用中用户尚可容忍，但是在企业服务应用中，尤其是嵌入核心作业流程的场景下，业务对于偶发的漏损情况则较为敏感，小结的漏损率会在5%左右。

四大路径，巧妙解决准确率与时效性问题

作为领先的对话式AI解决方案提供商，中关村科金【会话洞察产研组】始终致力于打破技术应用瓶颈，为用户带来更加卓越、智能的体验。经过一年的研究和内部测试，我们有了一些新的解决方案，或许正是众多企业苦苦找寻的答案。

考题一大模型应用的准确率与延时如何改善？

路径一：小模型对输出结果进行验证以解决幻觉问题

最初，大多技术专家通过JSON对大模型的输出进行限制，以确保大模型每次输出的结果都尽可能满足业务要求，但仍存在一定概率的幻觉问题。为此，中关村科金另辟蹊径，在大模型输出结果后，叠加一层相似度判定模型，让大模型的输出结果对齐到预设的选项中。

在此基础上，中关村科金还增加了对大模型输出结果的各类格式转化，以满足将大模型输出内容转化为工单所需的数值、百分比、日期、时间等各类字段类型的需求。

路径二：让运营人员便捷地将业务背景“录入”大模型

中关村科金利用不同行业的客户数据，对Prompt进行了针对性的优化，并在自研的模型上进行了微调，以确保大模型在不同行业、不同场景中，拥有通用的“领域知识”。与此同时，我们还通过对常见的智能填单场景进行抽象，让用户可以便捷地输入企业专属知识。通过将运营人员输入的信息与经过验证的Prompt进行拼接后，大模型的数据准确率最高提升到了95%以上。

在复杂的对话场景中，通过对每一轮的分析结果进行修正，大模型不仅能够从对话中区分出渠道，还能够准确判断出前述举例中，最终需要退还给客户的正确金额。此类需要一定逻辑推理的场景，大模型智能填单的准确率也能稳定在85%。

此外，借助预设的字段，不仅能够准确判定返回退款的金额，还能够根据实际对话内容确定返回退款的比例、退回多少个月的费用等，覆盖对话总结、业务办理情况收集、用户反馈问题收集、用户需求收集、用户信息收集5大类型的智能填单需求。

考题二大模型应用时效性怎么保障？

路径一：分布式分析实现“抢跑”

面对通话结束后才填写的会话小结，中关村科金进行分步拆解，在通话开始后先执行不依赖全部通话内容分析的任务，每进行几轮对话，就进行一次分析，从而将分析拆解到对话进行中“悄悄”完成。通话结束后，只需执行剩余需要依赖全部通话内容的分析任务，从而将会话小结的智能填单时间从10秒缩减到了平均3秒内。

路径二：更小的领域大模型带来更快的速度

在时效性要求更高的工单场景，中关村科金使用了自研的得助大模型，针对电销、客服等更聚焦的场景训练的领域大模型，实现了更小的参数、更高的准确率。同时，由于训练时已具备了对领域的通用知识，无需多次调用大模型完成业务录入，便可实现1~2秒内稳定返回结果的应用成效。