中关村科金张杰：央国企落地大模型的关键考量及应用探索实践

6月20日，中关村科金成功举办“AI 赋能·产业焕新，打造央国企新质生产力”央国企大模型（北京站）闭门研讨沙龙。围绕大模型在央国企领域的应用范式、典型实践等话题，与来自电力、能源、航天、纺织、煤炭等行业的60余位央国企专家，共探央国企数字化转型战略机遇。

中关村科金技术副总裁张杰博士现场分享了《领域大模型在央国企的应用探索》主题演讲。

本文对张杰博士的演讲内容进行了编辑整理。

领域大模型的解读思考

不同的人对大模型有不同的理解，我认为大模型是一个用神经网络结构化方式表达的知识库。

这个知识库里面储存的是什么呢？是我们的日常语言和世界常识。和传统对话引擎不太一样的地方是，大模型脑量特别大、记性很好，可以记住很多常识性的知识。这也是为什么我们在和大模型交流的过程中，发现它比以前的人工智能，能够实现更好的语言理解的原因。

过去AI对世界常识的理解不是特别清晰，有时前后跨度比较长，AI就会忘了你这句话里面说的“他”是指张三还是指李四，容易出现指代消解和世界常识的错误。

现在的大语言模型脑量足够丰富，能够理解人类语言和世界常识，甚至能够举一反三，这种涌现的能力得益于两个方面的技术创新，一是Transformer网络结构，能够解决长距离语义关联的问题。

简单地解释一下什么是Transformer，它分左右两个部分，左边是编码器，右边是解码器。编码器用于压缩，比如有一个人用半小时描述一件事情，这些内容一个字一个字地进入我的耳朵，我的大脑就是一个编码器，把这些字和语义一层一层地压缩，压缩到最顶端的时候，半小时描述的事件只占了很小的一个片段，是极度压缩的一个意识流。解码器再按照我的语言风格把它重新组织描述出来，按照时间、地点、人物、起因、结果、来龙去脉等，在大脑极度压缩后，对意识流进行解码，这就是Transformer网络结构。

另一方面是得益于Scaling Law，即规模法则。通过大量的算力，把海量的知识一点一点放到大模型参数的网络结构里。现在的大规模语言模型比原来小模型智能程度更高、记性更好、理解能力更强，让我们看到了强人工智能的可能性。

我觉得大模型并不等于强人工智能，更像是AGI的一个里程碑。整个强人工智能大致可以分为四个阶段，大语言模型只是解决了第一个阶段语言能力的问题，语言理解能力和语言生成能力逼近人类，甚至是个别场景下超过人类。

接下来还有三个阶段的问题需要去解决。一个是事实判断，大模型容易产生幻觉问题，经常一本正经地胡说八道，或者只能解答高频问题，对长尾的碎片事实知识比较缺乏，这是第二阶段需要解决的问题。现在我们通过外挂向量知识库，可以解决部分事实判断的问题。

目前学术界研究的另一个热点，是使用大模型或者Agent技术进行过程判断，输入一个目标或事件，大模型反馈应该分成哪几步去完成，每一个步骤的因果推断是怎样的，使大模型具备问题自主拆解能力，从而进行过程生成。小学加减乘除的算术题大模型可以一步一步给出解答，但稍微再复杂一些就难以完成。

未来若想让大模型具备独立自主的心智，或者是应用于更多泛化场景，就需要让大模型能够进行价值判断。不可避免的一个步骤是要对大模型进行规范约束，在现实世界当中不断地和人类或者环境做交互。如同要允许小孩犯错，才能够在成长过程中不断通过人类反馈具备价值判断能力。

企业落地大模型潜在的应用场景也非常多，按照两个维度、四个象限，横轴以专业性强、弱，纵轴以场景容错性高低进行划分，可以发现ChatGPT选择了一个通用性与容错性都很强的闲聊场景。除非是违反公序良俗拒绝回答的问题，ChatGPT在闲聊中基本上没有接不住的话题，有时候碰到一些长尾的、碎片的事实知识，即便给出一个错误答案，也没有什么太大影响。

因为闲聊的容错性是非常高的，但是在企业应用时，或多或少的都会有一些企业特性知识，在一些严肃的应用场景下，大模型的专业性、安全性、经济性都面临着巨大挑战。

现阶段大模型仍然面临一个“铁律”，通用的不好用，好用的不通用。要让大模型技术在企业里落地，第一个要解决的问题是使其具备领域专业性。

最好的破冰点是让大模型形成企业内部的统一知识库，不管是原来已经加工好的结构化知识，或者是半结构化放在大数据平台里的数据，甚至是其他没有被唤醒和激活的非结构化数据，比如各种各样的产品介绍材料、PPT、PDF、音视频等都可以灌入大模型，分门别类设置不同的权限，形成一个企业内部统一的企业知识中台。

企业知识中台不是一个孤立的场景，可以和企业业务系统构建各类基于知识的应用场景。过去一年多时间，我们走访、服务了很多央国企客户，发现大家都面临着一些共性问题，除了大模型技术的安全合规、技术可行性之外，还有一方面是我们应该选择什么样的大模型？

现在大模型迭代速度快，需根据场景需求，兼容多个厂家、多个版本、多种参数规模的基础大模型。我们建议企业不要只绑定于某一款大模型，要考虑到底层基础大模型的灵活性，将来可以根据不同场景、需求，或者不同的预算规模，灵活地替换底座。

第二个问题是不要认为大模型什么都能干、上来就能干得很好。我们在解决具体应用场景时，不只需要一款大模型解决所有问题，有时还需要叠加小模型或非AI技术手段，形成组合创新。

第三是在应用过程中，新场景下冷启动阶段需以人机协同的方式保障准确度，使用过程中形成模型自迭代的反馈机制。随着应用不断迭代，从日志里挖掘正确样本，让大模型越用越聪明。

第四是在实际应用中根据不同场景需求，选择不同参数规模的模型，降低算力资源消耗，可以平衡响应时延，提升投入产出比。

还有一点是安全可信，我们接触过的企业基本上都会考虑怎么实现安全可控，避免生成涉黄、涉黑的答案。这需要对模型注入合法合规与安全隐私能力，遵守内外部规则制定，提升拒绝能力。

最后一点也是非常重要的一点，大模型技术不是一蹴而就的，需要不断地迭代、更新，厂商需要具备大模型自主运维能力，可以通过微调提示词大幅提升基础大模型的特定场景准确度，数据是其中关键。只要数据量足够多，质量足够好，便可以灵活替换、定制化开发底层大模型。

基于过往多个大模型项目的实施经验，中关村科金形成了一套总体技术框架，概括为三个步骤、两个算法、一个平台。

三个步骤是指学、用、教。刚开始大模型需要学习领域知识，相当于一个智商比较高的高中生，高考完了去学习领域或者企业里面的专业知识，学习完成后由高中生变成了研究生。在实际应用过程中，要通过埋点技术，或者是大数据采集加工技术，整理企业内部的指令数据集教给大模型，让其越用越聪明。

怎么把通用大模型变成领域大模型，有两个关键算法，一是原子任务定位，打开了大模型黑箱。另一个是分层微调技术，在数据有限的状态下做性能提升。

一个平台是指通过应用模板、组件集市、低代码平台，帮助运维人员借助技术组件自主应用、迭代大模型。

详细介绍下三个步骤。“学”主要是学习多模态文档中的显性知识，“用”是指业务专家的先验知识。在不同应用场景，业务专家反馈大模型在当前场景底下哪些话要说，哪些话不能说，解决某个问题应该按照什么步骤去解决，步骤从哪来。“教”是指从行为日志或业务结果中整理加工出数据集，指令数据集对企业来讲是最有价值的一部分。

另外是怎么把通用大模型变成领域大模型，或者是企业专属大模型，不是有了数据、有了算力，把数据往通用模型里一灌就可以。里边有很多算法，像人的大脑一样，有的地方负责语言，有些负责推理，有些负责音乐、绘画等，或者是抽象或者是情感判断。

怎么进行原子任务分解，把复杂的任务变成简单的任务，不同任务之间有着怎样的协同增益关系？可以通过NLP任务定位、分层微调与知识注入两个算法打开大模型的黑箱，提升领域专业性，增强某个具体场景、任务里的准确度。

AI技术手段怎么变成组合性技术，降低应用开发运维成本？大模型时代需要一个Agent平台降低创新门槛，缩短开发时间，营造更广泛的开发生态。中关村科金将过去十年间积攒的大模型和AI小模型技术，集中到一站式大模型训推及应用开发平台PowerAgent。

企业在应用大模型时也需要考虑的一点是，把以前各种各样的IT资产和大模型底层能力相结合，为将来内部IT产品或者是业务部门快速开发创新应用提供助力。

大家都能意识到，企业在应用大模型过程中需要积累内外部的数据资产。那么，哪些形式的数据可以资产化？我认为现阶段含金量最高的几类数据是企业内部各种各样的领域资料库、指令数据集、智能体Agent、应用场景下的提示词、以及Agent组成的工作流。

央国企的应用探索实践

接下来介绍一下我们针对不同场景发布的大模型应用，分别是知识助手、写作助手、培训助手、客服助手、营销机器人和合规机器人。

不管是央国企还是其他企业，或多或少都有自己的行业特性、专属的知识，但没有开发出相关应用，现在大模型可以基于统一知识库进度更快、成本更低地开发应用。

知识管理赛道第一阶段是文档管理，每个文档打标签，基于标签为内部员工提供推荐或者检索功能。第二阶段是利用知识图谱技术，把文档里面的知识分解得更碎，通过标注样本训练小模型来抽取实体和关系，用图数据库做存储。现阶段是利用大模型技术做句子级别的管理，用向量数据库做存储。

大模型语言理解能力和知识搜索效果更好、成本更低，不管是结构化数据库，还是文档、音视频材料，不同类型的数据都能够进行处理，而且不用大量人工标注就能够形成企业知识库，面向内部员工或者是下游业务提供搜索和文档应用功能，且支持助手类的应用，展现形式更灵活，可以在OA办公系统、企业微信、APP里以H5的方式展现，或者是在企业内部演示大屏中以数字人形态展现。

很多行业也有写作助手的需求。和通用大模型不一样的地方，很多企业在这个定向、狭窄的场景里，有着非常严格的写作要求，生成的文章要有专业性。为了保障效果，我们通过多轮交互提升专业性。

根据题目从海量的知识库里搜索素材，通过多轮交互告诉大模型需要用什么样的模板或者定制化生成一篇什么结构、语言风格的文章，及每个段落的要点。在文章发出前，需要大模型进行格式和特定领域规则的审核。这样大模型就可以短平快生成面向各个不同社交媒体，生成不同风格的文章。

培训也是很多企业使用大模型技术应用的场景。对于经常需要组织线下销售人员培训或员工流失率高的企业，现在可以把培训交给大模型完成。

基于不同形式的培训材料和培训要求，利用知识大模型快速抽取培训内容，针对学员能力画像，生成个性化陪练脚本，让学员随机遇到问题并灵活解答；既保证覆盖当前培训场景核心内容又能基于学员短板进行提升；通过数字人交互练习，在实际演练中提升学员的应变能力及专业能力。

很多行业都需要客服，把潜在的答案实时显示在坐席系统的侧边栏上，可以供坐席为客户快速提供解答。在一通电话打完后，原来坐席还要填写会话小结、后续需要处理工单，现在客服助手只需员工简单校验，便可形成自动化小结、工单填写，大量节约坐席宝贵的人力时间。

去年我们探索很长时间、用得比较好的还有使用大模型自动拨打外呼营销电话。以往营销电话的交互体验比较差，播报类的内容居多而且需要专业的话术师提前设定好话术流程。现在，大模型接话应对能力比较强，可以灵活应对客户各种场景，交互轮次越多成单概率越高

很多注重消保合规的企业，也可以借助大模型语义匹配能力更好地检查不合规风险。原来质检合规是通过设定关键词，但是有些时候用户或者是企业态度不够友好或者是骂人，不触发关键词的话这个坏样本是检测不到的。现在大模型语义理解能力更强，检测出一点点覆盖目标就可以发现。

中关村科金领域大模型能力得到很多权威机构和各界客户认可，我们首批通过了中国信通院可信AI模型能力部分的标准符合性验证，并获得当前最高评级4+级，自研的大模型算法也已通过国家深度合成服务算法备案，合规性和安全性获得国家监管部门认可。未来，中关村科金期待能够携手更多央国企客户，围绕人工智能等战略性新兴产业，加快发展新质生产力。