云知声受邀出席2023未来医疗科技大会，解密生成式AI在医疗场景中的落地应用

11月30日-12月1日，2023未来医疗科技大会在合肥举办。大会以“无人之境”为主题，汇聚了近百位大咖嘉宾，聚焦智能医疗设备、基因测序、生物技术、生成式AI与医疗场景的结合等细分领域，为行业带来一场产业思想交流盛宴。

作为大会核心论坛之一，生成式AI创新场景应用论坛于12月1日如期举行。行业专家学者、头部 AI 企业、顶尖投资人齐聚一堂，深度解读生成式 AI 最新应用和未来发展机遇。云知声IoT事业部、智慧医疗事业部总裁谢冠超应邀出席论坛并发表《生成式AI在病历生成场景中的应用》主题演讲。

深耕人工智能产业多年，云知声一直密切关注AI前沿技术在医疗领域的创新应用。入局智慧医疗赛道以来，云知声针对医疗行业各场景痛点，陆续研发推出了语音电子病历、智能病历质控、单病种质控、智能医保审核等多款智慧医疗产品，覆盖医政医管、临床诊疗、医保管理、患者服务等多个医疗业务环节，山海大模型发布后，云知声更是全面升级了医疗业务线各产品智能化水平，发布门诊病历生成系统、手术记录撰写助手、商保智能理赔系统等医疗产品应用，实现从助手到专家的跃迁。

现场，谢冠超基于过往云知声在智慧医疗领域的技术探索与经验积累，深度分享了生成式AI在病历生成场景中的应用。

PART 1

门诊病历生成系统：山海大模型在医疗场景的落地应用

门诊病历是对患者疾病发生、发展、转归、检查、诊断、治疗过程的记录;是临床实践工作的总结，是探索疾病规律的依据，也是进行临床科研和知识发现的宝贵资料。

规范和完善病历质量，对预防医疗纠纷发生，保护医务人员的合法权益，规范门诊医疗行为、改善医疗服务、提高医疗质量具有重要意义。

然而，对于门诊医生而言，每个门诊单元(四个小时)要接诊30-40个患者，平均每个患者6-8分钟;平均每份病历150-200字，录入时间为1.5min-2min。在接诊工作、病历录入工作如此繁复的情况下，很难完成高质量的门诊病历。

为解决这一痛点，云知声以山海大模型为技术底座，应用前端声音信号处理、智能语音识别等技术，结合庞大的医疗知识图谱，打造门诊病历生成系统，一键生成门诊病历。

具体来讲，云知声先是通过噪音抑制、回声消除等技术，精准捕捉医患对话并对其进行角色分离，再依托山海大模型，智能抓取对话中的关键问诊信息，对其进行标准化、结构化处理，从而形成准确、简洁的医疗摘要，经医生审核修改后，即可生成符合病历书写规范的标准病历。

在云知声门诊病历生成系统的助力下，门诊病历的规范性、完整性大幅提升，病历内容更加详实、准确，医生只需在系统生成的病历上稍作修改即可完成最终病历，有效提升门诊效率，切实为医生减负的同时，也大幅提升了患者的就诊体验。

作为支撑云知声门诊病历生成系统的技术底座，山海大模型在医疗领域的表现颇为出色——MedQA任务达87.1%，超越Med-PaLM 2;临床执业医师资格考试达523分(总分600分)，超过99%的考生水平;在 CCKS 2023 PromptCBLUE医疗大模型评测中，云知声也凭借基于山海大模型孵化的UNIGPT-MED 模型获通用赛道一等奖。

亮眼成绩的背后，是云知声对模型专业能力的极致打磨。针对低容错率的医疗场景，云知声从预训练、微调、推理、知识插件机制四个方面发力，打造更“懂”医疗场景的大模型：

● 预训练阶段

基于山海大模型通用底座，利用海量医疗语料(包括医疗教材，临床指南，医院病历等)做增量预训练，提高模型的医学语言理解和生成能力。

● 微调阶段

优选历年医学考试题目对山海医疗基座模型做微调，提高模型的医学考试能力。

● 推理阶段

利用思维链技术注入解题思路过程，提高模型的医学推理能力。

● 知识插件机制

通过使用多年来积累的医学知识图谱，可以动态地检索与问题相关的医学知识。这些知识可以作为背景知识，与大模型中的参数化知识相结合，从而提高模型在医学领域的知识水平。

目前，基于山海大模型打造的门诊病历生成系统已在北京友谊医院落地试用，也先后荣获北京市首批人工智能行业大模型应用案例、2023北京人工智能行业赋能典型案例等荣誉奖项，大模型技术实力与场景落地能力得到业界高度认可。

PART 2

“做比想要困难很多”，病历生成系统落地过程中面临的实际挑战

从产品设想，到落地实施，一个产品的诞生从不是一蹴而就的。在门诊病历生成系统的落地过程中，云知声主要面临以下挑战：

一是诊室环境复杂。在我们理想的问诊场景中，每个诊室是一医一患的面对面沟通。而在实际场景中，每个诊室可能有多位医生同时坐诊，且部分患者需要家属陪同。而在问诊过程中，医生有时需要跟患者接触，位置会随之移动，这也为语音收录和角色分离增加了难度。为解决以上问题，云知声门诊病历生成系统的语音方案针对不同诊室环境，采取灵活定制的方式，最大程度上确保了麦克风的拾音效果。

二是医患对话不规范。存在医疗表达难理解、医患对话重叠、医患对话中有第三人(陪诊)等难点。为适应这种不规范，云知声针对真实医患进行场景化的识别模型训练，并采用分声道拾音技术对医患对话进行识别，识别后“重新组合”医患对话。

三是输出内容不受控。虽然大模型对医患对话的理解和摘要是正确的，但患者表述涉及多个时间线，可能会有多次重复，甚至是前后矛盾，大模型需要判断和选择正确的内容给予输出;同时符合事实的正确摘要也不能直接输出符合书写规范的病历，这一步的生成也是不受控的，大模型需要在理解输入的基础上，结合严格的病历书写规范进行输出。

基于对医疗场景的深刻理解和多年的技术、数据储备，云知声能够快速挖掘医疗场景落地过程中的具体痛点并给出解决方案，这也是门诊病历生成系统得以迅速落地的重要原因。

门诊病历生成是整个病历生成的一个环节，而不是全部;是一个开始，而不是结束。

面向未来，云知声山海大模型将从医患对话扩展到医生对话场景，从对话扩展到独白场景，从语音输入扩展到全模态全数据输入，进而覆盖全部病历文书撰写场景，帮助医生摆脱繁重的文书撰写工作，减轻医生压力的同时，也让医生有更多的时间和精力去服务患者，全面提升患者就诊体验。

大会期间，云知声门诊病历生成系统、手术记录撰写助手等医疗产品应用悉数亮相展会，充分展示了山海大模型落地智慧医疗领域的最新创新成果，让与会者看到了生成式AI与医疗场景结合的更多可能。