智慧眼发布全球首发多模态医疗大模型砭石 | 速途网_天天播报
(资料图)
速途网讯 今日，智慧眼砭石大模型发布会举行。智慧眼创始人、董事长邱建华，人工智能研究院院长Dr. Andrew Zuo出席，现场展示了砭石大模型多项核心技术能力，并发布智慧眼在医疗健康行业应用成果。
现场，邱建华实测了砭石的智能问诊、辅助阅片、面诊舌诊、生理指标预测、睡眠监测五大技能，多项诊疗建议跃然于屏，充分展现了砭石在中西医相结合，多模态相融合的全新交互体验。
据介绍，智慧眼在构建砭石大模型的过程，实现了以下三方面创新。
一、采用知识图谱与大模型相结合的技术路线，提升医疗诊断准确性。我们知道，知识工程和大模型是当前实现认知智能的两个主要的途径，两者各有优劣，医学领域非常尊重循证，在医疗决策中将临床证据、个人经验与患者的实际状况和意愿三者相结合。我们这里，通过在训练过程中加入知识图谱对训练过程进行知识增强，结合RLHF技术，在500亿参数条件下比单纯使用大模型技术，医学问题回答准确度提升近10%。
二、隐私计算条件下的大模型联邦训练，充分释放高质量数据要素价值。众所周知，高价值医疗数据都是在医院等高价值行业用户手中，如何实现这些高价值用户的敏感隐私数据的脱敏，真正做到数据的“可用不可见”、“数据不出域”安全应用是极具挑战性的问题。在这里，我们解决了保护隐私的分布式知识迁移和联邦图谱推理的问题，可以实现分布式数据孤岛的知识汇聚，以及基于分布式数据的联邦大模型训练，支撑了用户数据价值的释放。
三、医疗领域多模态视觉处理技术，实现多样化任务。砭石医疗大模型，它是医疗领域多模态生成式预训练大模型，能够支持医疗领域多模态的输入，包括医疗领域文本、图像、视频和音频形式的输入，具体形式覆盖智能问诊，辅助阅片，面诊舌诊，生理指标预测，睡眠监测几个方面，它的输出是结构化的文本，包括健康状态的简要描述、诊断描述和治疗建议等，可以方便医疗机构更好地理解分析，提高了医疗信息处理的效率和准确性。
具体来说，在文本方面，辅助医生和药师与患者对话；在视频方面，通过捕捉人脸表面周期变化由于心脏跳动所带来的面部变化来实现对心率、呼吸率、心率变异性、血压、血氧等生理指标测量；在图片方面，统一范式能够进行高准确度的医学影像阅片和面诊舌诊；在音频方面，实现基于对睡眠音频数据的分析来检测用户的睡眠情况。
标签：
