浙江大学计算机学院宋明黎教授团队联合浙江大学附属第一医院章京教授团队，依托丰富的数据和算力资源，组建起一支计算机+医学的学科交叉团队，致力于用AI技术赋能临床精准诊断，提高医生工作效率和医疗质量。

近日，团队发布视觉与语言模型融合的AI病理助手——OmniPT。该病理助手已在浙大一院病理科多个高发病率癌症开展临床验证，1-3秒内就能锁定病理图中癌症病灶。

“与普通X光或CT的读片相比，病理诊断的难度在于依据复杂多样的关键组织结构进行精准定性及定量分析。”浙大一院病理科副主任医师张秀明介绍，癌症组织的单个切片虽然只有指甲盖大小，但多切片的扫描图像有着惊人的尺寸——数10亿像素，是手机照片的数千倍。

上亿个细胞图像背后隐藏着无数的生命信息和医学奥秘。医生在分析病理切片时，需要耗费大量时间观察微观细节，在长期读片的工作中，容易出现视觉疲劳。而且早期癌症的病变细胞数量少，漏诊也是医生们最为担心的问题之一。

AI助手的加入，无疑为病理科医生和病人们来了新的希望。宋明黎团队研读大量的医学文献，与章京团队长期深入交流，逐渐构建起病理学的知识框架。然而，如何将人类的知识理念转化为机器能够“听”得懂的语言？

团队成员们归纳癌症病理结构的形态特征，在图像上进行精细的标注和分类，反复打磨细胞检测、组织分割等算法工具，磨合人-机的沟通方式，4年间，从无到有建立起多个癌症病种的诊断分析专用模型，OmniPT就此诞生。

为了提高推理效率，OmniPT在处理超大尺寸病理图像时采用了一种跨层级的快速锁定技术：先抓取大范围的可疑区域，再对这些可疑部分逐级放大，分析细节。

软件学院副教授冯尊磊说，这种“抓重点”的读图模式模仿了病理科医生在临床诊断时的思路，实现病理智能诊断分析效率的大幅提升。人工耗时至少10多分钟分析的图像，OmniPT只需要1-3秒就能快速锁定病灶区域。

经过无数次的尝试和优化，OmniPT突破了超大尺寸病理图秒级推理、精准分析的难题，在胃癌、结直肠癌和宫颈癌等十余个高发病率癌种上取得了95%以上诊断准确性，为病理科医生带来了强大的助力，也为患者争取到了更快、更准的诊断结果。