今天小编分享的科学经验：AI一键解析九大生物医学成像模式，用户只需文字prompt互動，微软UW等新研究登Nature Methods，欢迎阅读。
用 AI 大模型一键解析 MRI、CT 和病理学等九大生物医学成像模式。
不仅复杂、不规则形状对象能高精度识别：
而且通过对象识别阈值建模，模型能够检测无效的提示请求，并在影像中不存在指定对象时拒绝分割。
用户更是无需手动进行标注或边界框操作——
只需通过简单的临床语言提示指定目标对象，例如 " 肿瘤边界 " 或 " 免疫细胞 "，便能让 AI 准确识别、检测并分割影像中的相关区網域。
还可一次性同时分割和标记所有感兴趣的生物医学对象：
这就是来自微软、华盛顿大学等的研究团队最新发布的基础模型BiomedParse，已登Nature Methods。
医学影像的成像模式差异巨大（如 CT、MRI、病理切片、显微镜影像等），传统上需要训练专家模型进行处理。
而 BiomedParse，通过文本驱动影像解析将九种医学成像模式整合于一个统一的模型中，联合预训练处理对象识别、检测与分割任务。
无论是影像级别的器官扫描，还是细胞级别的显微镜影像，BiomedParse 都可以直接利用临床术语进行跨模式操作，为科学家和临床医生提供了更统一、更智能的多模式影像解析方案。
在分割不规则形状的生物医学对象方面，BiomedParse 相较传统模型表现卓越。通过将影像区網域与临床概念关联，相比手动框选分割精度提升 39.6%，提高了在关键任务中的可靠性。
目前，研究团队已将 BiomedParse 开源并提供 Apache 2.0 许可，相关演示 demo 和 Azure API 均已上线。
只需文字提示，精度超越 SOTA
为支持 BiomedParse 的预训练，研究团队利用GPT-4从 45 个公开的医学影像分割数据集生成了首个覆盖对象识别、检测和分割任务的数据集 BiomedParseData。
该数据集包含超过 600 万个影像、分割标注与文字描述三元组，涵盖64 种主要生物医学对象类型及82 个细分类别，涉及 CT、MRI、病理切片等九种成像模式。
通过 GPT-4 的自然语言生成能力，研究人员将散落在各种现有数据集中的分割任务用统一的医学概念和语言描述整合起来，让 BiomedParse 能在更大，更多样的数据中融会贯通。
在测试集上，BiomedParse 在 Dice 系数上显著超越了当前最优方法 MedSAM 和 SAM，并且无需对每个对象手动提供边界框提示。
即使在给 MedSAM 和 SAM 提供精准边界框的情况下，BiomedParse 的纯文本提示分割性能仍能超越 5-15 个百分点。
此外，BiomedParse 的性能还优于 SEEM、SegVol、SAT、CellViT、Swin UNETR 等多个模型，尤其在复杂不规则的对象识别上表现突出。
生物医学影像中的不规则对象一直是传统模型的难题，而 BiomedParse 通过联合对象识别和检测任务，通过文本理解实现了对对象特定形状的建模。对复杂对象的识别精度远超传统模型，且在多模态数据集中进一步凸显了其优势。
展望未来，团队表示 BiomedParse 拥有广阔的发展潜力，可进一步扩展至更多成像模式和对象类型，并与 LLaVA-Med 等高级多模态框架集成，支持 " 对话式 " 影像分析，实现数据互動式探索。
作者简介
论文共同一作及通讯作者均为华人学者，分别来自微软和华盛顿大学。
赵正德（Theodore Zhao），论文一作，为该研究作出主要技术贡献。
微软高级应用科学家，现主要研究方向包括多模态医疗 AI 模型，影像分割与处理，大模型的安全性分析。
本科毕业于复旦大学物理系，博士毕业于华盛顿大学应用数学系，期间研究希尔伯特 - 黄变换和分数布朗运动的多尺度特征，以及随机优化在医疗领網域的应用。
顾禹（Aiden Gu），论文一作。
微软高级应用科学家。本科毕业于北京大学微电子与经济专业。
其研究方向专注于医疗健康、生物医学，以及机器人多模态模型。代表性工作包括创建首个医学领網域特定的大语言模型 PubMedBERT，以及患者旅程模拟模型 BiomedJourney。
潘海峰（Hoifung Poon），论文通讯作者。
王晟（Sheng Wang），论文通讯作者。
华盛顿大学计算机科学与工程系助理教授，微软研究院访问学者。
他专注于人工智能与医学的交叉研究，利用生成式 AI 解决生物医学问题。其科研成果已在《Nature》《Science》《Nature Biotechnology》《Nature Methods》和《The Lancet Oncology》等顶级期刊上发表十余篇论文，并被 Mayo Clinic、Chan Zuckerberg Biohub、UW Medicine、Providence 等多家知名医疗机构广泛应用。
Mu Wei，论文通讯作者。
微软 Health and Life Sciences 首席应用科学家，拥有十余年医疗与金融领網域的 AI 模型研发与部署经验。
他的团队聚焦于健康领網域的多模态 AI 模型，研究成果涵盖生物医学影像解析、数字病理学基础模型、临床文档结构化的大模型应用以及大模型错误率估计等方向。
感兴趣的童鞋可自行查阅～
论文地址：https://www.nature.com/articles/s41592-024-02499-w
项目网页：https://microsoft.github.io/BiomedParse/
代码：https://aka.ms/biomedparse-release
Azure API 网页：https://ai.azure.com/explore/models/MedImageParse/version/3/registry/azureml?flight=ModelCatalogIndustryFilters&tid=72f988bf-86f1-41af-91ab-2d7cd011db47
— 完 —
投稿请发邮件到：
标题注明【投稿】，告诉我们：
你是谁，从哪来，投稿内容
附上论文 / 项目主页链接，以及联系方式哦
我们会（尽量）及时回复你
点这里关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
>
