视觉语言基础模型 · 知识图谱推理 · 眼科影像解读
EyeGraph:以知识图谱推理支持眼科影像解读的多粒度医学视觉语言基础模型
EyeGraph 利用 IT-Retinal 指令数据,将影像级诊断、解剖结构定位与报告生成纳入同一视觉语言模型。报告生成时,G2T 从 UMLS 知识图谱检索相关关系,为推理提供依据,提升报告的事实一致性。
按年份收录期刊论文、会议论文和预印本。期刊影响因子和会议评级均链接至数据来源。
69 条记录
视觉语言基础模型 · 知识图谱推理 · 眼科影像解读
EyeGraph 利用 IT-Retinal 指令数据,将影像级诊断、解剖结构定位与报告生成纳入同一视觉语言模型。报告生成时,G2T 从 UMLS 知识图谱检索相关关系,为推理提供依据,提升报告的事实一致性。
自监督预训练 · 掩码互补建模 · 多模态磁共振分割
MF-MCM 先融合多序列脑 MRI,再在融合通道间分配互补掩码,以原始序列重建与融合系数回归为联合预训练目标。研究在五个数据集上评估分割迁移,并考察少标注与序列缺失时的表现。
层级提示 · 双向一致性学习 · 多粒度分割
UniOCTSeg++ 面向不同数据集的视网膜层标注协议,用成对的前景与背景提示显式表示解剖层级,并在粗、细粒度预测之间施加双向一致性约束。在论文构建的 HROCT-Bench 上,联合利用无标注扫描时,仅使用 30% 的有标注数据即可接近全监督基线。
视觉基础模型 · 三维光学相干断层成像 · 患者级诊断流程
FOCUS 将切片质控、基于 VisionFM 的异常检测与多病种分类纳入三维 OCT 诊断流程,再基于注意力聚合异常切片的特征,得到患者级诊断。四家外部中心共纳入 1,345 名患者,合并计算的患者级 F1 为 94.05%。
多智能体协作推理 · 多模态临床数据 · 基于临床指南的评估
DRAgent 将糖尿病视网膜病变的治疗规划建模为基于影像与病历的多专科智能体协作。预印本构建了关联眼底照、病历和治疗方案的数据集,并用指南符合性、医生评价及专科智能体消融检验方案质量。
期相条件扩散 · 上下文感知融合 · 多期相 CT 分割
SynLiTS 以 CT 期相为条件进行扩散生成,在各期相对齐的位置合成肝肿瘤。上下文感知融合使分割模型能够联合利用空间对齐的合成数据和存在配准误差的真实影像。研究同时构建了真实多期相肝肿瘤数据集 MPLiTS。
长尾识别 · 尾类样本合成 · 类别均衡对比学习
TailBoost 将少数类样本合成与均衡表征学习结合,用显著性引导的局部混合保留少数类病灶特征,再以类别中心重平衡修正监督对比目标。研究在三个皮损数据集上验证了该方法对长尾分类的作用。
无标注学习 · 傅里叶域合成 · 脑血管分割
该方法以空间殖民算法生成三维血管树,再通过频域融合将合成血管嵌入去除血管信号的 TOF-MRA 背景。合成图像及其掩码为脑血管分割提供稠密监督,无需人工描绘血管,训练后在真实扫描上进行评估。
解剖先验 · 扩散 CT 合成 · PET 衰减校正
DAPS 将脑部模板形变配准至未经校正的个体 PET,以所得解剖先验引导扩散模型合成 CT。校正网络再融合合成 CT 与原始 PET,估计衰减校正后的图像。研究在两个公开 PET/CT 数据集上评估该流程。
半监督学习 · 可靠性感知互学习 · 多粒度 OCT 分割
LUMOS 面向标注有限且解剖粒度各异的 OCT 数据,结合无标注扫描与多粒度标注训练。层级提示调节双解码器,通过区域级可靠性加权在不同标注粒度之间交换伪标签。实验覆盖六个 OCT 数据集。
跨物种三维重建 · 类群感知建模 · 扩散数据合成
AniMer+ 结合共享 Transformer 层与类群专属专家,在统一模型中重建四足哺乳动物和鸟类的三维姿态与形状。研究以扩散生成补充像素对齐的三维标注,并在分布外的 Animal Kingdom 基准上评估迁移表现。
医学图文预训练 · 最优传输 · 鲁棒对比学习
MIRAGE 针对医学图文对比预训练中的错误配对和假负例,以跨模态近邻为先验,用最优传输估计样本之间的匹配关系,再通过自适应梯度平衡减轻噪声监督的影响。研究在 14 个数据集、六项任务上评估了表征迁移。
掩码条件潜空间扩散 · 跨期相配准 · 肝肿瘤分割
Diff4MMLiTS 为多期相 CT 构造体素级对齐的肝肿瘤监督。该流程先作器官级配准并修复原病灶区域,再以掩码为条件进行潜空间扩散,在各期相对应位置合成新肿瘤,以训练分割模型。
层级提示 · 师生一致性 · 多粒度分割
UniOCTSeg 将细粒度视网膜层提示组合成粗粒度提示,在统一的 OCT 分割模型中表示不同标注协议。指数移动平均教师由易到难地在层级间传递监督,实验覆盖八个数据集、六种标注粒度。
证据学习 · 不确定性估计 · PET/CT 融合
MEFN 先对齐 PET 与 CT 表征并分别校准各模态的不确定性,再用 Dempster–Shafer 证据理论融合体素级分割证据。研究在 AutoPET 和 HECKTOR 上评估了肿瘤勾画效果及分割不确定性。
单图三维重建 · 科级分类监督的对比学习 · 动物姿态与形状估计
AniMer 面向跨类群的四足动物单目三维重建。模型以动物类群监督的对比学习组织 Transformer 表征,并借助 CtrlAni3D 补充具有像素对齐网格标注的扩散合成图像,在三维标注基准及分布外影像上评估重建表现。
缺失模态学习 · 跨模态提示 · 无灌注区分割
该研究将视网膜无灌注区分割建模为缺失模态学习问题。训练时,通过模态条件提示和跨模态注意力吸收荧光造影信息,推理时仅凭彩色眼底照估计无灌注区域。
上下文提示 · 通用三维分割 · 曲线结构
UniCurvSeg 把任务、成像模态与解剖区域编码为上下文提示,通过交叉注意力调节共享的三维分割器。研究在覆盖 CT、MRI 和磁共振血管成像的九个数据集上评估了血管样结构的跨任务学习。
弱监督分割 · 原型校准 · 伪标签噪声抑制
ProCNS 针对稀疏标注扩展为稠密监督时的伪标签误差累积,利用校准后的原型刻画区域的空间与语义亲和性。它在更新原型时屏蔽不可靠像素,并在这些区域以软伪标签保留监督信号。
计算机视觉 · 闭环控制 · 液晶弹性体致动
该研究从视觉序列估计液晶弹性体的弯曲角度,并将测量值反馈至光驱动控制回路,评估致动器在光照、气流和周围介质变化时维持目标角度的能力。
个性化联邦学习 · 提示学习 · 异构弱监督
FedLPPA 将共享知识、站点影像分布和标注稀疏性分别编码为可学习提示。提示相似度引导双解码器生成伪标签,逐参数聚合则使解码器适配各站点。研究在四项分割任务上评估了异构弱标注下的联邦学习。
无标注学习 · 解剖引导肿瘤合成 · 联合分割
LF-SynthSeg 利用健康脑组织的强度与解剖先验合成 T2 加权肿瘤影像,再通过脑组织与肿瘤联合分割把解剖先验引入训练。研究在五个公开数据集上验证了无需人工肿瘤掩码的分割方案。
参数高效微调 · 特征融合 · 高分辨率分类
Fusion Side Tuning 冻结预训练主干,在轻量侧路融合中间层特征,并筛选信息量较高的图块标记以节省显存。在 512 × 512 输入和 ViT-B 主干下,可训练参数量与训练显存分别为全量微调的 2% 和 20%。
任意倍率超分辨率 · 跨对比度转换 · 各向同性磁共振重建
SMNet 利用各向异性扫描与高分辨率参考序列,在不同上采样倍率下重建各向同性 MRI。两个分支分别处理跨对比度对齐与空间细节恢复,并通过可靠性加权控制参考特征对重建的贡献。
掩码建模 · 自监督预训练 · 多模态磁共振分割
MMCM 对不同 MRI 序列施加互补掩码,使被遮盖区域的重建依赖其他序列的表征。研究在 BraTS 2021 上检验了自监督编码器对脑肿瘤分割的迁移,包括少样本训练和单序列输入两种条件。
混合监督 · 交叉监督 · 标注去噪
CSSD 将少量高质量标注、较多含噪标注和未标注 CT 纳入同一肝血管分割框架。跨样本注意力传递较干净的标注线索,双网络一致性与自去噪分别利用未标注和含噪样本。
长尾识别 · 均衡参数化对比学习 · 分类分数补偿
BPaCo 从表征学习入手处理医学影像分类的长尾分布。跨批次类别平均平衡负类梯度,类别补全使少数类也能参与每个小批次的对比训练,分类分支则通过 logit 补偿进一步纠正类别偏斜。
无监督微分同胚配准 · 图块学习 · 拓扑保持
该方法用无监督全卷积网络从 MRI 图块估计局部形变,并以微分算子约束粗到细配准中的速度场。研究在三个 T1 加权 MRI 数据集上评估了配准精度与解剖拓扑保持。
半监督分割 · 基础模型适配 · 双教师学习
S-ACMT 将经过领域微调的 SAM-Med2D 引入半监督医学分割,作为第二教师。其伪标签与任务教师的伪标签互补,从两种监督来源学习未标注影像。
多模态自监督预训练 · 熵引导掩码 · 二维与三维眼科影像
Uni4Eye++ 将无标注二维眼科影像与三维体数据纳入同一掩码预训练框架。图像熵引导模型重建信息丰富的区域,动态重建头适配不同模态的成像特征,共享编码器随后迁移至分类和分割。
解剖先验 · 由粗到细的精细化 · 多任务学习
JOINEDTrans 从视网膜血管分割中学习空间先验,并迁移到视盘、视杯分割与黄斑中心定位。粗到细的 Transformer 以初步预测引导局部精修,并在 GAMMA、REFUGE 和 PALM 三个数据集上验证。
半监督学习 · 基础模型适配 · 迭代伪标签
ASLSeg 将 Segment Anything 模型(SAM)纳入半监督肝肿瘤分割的迭代流程。任务分割器提供提示,适配网络细化 SAM 掩码,再将高置信度的结果纳入有标注训练集。
长尾识别 · 显著性引导混合增强 · 皮肤镜图像分类
SPMix 用病灶显著性决定皮肤镜图像中参与混合的区域,为长尾分类构造少数类训练样本。合成样本保留有判别力的病灶区域,同时从常见类别引入更多图像变化。
视觉语言模型 · 参数高效适配 · 长尾识别
TFA-LT 探索视觉语言基础模型在医学影像长尾分类中的轻量适配。方法分两阶段训练两个线性适配器和一个集成分类头,并在两个类别不均衡的数据集上评估分类表现与显存开销。
多模态特征融合 · 成像质量 · 黄斑中心凹定位
该研究考察在联合 OCT 与眼底照定位黄斑中心时,OCT 质量与样本数量分别起到什么作用。模型融合眼底全局上下文与黄斑局部特征,并在 GAMMA 上分析训练时缺失 OCT 对定位的影响。
个性化联邦学习 · 相似度感知蒸馏 · 异构弱标注
pFedWSD 先通过循环蒸馏积累各站点的共性知识,再以批归一化统计量估计站点相似度,为各站点构建个性化教师。该框架同时处理机构间的数据分布差异与稀疏标注形式差异。
采集先验 · 光声显微成像 · Transformer 超分辨率
该研究将旋转采集的扫描机制引入光声显微超分辨率重建。重建前先配准奇偶扫描行以校正行间位移,再用包含运动位移的退化与梯度引导的图块采样训练 Transformer,以恢复精细血管结构。
多模态眼科影像 · 基准数据集 · 青光眼分级
GAMMA 挑战提供 300 组配对眼底照与 OCT 体数据,并建立统一的多模态青光眼分级评测流程。论文比较了参赛方法如何结合二维摄影与三维扫描中的互补信息。
单骨架监督 · 对比图像合成 · 曲线结构分割
YoloCurvSeg 以一条含噪骨架标注为起点,为血管等曲线结构构造稠密训练监督。方法利用图块级对比学习,将模拟曲线与修复后的影像背景融合成带掩码的样本。以这一标注量训练的模型在四个公开数据集上均达到相应全监督性能的 97% 以上。
长尾识别 · 课程学习 · 类别级混合增强
CCMix 在类别层面制定数据增强课程,依据训练中各类的识别表现调节 Mixup 强度,使少数类样本按学习难度吸收其他类别的信息。
多专家蒸馏 · 解耦知识迁移 · 长尾识别
MEDKD 将分别在不同数据子集上训练的多个专家模型蒸馏至单一分类器。蒸馏目标分开处理目标类与非目标类概率,使长尾分类器能够利用两类互补的教师信号。
个性化联邦学习 · 站点对比表征学习 · 自适应聚合
FedICRA 面向采用不同稀疏标注、影像分布也不同的机构开展个性化联邦分割。它在选定通道上进行站点对比学习,以区分机构特异表征,再逐元素融合本地参数与全局共享知识。
医学图文预训练 · 原型学习 · 局部与全局对齐
PRIOR 在整幅影像与局部区域两个尺度对齐医学图像和报告,并通过跨模态重建与句子原型库保留局部成像线索和临床语言信息。研究在零样本分类、图文检索与稠密预测等五项任务上检验表征的迁移能力。
对照消融 · 跨数据集泛化 · 糖尿病视网膜病变分级
该研究以 ResNet-50 为固定框架,系统考察输入分辨率、损失函数、增强策略和双眼配对对糖尿病视网膜病变分级的作用。组合配置在 EyePACS 上的二次加权 Kappa 为 0.8631,并在其他数据集和网络架构上检验了可迁移性。
无监督异常建模 · 测试时聚类 · OCTA 图像质量评估
UNO-QA 仅用高质量 OCT 血管成像数据学习异常质量表征。推理时对多尺度特征聚类,进一步区分质量较差但仍可判读的影像与无法判读的影像。
退化建模 · 条件扩散 · 眼底图像增强
LED 将眼底影像增强建模为已学习退化过程的逆问题。它先从未配对影像中学习质量退化,再用合成配对样本训练条件扩散模型,并通过下游分析评估关键诊断结构的保留情况。
多目标域适配 · 双教师蒸馏 · 视网膜血管分割
RVms 分别为外观接近与远离标注源域的数据训练教师,再将互补的域知识蒸馏至同一个血管分割器。风格增强与局部相对强度编码帮助模型适配跨机构、跨模态的多个无标注目标域。
解剖先验 · 解剖标志点定位 · 多任务分割
JOINED 以像素到解剖标志的距离作为辅助监督,联合完成视盘、视杯分割与黄斑中心定位。模型先用粗分割掩码和定位热图确定感兴趣区域,再进行局部精细预测。
域泛化 · 数据增强策略搜索 · 最优传输
AADG 以特征空间中增强训练域之间的 Sinkhorn 距离衡量域多样性,并自动搜索数据增强策略。实验覆盖 11 个眼底照数据集和两个 OCT 血管成像数据集,分别检验跨数据集与跨模态泛化。
难度感知学习 · 半监督合成 · 对比增强磁共振成像
DS³-Net 联合配对与未配对 MRI 合成对比增强 T1 序列,并用预测的难度图将像素级约束与图块级对比学习聚焦于难重建区域。在 BraTS 2020 上,仅使用 5% 配对数据时,其表现仍可与使用全部配对数据的方法相比。
多模态自监督预训练 · 掩码图像建模 · 眼科影像分类
Uni4Eye 通过共享图块嵌入,将二维眼科影像与三维体数据纳入同一视觉 Transformer 的自监督预训练。模型联合重建被遮盖的图像强度及其梯度,并在六项分类任务上评估迁移能力。
跨对比度磁共振合成 · Transformer 编码 · 对抗学习
该研究在 T1 到 T2 的条件对抗生成中,用 Transformer 编码相邻 T1 切片,为目标切片的合成提供层间上下文,并在公开和内部数据集上评估合成影像的保真度。
监督对比学习 · 眼底影像与 OCT 融合 · 青光眼分级
COROLLA 将 OCT 体数据压缩为视网膜厚度图,再与彩色眼底特征进行融合。监督对比学习在表征空间区分青光眼等级,紧凑的 OCT 表示则降低多模态融合的计算开销。
无监督域适配 · 解耦风格迁移 · 跨模态分割
DCDA 在没有目标域标注的条件下,将视网膜血管分割适配于 OCT 与 OCT 血管成像之间。解耦式风格迁移分离解剖内容与成像外观,协同一致性约束使源域和目标域分割器能够利用未标注影像。
缺失模态合成 · 模态级注意力 · 脑肿瘤分割
MAF-Net 将常规 MRI 序列到对比增强影像的合成与胶质瘤分割联合建模。图块级对比学习约束潜在表征,模态级注意力为各序列分配融合权重。预印本在 BraTS 2020 上同时评估了合成和分割。
对抗学习 · 双重注意力 · 血管拓扑分析
该研究将肝血管分割延伸到定量拓扑分析。采用对抗训练的双注意力 U-Net 生成血管掩码,再对血管骨架计算分支长度与分叉级次。
多任务学习 · 黄斑中心凹无血管区分割 · 光学相干断层血管成像
该研究在 OCT 血管成像中共享无血管区分割与三分类的编码器,并在 FAZID 上检验分割获得的解剖表征能否辅助区分正常、糖尿病与近视眼。
几何感知学习 · 联合分割与分类 · 光学相干断层血管成像
BSDA-Net 在黄斑中心凹无血管区分割之外,联合回归边界热图和重建有符号距离图,以学习其几何形态。分层融合将结构表征传递给诊断分类器,使几何勾画与疾病判别共享信息。
多任务分割 · 解剖上下文 · 光学相干断层血管成像
FARGO 在正面投影的 OCT 血管影像中,以视网膜血管作为分割黄斑中心凹无血管区的解剖上下文。独立的粗到细血管分支利用空间和通道注意力细化细小、低对比度的结构。
半监督学习 · 重要性引导对比学习 · 眼底图像增强
I-SECRET 联合利用合成退化配对与未配对真实眼底照进行影像增强。像素级重要性估计分别引导两条分支中的监督重建与对比学习。
自监督对比学习 · 病灶感知表征 · 糖尿病视网膜病变分级
该研究使用以病灶为中心的图块进行自监督对比学习,使表征对糖尿病视网膜病变分级所需的微小病理信号更敏感,并通过 EyePACS 上的线性评估与迁移实验检验所得特征。
对比图像合成 · 共聚焦显微成像 · 角膜神经分割
该流程结合影像合成与质量增强,处理角膜共聚焦显微图像中的标注误差与照明不均。多层图块对比学习用于构造神经分割训练样本,研究在两个公开数据集上检验其效果。
非配对图像转换 · 图块对比学习 · 眼底图像增强
EPC-GAN 通过图块级对比式转换,从未配对的眼底图像中学习质量增强。眼底结构先验限制血管、视盘视杯及病灶被改动,同时允许模型校正光照和对比度。
双向卷积长短期记忆网络 · 对抗学习 · 视网膜血管分割
BLU-GAN 用双向卷积 LSTM 代替 U-Net 的直接跳跃连接,在不同尺度间融合特征,并结合对抗训练与密集特征复用进行眼底血管分割。
病灶图细化 · 病灶引导特征融合 · 糖尿病视网膜病变识别
病灶引导网络先细化由粗标注检测器产生的病灶图,再将其与原始眼底照片融合,判别整幅影像是否存在糖尿病视网膜病变。研究以 4,465 张眼底照片构建数据集,对比了使用细化病灶图、直接使用粗病灶图和仅使用原图三种方案。
数据集构建 · 渗出灶检测 · 多标准视网膜病变分级
该数据集开放 1,219 张眼底照,提供渗出病灶、视盘与黄斑中心的标注,以及三种协议下的糖尿病视网膜病变等级。数据可用于病灶识别、解剖标志定位及跨分级协议比较。
弱标注 · 边界框细化 · 出血灶检测
该方法针对眼底出血粗标注中的定位误差,先用边界框回归网络细化人工框,再以带标签平滑的 RetinaNet 学习出血病灶检测。
超奈奎斯特信号传输 · 循环前缀 · 频域信道估计
该研究面向码间干扰记忆较长的超奈奎斯特传输设计导频。额外的循环前缀使干扰可近似为循环矩阵,从而用快速傅里叶变换进行低导频比例的频域信道估计。
没有符合条件的论文。