Alex Emaire's Blog

个人归档站

输入关键词搜索全站文章

SmartLabeling

SmartLabeling 是我们在科研训练中做的医学图像标注工具。用户在图像上点选前景、背景或框出区域,SAM 根据提示生成分割掩码,CLIP 给出候选类别;用户确认、修正后,再把结果保存到项目中。

我的工作 FastAPI 服务、ONNX 推理接入、交互状态、特征缓存与项目导出
团队成果 2025 年中国大学生计算机设计大赛国家级二等奖

为什么做这个项目

医学图像中的器官和病灶需要专业判断,逐张手工勾画边界又很耗时间,不同人的标注结果也可能有差异。我们希望让模型先生成一个可修改的结果,减少重复描边的操作。最终标注仍由用户确认,模型给出的类别建议不会直接写入正式标注。

标注流程

创建项目后,用户导入图像并定义类别。服务端在导入时计算 SAM 的图像特征和 CLIP 的整图预特征,按图像缓存;类别名称则转换为文本特征,供后续识别使用。

用户在前端点选或画框后,FastAPI 接收提示,同时调用 SAM 和 CLIP:SAM 返回区域掩码,CLIP 返回候选类别。用户可以继续补点、撤销或重做,满意后确认标注,再切换到下一张图。导出时,系统保存掩码、YAML 类别映射和继续编辑所需的 cache.json。

系统展示

1. 点一下,生成候选掩码

左侧是点选、框选和撤销等工具,中间显示待标注图像,右侧管理类别与已确认的标注。这段演示中,用户选择 Click 工具并点击目标位置,图像上随即出现半透明的分割结果。

点提示分割演示:点击目标位置后,图像上出现候选掩码。
PPT 原始动图:点选目标,查看 SAM 返回的分割结果。

2. 框出目标范围

也可以切换到 Box 工具,用矩形框限定目标的大致范围。紫色框是用户给出的提示,框内的半透明区域是模型返回的掩码;最终保存的是分割区域,而不是这个矩形框。

框提示分割演示:画出矩形提示框后生成目标区域掩码。
框选演示:用一个范围提示,生成贴合目标轮廓的掩码。

3. 选择类别,确认标注

分割完成后,还需要给结果选择类别并确认。截图右侧可以看到项目中的 lung、kidney、liver 类别,以及已经提交的 lung_1 标注;中间仍显示当前正在操作的候选区域。类别名称是演示项目中的设置,这里展示的是类别管理与提交过程。

多类别标注界面:右侧显示项目类别、已提交的 lung_1 标注和新建标注入口。
候选结果和已确认标注分别管理,便于继续标注同一张图中的其他目标。

4. 导出并查看结果

最后点击导出,打开输出目录,就能查看保存下来的掩码。动图末尾的黑底灰色区域是导出的灰度掩码,可以脱离软件单独打开。这样,界面上的标注就成为了后续可以继续处理的文件。

导出演示:导出标注、打开结果目录并查看黑底灰色的掩码图像。
PPT 原始动图:从软件中的标注列表,到文件夹中的灰度掩码。
↑