近年来,人们越来越认识到深入理解机器学习数据(ML-data)的必要性。不过,鉴于检测大型数据集往往需要耗费大量人力物力,它在计算机视觉(computer vision)领域的广泛应用,尚有待进一步开发。
通常,在物体检测(Object Detection,属于计算机视觉的一个子集)中,通过定义边界框,来定位图像中的物体,不仅可以识别物体,还能够了解物体的上下文、大小、以及与场景中其他元素的关系。同时,针对类的分布、物体大小的多样性、以及类出现的常见环境进行全面了解,也有助于在评估和调试中发现训练模型中的错误模式,从而更有针对性地选择额外的训练数据。
在实践中,我往往会采取如下方法:
- 利用预训练的模型或基础模型的增强功能,为数据添加结构。例如:创建各种图像嵌入,并采用 t-SNE 或 UMAP 等降维技术。这些都可以生成相似性的地图,从而方便数据的浏览。此外,使用预先训练的模型进行检测,也可以方便提取上下文。
- 使用能够将此类结构与原始数据的统计和审查功能整合在一起的可视化工具。
下面,我将介绍如何使用Renumics Spotlight,来创建交互式的对象检测可视化。作为示例,我将试着:
- 为图像中的人物探测器建立可视化。
- 可视化包括相似性地图、筛选器和统计数据,以便浏览数据。
- 通过地面实况(Ground Truth)和 Ultralytics YOLOv8 的检测详细,查看每一张图像。
在Renumics Spotlight上的目标可视化。资料来源:作者创建
下载COCO数据集中的人物图像
首先,通过如下命令安装所需的软件包:
!pip install fiftyone ultralytics renumics-spotlight
分享说明:转发分享请注明出处。