Microsoft COCO 数据集

介绍

COCO 是一个大型图像数据集, 用于对象检测、分割、人体关键点检测、语义分割和字幕生成。

MS COCO 官方网址:http://mscoco.org/
关于 API 更多的细节在网站: http://mscoco.org/dataset/#download

对比 ImageNet 和 PASCAL VOC

COCO 目前仍在更新的数据集
ImageNet 和 PASCAL VOC 已经停止

任务

Object Detection Task 目标检测

COCO目标检测,有两个任务:使用 边界框输出 或 对象分割输出(即:实例分割 instance segmentation)。

http://cocodataset.org/#detection-2019

Keypoint Detection Task 关键点检测任务

COCO关键点检测任务:检测人并定位他们的 关键点

http://cocodataset.org/#keypoints-2019

Stuff Segmentation Task 物品分割

COCO Stuff 分割任务旨在推动 stuff classes(物品类) 语义分割。

目标检测任务主要是 thing classes(人,车,大象),这个任务的重点是 stuff classes(草,墙,天空)。

http://cocodataset.org/#stuff-2019

Panoptic Segmentation Task 全景分割任务

全景分割可以处理 stuff 和 thing ,统一了 语义分割 和 实例分割 。
目的是: 生成丰富、完整的连贯场景分割
这是朝着诸如 自动驾驶 或 增强现实 等现实世界视觉系统迈出的重要一步

详细解释:

  • thing 是可计数的对象,例如人,动物,工具。(可以理解为常规的目标)
  • stuff 类 是具有相似纹理或材料的不规则形状,例如草,天空,道路。(可以理解为目标以外的背景)

以前的COCO任务分别处理 stuff 类和 thing 类,为了鼓励在统一框架中研究 stuff and things ,引入了COCO全景细分任务。

“全景”的定义是“包括在一个视图中可见的所有内容”,在文中,全景是指统一的全局分割视图。

http://cocodataset.org/#panoptic-2019

Image Captioning Task 字幕任务

2015年字幕挑战赛,给出一幅图片,生成字幕

COCO字幕挑战赛旨在刺激产生可提供信息且准确的图像字幕的算法的发展

http://cocodataset.org/#captions-2015

COCO API

COCO API 提供了 Matlab, Python 和 Lua 的 API 接口。该 API 接口可以提供完整的图像标签数据的加载, parsing 和可视化。

api:http://cocodataset.org/#download
github:https://github.com/cocodataset/cocoapi