В разделе Разметка данных в двух словах мы упомянули, что ИИ может находить объекты и делать прогнозы тогда и только тогда, когда он обучился и обучился метаданными. В этой статье давайте рассмотрим 3 вида вездесущей маркировки изображений: классификацию, обнаружение объектов и сегментацию, которые используются для обучения ИИ, помогая ему распознавать объекты и узнавать правду, чтобы делать прогнозы.

Что такое аннотация изображения?

Аннотирование изображения — это процесс категоризации или маркировки изображения с использованием языка, инструментов аннотации или того и другого для отображения функций данных, которые вы хотите, чтобы ваша модель автоматически распознавала.

Когда вы аннотируете изображение, вы создаете метаданные и добавляете их в набор данных.

Аннотация может быть простой или сложной:

  • Простая аннотация изображения: может включать аннотацию изображения, фразу, описывающую объекты на изображениях. Например, вы можете добавить к изображению автомобиля метку «красный автомобиль». Это называется классификацией изображений или тегами.
  • Комплексная аннотация изображения: может использоваться для подсчета и отслеживания нескольких объектов или областей на изображении. Например, вы можете пометить разницу между стаей рыб и вашей обученной моделью, чтобы распознать красную рыбу. Сложность вашей аннотации будет варьироваться в зависимости от сложности вашего проекта.

В зависимости от задачи для вашего проекта подойдет каждый вид аннотации к изображению. Итак, давайте познакомимся с тремя типами аннотаций к изображениям и выясним, в чем между ними разница.

3 типа аннотации к изображению

Аннотация классификации

Классификация изображений — это метод аннотации, который просто определяет присутствие похожих объектов, изображенных на изображениях во всем наборе данных.

Этот процесс обучения иногда называют аннотацией или тегированием и является самым основным типом аннотации данных. Например, аннотаторы могут пометить изображение города такими метками, как «дом», «дерево», «люди»… Но этот метод довольно ограничен, потому что он просто помогает ответить на вопрос — есть ли на изображении дерево или нет? без определения места на картинке.

Аннотация обнаружения объектов

Обнаружение объектов — это сочетание классификации и локализации, позволяющее определить, какие объекты находятся на изображении или видео, и определить, где они находятся на изображении.

На картинке, показанной ниже, изображение слева иллюстрирует объект, окружая членов каждого класса: интерстициальное заболевание легких — ограничивающей рамкой.

Вы можете использовать различные методы для обнаружения объектов. Популярные подходы, основанные на глубоком обучении, использующие сверточные нейронные сети (CNN), такие как R-CNN и YOLO v2, автоматически учатся обнаруживать объекты на изображениях.

Вы можете выбрать один из двух ключевых подходов, чтобы начать работу с обнаружением объектов с помощью глубокого обучения:

  • Создание и обучение пользовательского детектора объектов. Для обучения пользовательского детектора объектов с нуля необходимо создать сетевую архитектуру, чтобы изучить особенности интересующих элементов. Чтобы обучить CNN, вам также необходимо собрать значительное количество размеченных данных. Пользовательский детектор объектов может дать потрясающие результаты. Тем не менее, вы должны вручную настроить слои и веса CNN, что требует много времени и обучающих данных.
  • Используйте предварительно обученный детектор объектов: в этом методе вы можете использовать свою обучающую модель речи с помощью предварительно обученной сети, а затем точно настроить ее для своего усложнения. Этот метод может дать вам более быстрые результаты, потому что детекторы объектов уже обучены на тысяче или даже миллионах изображений.

Сегментация

Этот метод является более продвинутым по сравнению с тремя способами, потому что он требует назначения класса каждому пикселю объекта. Таким образом, этот метод можно использовать в различных областях, особенно в медицине, на многочисленных изображениях, например, для выявления офтальмологии, гистопатологии.

Существует 3 типа сегментации:

  • Аннотация семантической сегментации:

Этот тип аннотаций используется, когда вы хотите отслеживать и подсчитывать наличие, местоположение, а иногда и размер и форму объекта. Чтобы классифицировать объекты, которые трудно подсчитать или отследить из-за их потенциального отсутствия размера или формы, используется семантическая сегментация.

  • Аннотация сегментации экземпляра

Мы можем использовать этот тип для отслеживания и подсчета наличия, местоположения, количества, размера и формы объекта на изображении. Этот тип маркировки позволяет нам идентифицировать каждый пиксель внутри изображения.

  • Паноптическая сегментация

Это комбинация экземплярной и семантической сегментации. Эта аннотация сочетает в себе сегментацию семантики и экземпляра, чтобы предоставить данные, помеченные как для фона (семантика), так и для объекта (экземпляр). Ты можешь

Сравните каждый тип аннотации изображения

Это сравнение и пример каждого типа аннотаций. В то время как классификация помогает нам отслеживать присутствие объекта на изображении, обнаружение объекта помогает аннотатору отслеживать присутствие, местоположение и подсчитывать объект по прямоугольной рамке — ограничивающей рамке. Слева направо продвижение каждого типа аннотации изображения увеличивается от самого низкого до самого сложного.

В области медицины VinLab представила вам 5 лучших бесплатных инструментов для аннотирования медицинских изображений, чтобы максимизировать производительность процесса маркировки изображений и создавать качественные наборы данных для машинного обучения.

Спасибо, что прочитали!

Если вы ищете информацию о машинном обучении, искусственном интеллекте или данных в общей или медицинской области. Подпишитесь на нас, чтобы получить больше полезных сведений об этих трех ключевых словах.

Контакт

Электронная почта: [email protected]

Твиттер: https://twitter.com/VinLab_io

YouTube: https://www.youtube.com/@Vinlab-MedicalImageAnnotation

Проект с открытым исходным кодом: https://github.com/vinbigdata-medical/vindr-lab