В моем проекте по отслеживанию взгляда центр зрачка сильно прыгает, и я не вижу в нем фиксированной точки.
Что мне делать?
Моя идея заключается в сравнении центра зрачка и зрачка в 2 кадрах с порогом, но это не решает проблему. Еще один момент — шум камеры.
Что мне делать, чтобы уменьшить шум?
Я использовал алгоритм звездообразования.
Starburst. Гибридный алгоритм отслеживания взгляда на основе видео, сочетающий в себе подходы, основанные на функциях и моделях.
Айтрекеры имеют 2 типа шума/ошибок: переменная и систематическая ошибка. Переменный шум в основном представляет собой дисперсию вокруг наблюдаемой цели, а постоянный дрейф или отклонение от наблюдаемой цели представляет собой систематический шум. Для справки см. следующий документ:
https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0196348
В вашем случае это переменная ошибка. Переменная ошибка возникает из-за усталости, непроизвольных вибраций глазных яблок, света и т.д. Вы можете удалить его, просто отфильтровав данные взгляда. Однако будьте осторожны, чтобы не сгладить его слишком сильно, что может привести к потере естественных колебаний, присущих глазному яблоку.
Информации о технологиях отслеживания глаз очень мало. Однако в связи с тем временем (не большим), что я работаю над этой темой, поднимаю несколько вопросов. Один был связан с проблемой с библиотекой отслеживания глаз, а другой был связан с альтернативной к похожей проблеме. Как видите, эта тема не интуитивно понятна и не тривиальна для решения. Но не теряйте силы.
Этот документ, озаглавленный Методы отслеживания взгляда для интерактивных приложений [1], может развеять ваши сомнения. В документе представлен обзор технологий отслеживания глаз и основное внимание уделяется последним достижениям, которые могут облегчить их использование в общих приложениях. Авторы также представляют описание техники отражения зрачок-роговица [2, 3] из-за заявленных преимуществ удобства использования, и показывают, что этот метод все еще не совсем подходит для общих интерактивных приложений.
Тем не менее, вам может быть важно ознакомиться с некоторыми общими юзабилити-тестами при использовании технологий отслеживания взгляда. Одна хорошая статья называется Отслеживание взгляда при юзабилити-тестировании, где автор описывает проблемы, связанные с калибровкой камеры, которые являются ограничивающим фактором для использования в реальных условиях. С другой стороны, статья под названием краткое руководство пользователя UX по отслеживание взгляда описывает и дает рекомендации по его использованию.
Просто кому интересно, в нашем проекте мы разработали два репозитория. Первый репозиторий под названием eye-tracker-setup был первой попыткой извлечь информацию о Устройство Tobbi Eye Tracker 4C. Однако нам это не удалось, поэтому мы создали еще один репозиторий с именем eye-tracker-naive. .
[1] Моримото, С.Х. и Mimica, M.R., 2005. Методы отслеживания взгляда для интерактивных приложений. Компьютерное зрение и понимание изображений, 98(1), стр.4-24.
[2] Цзянь-нан, К., Пэн-и, З., Си-и, З., Чуанг, З. и Ин, Х., 2009 г., май. Ключевые приемы отслеживания взгляда на основе отражения роговицы зрачка. В 2009 г. Глобальный конгресс WRI по интеллектуальным системам (том 2, стр. 133-138). IEEE.
[3] Моримото, Ч.Х., Кунс, Д., Амир, А. и Фликнер, М., 2000. Обнаружение и отслеживание зрачков с использованием нескольких источников света. Вычисление изображения и зрения, 18 (4), стр. 331-335.
