Как я взломал контроллер Google Daydream (Часть VI)

Создание лучшей системы набора текста для VR / AR с использованием ИИ.

Предыдущие главы Как я взломал контроллер Google Daydream:
(Часть I) Обращение вспять и обеспечение совместимости с устройствами Apple iOS.
(Часть II) Разработка совместимости на нескольких платформах.
(Часть III) А как насчет одновременного использования двух контроллеров?
(Часть IV) Еще более серьезные дела.
(Часть V ) позиционное отслеживание гетто.

ПРЕДИСЛОВИЕ

VR будет большим, но AR будет больше и займет больше времени. Прямо сейчас рынок действительно запущен, и стратегии крупных технологических игроков хорошо проявились. В любом случае, мобильная виртуальная реальность по-прежнему будет являться доминирующей установочной базой проводников для виртуальной реальности, а Google Daydream View будет уходить со времен картона. В то же время цифровой опыт стал все более захватывающим, удерживая людей в виртуальных мирах гораздо дольше.
И во всех тех областях, где реальная жизнь пересекается с виртуальной, у людей появились базовые потребности, такие как: писать.

В настоящее время, в то время как в других областях технологии виртуальной реальности быстро развиваются, занимая прочное место на сцене, Системы ввода, похоже, застряли в каменном веке.

НАЧАЛО

Есть мистическое слово под названием ностальгия, которое ликвидирует разрыв между рациональной и творческой стороной моего мозга. И когда я испытываю ностальгию, происходит какое-то волшебство. Быть мальчиком 90-х, увлеченным технологиями, означает иметь хотя бы один такой карманный компьютер:

Первые модели были не чем иным, как цифровой повесткой дня. Вооруженные пером для резистивных экранов они действительно играли в старую школу. Как владелец, просматривая руководства, я обнаружил особую функцию под названием Граффити.

В основном, рисуя пером в области, расположенной в нижней части пользовательского интерфейса (так называемая текстовая область« Граффити »), можно было писать символы и удары.

НАЗАД В БУДУЩЕЕ

Наряду с играми, приложениями и соответствующей частью Интернета переходят на виртуальную реальность. Но… «Как люди на самом деле чувствуют себя при вводе текста в виртуальной среде ?!». Несомненно, цифровые клавиатуры симпатичны, и алгоритмы прогнозирования очень помогают, хотя указание и нажатие на каждую букву для написания слова может расстраивать. Другой недостаток в том, что они занимают видимое пространство.

Может быть, тайный заговор хочет, чтобы мы все барабанщики ...

Часто идея начинается с правильного вопроса, но часто ответы полностью не в настоящем. Копаясь в воспоминаниях о моем прошлом, я обнаружил Граффити, в то время как комар AI жужжал у меня в ухе.

Следующий шаг предсказать было легко: дать тачпаду мозг, чтобы печатать умнее в виртуальных мирах.

НОВОЕ РОЖДЕНИЕ

Как алхимик, которому нужно приготовить зелья, все началось с того, что стереть пыль со старого гримуара. Я положил в котел немного npm install и немного JavaScript сока , затем смешал их с некоторыми математическими алгоритмами и когти дракона, очевидно. Разделив некоторые функции из своих предыдущих хаков, я отравил основной скрипт драйвера (который позволил мне общаться с контроллером Google Daydream через Bluetooth LE). читать необработанные данные сенсорной панели прямо на моем ноутбуке.

После этого я быстро настроил инструмент для хранения и классификации всех действий сенсорной панели , инициированных жестами большого пальца. Еще несколько фильтров для улучшения качества записанного набора обучающих данных, и я начинаю процесс контролируемого обучения. Еще несколько socket.io привязок за кулисами, чтобы оживить его, а затем немного начальной загрузки стиля чтобы украсить его.

Конечный результат был удивительным, и по традиции я решил окрестить этот инструмент, назвав его Thumbfiti.

(чтобы не участвовать в споре между Palm и Xerox о нарушении патентных прав, которым страдает карта штрихов Граффити, я применил несколько правки для создания первого алфавита).

ЧТО-ТО БЕТОН

В большинстве случаев, чтобы увидеть, как обретает форму прототип, требуется несколько итераций, невзгод и, в конечном счете, это может занять много времени, но… К счастью, мне очень нравится ставить «альфа» после названий моих проектов, ага! (шутит).
Чувство вдохновения в сочетании с амбициями и значительной долей энтузиазма подтолкнуло разработку Thumbfiti вперед.

Взгляните здесь, чтобы увидеть его в действии и попробовать потенциал.

Вот и все!
Спасибо.