Вернувшись из отпуска по уходу за ребенком в марте этого года, я с радостью сообщаю, что присоединился к NVidia, чтобы постоянно проводить прикладные исследования глубокого обучения, работая на стыке табличных (иногда называемых структурированными) данных и rapids.ai. Это путешествие было бы невозможно без удивительного курса, библиотеки и сообщества, которые называются fast.ai.

Как и Сильвен Гуггер, еще один выпускник курса, который в настоящее время работает научным сотрудником в Fastai и чей пост в блоге вдохновил на создание этого, fastai изменил мою жизнь, и я глубоко благодарен Джереми и Рэйчел за их видение более доступное глубокое обучение для всех. В духе его поста я хотел поделиться своим путешествием и вещами, которые помогли мне на этом пути, в надежде, что они помогут и вдохновят других, вступающих на этот путь.

Путешествие

В отличие от многих студентов-фастей, у меня есть опыт машинного обучения. Еще один был посвящен взаимодействию человека с компьютером и предварительному глубокому обучению, поэтому работа, которую я проделал в ходе своей диссертации, могла быть реализована студентом-фастай за несколько часов, но основы математики / программирования и способность читать статьи определенно помогли. Тем не менее, я редко вспоминаю то время и полностью согласен с оценкой Джереми о том, что для глубокого обучения не требуется докторская степень.

После университета я работал на сайте знакомств много рыбы, писал алгоритмы сопоставления, системы обнаружения мошенничества и, в конечном итоге, возглавлял исследовательскую группу. Я покинул pof через год после продажи его группе Match и оказался на перепутье, изучая варианты инженерии данных и не совсем заинтересованный в возвращении к науке о данных.

Курс Fastai v1 вышел той же весной, и по мере того, как я работал над ним и знакомился с людьми на форуме, я все больше и больше увлекался. Прикладная разработка сверху вниз - это подход к обучению, который мне хорошо подходит, и я быстро влюбился в стиль преподавания Джереми. Когда я узнал, что есть часть 2, я сразу же подал заявку и буквально подпрыгнул от радости, когда узнал, что попал.

Имея опыт работы с рекомендательными системами, я был очень заинтересован в этом компоненте курса и начал все больше и больше исследовать эту область. В процессе я получил должность в Realtor.com, работая над проектами рекомендаций и поискового ранжирования, и именно там я действительно начал видеть потенциал того, чему меня учили. Глубокое обучение для рекомендательных систем стало моей страстью, и я сначала погрузился в голову, читая все статьи по этой теме и поглощая все, что смог найти на Youtube. В следующем разделе я подробнее расскажу о привычках, которые сформировались у меня за последние два года, которые привели к моей исследовательской роли, но этот раз был очень важен для меня с точки зрения развития набора навыков и базы знаний, которые привели к моей нынешней роли. роль в NVidia.

По пути я принимал каждое предложение фастая. Сейчас я нахожусь на третьей итерации, и на каждом занятии узнаю что-то новое. Если вы не смотрели старые курсы, я настоятельно рекомендую вернуться, и то же самое можно сказать о курсе машинного обучения, который научил меня тому, что я знаю о случайных моделях леса. Качество образования в Fastai настолько высокое, что я структурировал свою команду вокруг него в Realtor, используя классы как отправную точку для проектов, которые оказались чрезвычайно успешными.

Шаги по пути

Хотя мое путешествие уникально для меня, я хочу предложить некоторую помощь тем, кто хочет достичь той же мечты - стать исследователем глубокого обучения или лучшим практиком.

На форуме много советов о том, как эффективно завершить фастай, и я настоятельно рекомендую вам найти их и подписаться на них, если вы еще этого не сделали. Выход за рамки класса требует дополнительных усилий, но, на мой взгляд, именно тогда волшебство действительно начинает происходить. Ряд привычек действительно помог мне стать лучше исследователем и лучшим разработчиком. Они простые, но эффективные. Их легко пролистать, как будто вы можете перемещаться по блокнотам, но если вы сможете их реализовать, я гарантирую, что они окажут влияние.

  1. Разберитесь с бумагами. Проверяйте Arxiv еженедельно, читайте газету каждую ночь. Раньше я использовал arxiv-sanity, но, к сожалению, он больше не поддерживается. Я все еще ищу решение, поэтому, если у вас есть что-то, дайте мне знать. Я бы порекомендовал выбрать конкретную область исследования, в которой вы можете прочитать большинство выходящих статей. Найдите тему, которая вас интересует, например, рекомендацию или передачу стиля, и не отставайте от этой небольшой области. Привычка регулярно читать газеты - теперь моя суперспособность. Это то, что вы тоже могли бы получить, если бы сформировали привычку.
  2. Конвертируйте видео Fastai в аудио только для того, чтобы слушать их как «подкаст» на ходу. Для меня найти время, чтобы посмотреть видео дважды или трижды, невозможно, особенно сейчас, когда у меня двое мальчиков, но этого требует плотность материала. Посмотрите его один раз и слушайте снова и снова в дороге, на прогулке или где угодно. Я слушал десятки раз, но до сих пор придумываю новые концепции и идеи.
  3. Реализуйте что-то, что отличается от ноутбуков, от начала до конца. Это было для меня ключом к раскрытию потенциала фастая. Я воссоздал автоматический кодировщик шумоподавления из решения конкурса безопасных водителей porto seguro. Это стало отправной точкой для целого ряда исследований в области глубокого обучения табличных данных и привело к моей нынешней должности. Выберите что-то отличное от того, что реализует большинство людей, и хорошо реализуйте это.
  4. Оставайтесь активными на форумах и участвуйте в жизни сообщества. Я считаю, что это один из самых недооцененных аспектов курса, предлагающий целую группу людей, так же увлеченных глубоким обучением, как и вы. Для меня это стало большим катализатором идей, знаний и интереса.
  5. Ищите другие курсы, чтобы расширить свой кругозор. Я очень рекомендую Стэнфордский курс НЛП CS224n, который преподает Крис Мэннинг, CS231n, который преподает Андрей Карпати, курс Джина Когана по глубокому обучению в искусстве Нейроэстетика и PyData, в котором регулярно проходят отличные беседы по глубокому обучению.

Fastai дал мне так много и продолжает это делать, и я очень рад, что теперь я могу наконец что-то отдать. Если бы вы сказали мне в начале моего пути, когда я увидел первое видео на YouTube, что бесплатный онлайн-курс MOOC приведет меня к исследовательской должности в одной из ведущих технологических компаний мира, я не уверен, что поверил тебе, но вот я. Я не сомневаюсь, что это почти полностью из-за fast.ai.