MechE для профессий, связанных с большими данными

Мой переход в профессию больших данных был в основном случайным, а не полностью преднамеренным. Я работал с оборудованием и помогал группам данных выполнять определенное моделирование и решать проблемы на стороне (ME SOLshare, Бангладеш), когда мне поступило предложение присоединиться к группе по обнаружению мошенничества в компании, занимающейся поиском автомобилей и логистикой (Pathao, Бангладеш) пришла ко мне. Проработав там шесть месяцев, я присоединился к гиганту в Юго-Восточной Азии Gojek Super App. Я получил кучу вопросов по теме перехода в самую интересную область нашего времени - науку о данных - и хочу поделиться своими мыслями и опытом перехода от машиностроения к науке о данных.

Существует множество статей, в которых описывается, что вам нужно, чтобы стать специалистом по анализу данных.

  • Математика
  • Рвение к решению проблем переведено из сценария реального мира в математическое пространство.
  • Программирование
  • Терпение

Большинство инженерных специальностей учит всех четырех в разной степени. Таким образом, вы можете - проявив некоторую настойчивость - совершить переход за год или два. Каждый будет переходить немного по-своему, но вот моя история незавершенного перехода.

Основы математики: Я был занят решением тонны математических задач и глубоко аналитическим мышлением на математических олимпиадах еще до университета. Это в значительной степени сформировало мой образ мышления и подход к проблемам. Когда я начал свою работу по обнаружению мошенничества, математические идеи были мне очень ясны. С математической точки зрения, понятие выбросов и их обнаружение по данным также было для меня в основном ясным. Основными концепциями, которые потребуются вашей первой работе в Data Science / Analysis, являются фундаментальная статистика, распределение, вероятность и способность преобразовывать вопросы реального мира в математическую область. Будучи студентом-механиком, мне приходилось довольно хорошо изучать статистику и вероятность. Все эти навыки можно передавать независимо от должности и отрасли. Они пригодились для работы в аналитике.

Если вы в настоящее время изучаете какое-либо инженерное дело, я бы посоветовал пройти курсы статистики, теории вероятностей, линейной алгебры и хотя бы один курс проектного программирования, независимо от того, требует ли вас ваша специальность или нет. Не только потому, что это поможет в карьере в области науки о данных, но и потому, что это чрезвычайно важные навыки, особенно в эпоху четвертой революции.

Программирование и запросы:

В чем я был не силен, так это в программировании. Не очень хорош в Python, не в C и никогда не слышал о SQL (или любом другом языке запросов). У меня был некоторый опыт на прошлых курсах по Python и несколько проектов, выполненных в MatLab. SQL - это язык запросов, который требует некоторого понимания структур данных и архитектуры больше, чем статистики или программирования. Это несложно, но мне нужно было немного попрактиковаться, прежде чем количество ошибок уменьшится. Я прошел несколько курсов по дата-центру, и моя работа подтолкнула меня к получению результатов с помощью запросов. Через месяц я освоил SQL, а в следующие 2 месяца я изучил более продвинутые методы, избавился от дискомфорта, связанного с новым учебным материалом, и получил много практики (в основном из-за ожидания работы). Позже я начал искренне получать от этого удовольствие и продолжал практиковать продвинутые техники. В настоящее время у меня есть годовая персональная подписка на DataCamp для практики. Вам понадобится практика, чтобы научиться, чтобы не приходить постоянно гуглить для каждой новой строки кода, чтобы эффективно отлаживать и уменьшать количество ошибок. Инвестируйте в какое-то онлайн-пространство для практики кодирования - DataQuest, DataCamp, базовые курсы по edX (серия Вычисления на Python), где вы можете получить доступ к среде кодирования, записным книжкам colab для использования вместе с любыми онлайн-учебниками или видео, бесплатные IDE и т. д.

Алгоритмы и предварительные алгоритмы:

Для этого потребуется дополнительное обучение и выделенные часы, чтобы научиться с нуля, если вы переходите с инженерной карьеры. Я учился на бакалавриате в США и немного поработал в этой сфере. Я взял какой-то прикладной класс машинного обучения, где нам не нужно было знать детали алгоритмов, но применил его в общих чертах, чтобы что-то решить. Я большой любитель в этой области, но хорошее знание математики помогает овладеть ею. Этот курс Эндрю Нг превращается в книгу алфавита для карьеры в области науки о данных. Однако для большой работы в области науки о данных могут использоваться языки высокого уровня и библиотеки. Лично я не думаю, что это плохая идея. Выполнить некоторую работу с помощью этих библиотек при одновременном понимании алгоритма на стороне - это изящный способ обучения. Таким образом, вы овладеете теорией и одновременно увидите ее на практике.

Решение проблем:

Как инженер вы будете иметь преимущество в решении проблем и в решении реальных проблем. Школа часто не очень хороша в том, чтобы позволить ученикам определить проблему, скорее, они балуют учеников, предлагая четко сформулированную проблему.

сложная ситуация → определенная проблема → атака с помощью инструментов → решение

Шаг 1 - очень важный этап, который школы часто игнорируют. MIT поступил так же, как и большинство других университетов. Признайте это и найдите способ обойти это. Работа помогает, но решение проблем вне школы, решение головоломок (гиперссылка на известную охоту за головоломками под названием MIT mystery hunt), решение задач конкурса (Kaggle - это онлайн-ресурсы с тысячами наборов данных, конкурсов и проектов) - отличные способы решения Это. Хорошее начало - формирование аналитического мышления. Работа над проектами в области машиностроения привела меня к неопределенным сценариям, когда мне приходилось потратить полсеместра, чтобы понять, что решать.

Остальное - это мышцы, которые я постоянно пытаюсь развить, изучая более продвинутую математику для вероятностного моделирования, теории графов и продвинутой линейной алгебры. Я лично не думаю, что нужно сопоставлять какую-либо работу. В конце дня каждый из нас выбирает из своей университетской подготовки разные вещи, которые более интересны, которые мы потом применяем в работе. Во-вторых, университет только дает толчок к обучению. Остальное обучение происходит в жизни после университета. Поэтому переключение полей возможно всегда. Сейчас я занимаюсь поиском работы, которая платит вам за изучение и применение этих концепций, но, конечно, есть множество магистерских программ и онлайн-магистров, где вы получите более концентрированную дозу теоретических знаний в обмен на деньги. Помимо этого, бесплатные ресурсы тоже не являются дефицитом. Сделайте ваш выбор.

Удачи и приятного путешествия.

Ресурсы: