(Этот блог был написан в сотрудничестве с Чжевэй Яо, Сехун Ким, Майклом В. Махони и Куртом Койцером. Данные, использованные для этого исследования, доступны в Интернете .) Объем вычислений, необходимых для обучения моделей SOTA AI в области компьютерного зрения (CV), обработки естественного языка (NLP) и обучения речи, в последнее время увеличивается со скоростью 15 раз каждые два года, как показано на рисунке 1. Важно отметить, что это масштабирование был значительно более быстрым..