Cortex Labs и лаборатория EDA Института микроэлектроники Университета Цинхуа недавно представили совместную исследовательскую работу.
Тема совместного исследования - Распределенная обучающая система с важной градиентной фильтрацией и отложенным обновлением. Предлагаемое решение направлено на значительное снижение требований к пропускной способности сети для обучения глубокому обучению. В документе также исследуется конвергенция в крупномасштабных распределенных системах глубокого обучения. Полученные результаты обеспечивают убедительную теоретическую осуществимость и практическое доказательство того, что машины для обработки PoW могут достичь крупномасштабного распределенного глубокого обучения в плохих сетевых условиях.
Это может привести к освобождению графических процессоров от материнской платы и ограничению полосы пропускания PCIE для выполнения операций глубокого обучения. Реализация таких решений может повысить вычислительную мощность для глубокого обучения в распределенных сетях, давая им шанс конкурировать с централизованными гигантами, обладающими высокой вычислительной мощностью глубокого обучения.
