Я успешно попытался применить метод GridSearch для поиска лучших параметров SVM, и теперь я хотел бы применить его к нейронным сетям (MLPClassifier), чтобы найти лучшую архитектуру (т.е. количество слоев и нейронов / слой), лучшую активацию функция, ...
Однако мне было интересно, не будет ли это слишком затратным с точки зрения вычислений? Более того, как мне определить свою «сетку» по количеству слоев и нейронов? Это уже было проверено? Спасибо
Да, ряд слоев и нейронов считается частью гиперпараметров.
На мой взгляд, поиск по сетке - не лучший вариант для нейронных сетей из-за проклятия размерности. Обычно люди рассматривают простой случайный поиск, особенно на ранних этапах разработки. Это работает, потому что довольно часто некоторые гиперпараметры не сильно влияют на функцию потерь, поэтому нет смысла перебирать все возможные комбинации.
Итак, я бы предложил следующий цикл:
В некоторых особых случаях можно использовать оптимизацию на основе градиента и байесовскую оптимизацию, но эти параметры очень специфичны для конкретной задачи.
