Алгоритм оптимизации # потоков, используемых в расчетах

Как насчет эволюционного алгоритма.

Начните с предположения. 1 поток на ядро ​​ЦП кажется хорошим, но зависит от поставленной задачи.

Измерьте среднее время выполнения каждой задачи в поколении. Сравните это со временем, затраченным предыдущим поколением. (Предположим, что фактически бесконечное время и 0 потоков для поколения 0).

Если задачи последнего поколения в среднем показали лучшее время, чем предыдущее, продолжайте изменять количество потоков в том же направлении, что и на предыдущем шаге (поэтому, если в последнем поколении было больше потоков, чем в предыдущем, добавьте поток для нового поколения, но если их было меньше, то используйте на один меньше (очевидно, с нижним пределом в 1 поток).

Если задачи последнего поколения выполнялись в среднем дольше, чем задачи предыдущего поколения, измените количество потоков в противоположном направлении (поэтому, если увеличение количества потоков привело к ухудшению времени, в следующий раз используйте на один поток меньше).

Пока оптимальное количество потоков не слишком близко к 1, вы, вероятно, в конечном итоге будете колебаться между 3 значениями, которые все достаточно близки к оптимальному. Вы можете захотеть явно обнаружить этот случай и заблокировать себя в центральном значении, если вам нужно иметь дело с большим количеством поколений.

Если вычисления полностью привязаны к процессору, количество потоков должно быть равно количеству ядер на машине. Таким образом вы минимизируете количество переключений контекста.

Если ваши вычисления связаны с вводом-выводом, сетью, синхронизацией или чем-то еще, что блокирует выполнение, вы должны найти ограничивающий ресурс и измерить его использование. Вам нужно следить за использованием и медленно добавлять больше потоков, пока использование не приблизится к 100%. У вас должно быть как можно меньше потоков, чтобы насытить ваш ограниченный ресурс.

Вы должны разделить свои поколения на множество небольших задач и поставить их в очередь. Создайте по одному потоку на ядро, и пусть каждый поток берет задачу для выполнения, выполняет ее до завершения и повторяет.

Вам нужно гораздо больше задач, чем ядер, чтобы быть уверенным, что в конце генерации не останется только одна задача, а все остальные потоки будут бездействовать. Это то, что может произойти, если вы установите #tasks = #threads = #cores, как предлагает Альбин (если вы не можете гарантировать, что все задачи занимают одинаковое количество времени).

Вы также, вероятно, не хотите больше потоков, чем ядер. Переключение контекста не очень дорого, но больший объем кэш-памяти, связанный с одновременным выполнением более чем #cores задач, может навредить вам (если только ваши задачи не используют очень мало памяти).