Основные рекомендации по высокопроизводительному бенчмаркингу

Я собираюсь протестировать несколько реализаций программного обеспечения для численного моделирования на высокопроизводительном компьютере, в основном в отношении времени, но другие ресурсы, такие как использование памяти, взаимодействие между процессами и т. д., также могут быть интересны.

На данный момент я не знаю общих рекомендаций по тестированию программного обеспечения (в этой области). Я также не знаю, сколько шума при измерении разумно ожидать, и сколько тестов обычно проводят. Хотя эти проблемы зависят от системы, конечно, я почти уверен, что существуют некоторые стандарты, которые считаются разумными.

Можете ли вы предоставить такую ​​(вводную) информацию?


benchmarking scientific-computing supercomputers
person shuhalo    schedule 03.09.2010    source источник
comment
Вы тестируете свое собственное программное обеспечение (которое вы можете модифицировать) или ...?   -  person Rook    schedule 04.09.2010
comment
самописное программное обеспечение. На данный момент я хочу выяснить, оказывает ли какое-либо изменение выравнивания памяти положительное влияние на время вычислений (ключевое слово: кэширование). Далее предстоит тест на масштабируемость некоторого расширения программы.   -  person shuhalo    schedule 04.09.2010

Ответы (2)


arrow_upward
3
arrow_downward

Если тест не занимает много времени, я повторяю его (например, 10 000 раз), чтобы он занял несколько секунд.

Затем я делаю это несколько раз (например, 5 раз), чтобы увидеть, воспроизводимы ли результаты теста (или они сильно различаются).

У этого подхода есть ограничения (например, тестирование с «теплым» кешем), но это лучше, чем ничего: и особенно хорошо подходит для сравнения похожего кода, например. чтобы увидеть, действительно ли настройка производительности некоторого существующего кода улучшила производительность (т. Е. Для выполнения тестирования «до» и «после»).

person ChrisW    schedule 03.09.2010

arrow_upward
1
arrow_downward

Лучший способ - проверить работу, для которой вы действительно будете его использовать!

Можете ли вы запустить образец реальной проблемы, который займет всего несколько минут, и просто засечь время на разных машинах?

person Martin Beckett    schedule 03.09.2010