Как обеспечить точные результаты стресс-тестов?

Я написал сценарий для проекта, который проводит стресс-тестирование процессора, виртуальной машины и ввода-вывода при запуске vmstat, iostat и sar. Все скрипты работают 30 секунд. Однако мой наставник попросил меня убедиться, что результаты точны? Как я могу быть уверен? Конечно, я просто верю машине на слово после нескольких тестов? Тесты проводились в течение 60 секунд каждый, поэтому у меня есть команды, чтобы попытаться обеспечить честный тест, но как я могу быть уверен, что они точны в соответствии с опасениями моего наставника? Любые идеи?

Системы представляют собой серверные версии Ubuntu 12.04, Debian 7 и Suse 11.


bash linux performance-testing stress-testing ubuntu-12.04
person paul    schedule 09.03.2015    source источник
comment
Ваш наставник может иметь в виду, что вместе с тестами не должно быть запущено лишних программ/демонов.   -  person Paul Evans    schedule 09.03.2015
comment
30 секунд также звучат как несколько ограниченное окно сэмплирования. Возможно, запускайте его несколько раз в разное время дня и т. д. в течение более длительного периода времени, чтобы улучшить статистическую достоверность.   -  person tripleee    schedule 09.03.2015
comment
извините, я имел в виду 60 секунд, они все работают в течение 60, потому что я думал, что это достаточно долго, но все же достаточно коротко, чтобы при необходимости запускать несколько раз. Я закрыл все остальные процессы как в Windows, так и в Linux, и у меня работает только одна программа - моя виртуальная машина. тесты запускаются с помощью команды stress - без использования sysbench или чего-либо еще. каким-либо другим способом я мог гарантировать, что они точны? все результаты кажутся одинаковыми после нескольких тестов.   -  person paul    schedule 09.03.2015
comment
@Paul, возможно, собирал поддающиеся проверке данные обо всех вышеуказанных усилиях, которые вы предприняли, чтобы гарантировать достоверность ваших результатов?   -  person Paul Evans    schedule 09.03.2015
comment
Что ты имеешь в виду? скриншоты, показывающие, что в фоновом режиме больше ничего не работает, например? или доказательство того, что я запускал их несколько раз? это в соответствии с тем, что вы имеете в виду?   -  person paul    schedule 09.03.2015
comment
@paul Полагаю, мне кажется, ты усердно выполняешь тесты, но твой наставник просит большего. Может быть, вам стоит спросить его/ее, что именно они хотят от вас.   -  person Paul Evans    schedule 09.03.2015
comment
Я проверил ваши комментарии с моим наставником, и они демонстрируют должное внимание к определению точности. Спасибо.   -  person paul    schedule 10.03.2015

Ответы (1)


arrow_upward
1
arrow_downward

Невозможно узнать, что беспокоит вашего наставника, поэтому вы должны спросить его!

«точность» обычно означает, что результаты вашего теста не должны быть компенсированы фактором, который вы не принимаете во внимание, например, некоторые функции ЦП отключены или не используются, различия в конфигурации программного обеспечения и т. д.

Что вы вообще оцениваете? Оценка производительности ЦП — это не то же самое, что оценка конкретной аппаратной системы, которая, однако, отличается, если учитывать и программное обеспечение. По сути, вам нужно устранить все различия, которые не являются частью вашей оценки, и убедиться, что остальная часть конфигурации является репрезентативной (например, установка современной ОС, которая поддерживает все функции, предоставляемые процессором).

И помните, что в конце концов вы всегда будете верить машине на слово, другого пути просто нет. Все, что вы можете сказать, это то, что вы учли все известные вам факторы и надеетесь, что факторы, оставшиеся неизвестными, не окажут большого влияния.

person Dmitry Grigoryev    schedule 09.03.2015
comment
Я поделился вашими комментариями с репетитором, и они их приняли. Я гарантировал соблюдение принципов множественных тестов, отсутствия фоновых процессов, закрытых оконных программ и длительных периодов времени. Спасибо. - person paul; 10.03.2015