В JMH (Java Microbenchmark Harness) мы можем использовать
@BenchmarkMode(Mode.AverageTime)
@Warmup(iterations = 10)
@Measurement(iterations = 10)
для оценки среднего времени выполнения после прогрева JVM.
Также мы можем использовать
@BenchmarkMode(Mode.SingleShotTime)
@Measurement(iterations = 1)
чтобы оценить время холодного старта выполнения. Но при этом тест выполняется только один раз, что может привести к смещению. Так есть ли способ оценить среднее время холодного старта в JMH?
По словам самого Алексея (правда, с 2014 г. ):
Одноразовые тесты изначально предназначались для выполнения одной итерации измерения на нескольких вилках - сценариев для оценки холодных характеристик. Но во многих случаях вам может потребоваться больше итераций измерения, особенно если вы используете только одну вилку, потому что будет сгенерировано больше выборок.
@BenchmarkMode(Mode.AverageTime)
@OutputTimeUnit(TimeUnit.NANOSECONDS)
public class AverageSingleShot {
public static void main(String[] args) throws Exception {
Options opt = new OptionsBuilder()
.include(AverageSingleShot.class.getSimpleName())
.build();
new Runner(opt).run();
}
@Fork(100)
@Benchmark
@BenchmarkMode(Mode.SingleShotTime)
public int test() {
return ThreadLocalRandom.current().nextInt() + ThreadLocalRandom.current().nextInt();
}
}
Помимо того факта, что это покажет вам среднее (см. Это 100):
Benchmark Mode Cnt Score Error Units
AverageSingleShot.test ss 100 41173.540 ± 2871.546 ns/op
вы также получите Percentiles и Histogram.
Warmup действительно неверно, но Measurement может зависеть от того, что делает ваш тест. Если вы хотите измерить invokedynamic раз (что дорого при первом вызове) - вы можете быть правы, но в приведенном выше тесте C1 компилятор не оживет для 100 вызовов, поэтому я думаю, это тоже обрабатывается холодно.
- person Eugene; 05.12.2020
