Что такое _md5.md5 и почему hashlib.md5 намного медленнее?

Набор, содержащий имена алгоритмов хеширования, которые гарантированно поддерживаются этим модулем на всех платформах. Обратите внимание, что «md5» есть в этом списке, несмотря на то, что некоторые поставщики исходных продуктов предлагают странную «совместимую с FIPS» сборку Python, которая исключает его.

Ниже приведен пример пользовательской установки Python 2.7 (которую я создал довольно давно, стоит отметить, что она динамически связывается с OpenSSL .dll):

e:\Work\Dev\StackOverflow\q059955854>sopr.bat
*** Set shorter prompt to better fit when pasted in StackOverflow (or other) pages ***

[prompt]> "F:\Install\pc064\HPE\OPSWpython\2.7.10__00\python.exe" -c "import sys, ssl;print(\"{0:}\n{1:}\".format(sys.version, ssl.OPENSSL_VERSION))"
2.7.10 (default, Mar  8 2016, 15:02:46) [MSC v.1600 64 bit (AMD64)]
OpenSSL 1.0.2j-fips  26 Sep 2016

[prompt]> "F:\Install\pc064\HPE\OPSWpython\2.7.10__00\python.exe" -c "import hashlib as hl;print(hl.md5(\"A\").hexdigest())"
7fc56270e7a70fa81a5935b72eacbe29

[prompt]> "F:\Install\pc064\HPE\OPSWpython\2.7.10__00\python.exe" -c "import ssl;ssl.FIPS_mode_set(True);import hashlib as hl;print(hl.md5(\"A\").hexdigest())"
Traceback (most recent call last):
  File "<string>", line 1, in <module>
ValueError: error:060A80A3:digital envelope routines:FIPS_DIGESTINIT:disabled for fips

Что касается вопроса скорости, я могу только предполагать:

• Реализация Python была (очевидно) написана специально для Python, что означает, что она "более оптимизирована" (да, это грамматически неправильно) для Python, чем универсальная версия, а также находится в python*.so (или в самом исполняемом файле python)
• Реализация OpenSSL находится в libcrypto*.so, и к ней обращается оболочка _hashlib.so, которая выполняет обратное и обратное преобразование между < em>Python (PyObject*) и OpenSSL (EVP_MD_CTX*)

Принимая во внимание вышеизложенное, логично предположить, что первый вариант (немного) быстрее (по крайней мере, для небольших сообщений, где накладные расходы (вызов функции и другие базовые операции Python) занимают значительный процент общего времени. по сравнению с самим хешированием). Также необходимо учитывать и другие факторы (например, использовались ли ускорения ассемблера OpenSSL).

Обновить #0

Ниже приведены некоторые мои собственные тесты.

code00.py:

#!/usr/bin/env python

import sys
from hashlib import md5 as md5_openssl
from _md5 import md5 as md5_builtin
import timeit


def main(*argv):
    base_text = b"A"
    number = 1000000
    print("timeit attempts number: {0:d}".format(number))
    #x = []
    #y = {}
    for count in range(0, 16):
        factor = 2 ** count
        text = base_text * factor
        globals_dict = {"text": text}
        #x.append(factor)
        print("\nUsing a {0:8d} (2 ** {1:2d}) bytes message".format(len(text), count))
        for func in [
            md5_openssl,
            md5_builtin,
        ]:
            globals_dict["md5"] = func

            t = timeit.timeit(stmt="md5(text)", globals=globals_dict, number=number)
            print("    {0:12s} took: {1:11.6f} seconds".format(func.__name__, t))
            #y.setdefault(func.__name__, []).append(t)
    #print(x, y)


if __name__ == "__main__":
    print("Python {0:s} {1:d}bit on {2:s}\n".format(" ".join(item.strip() for item in sys.version.split("\n")), 64 if sys.maxsize > 0x100000000 else 32, sys.platform))
    main(*sys.argv[1:])
    print("\nDone.")

Вывод:

• Win 10 pc064 (на ноутбуке Dell Precision 5510):

  [prompt]> "e:\Work\Dev\VEnvs\py_pc064_03.07.06_test0\Scripts\python.exe" code00.py
  Python 3.7.6 (tags/v3.7.6:43364a7ae0, Dec 19 2019, 00:42:30) [MSC v.1916 64 bit (AMD64)] 64bit on win32
  
  timeit attempts number: 1000000
  
  Using a        1 (2 **  0) bytes message
      openssl_md5  took:    0.449134 seconds
      md5          took:    0.120021 seconds
  
  Using a        2 (2 **  1) bytes message
      openssl_md5  took:    0.460399 seconds
      md5          took:    0.118555 seconds
  
  Using a        4 (2 **  2) bytes message
      openssl_md5  took:    0.451850 seconds
      md5          took:    0.121166 seconds
  
  Using a        8 (2 **  3) bytes message
      openssl_md5  took:    0.438398 seconds
      md5          took:    0.118127 seconds
  
  Using a       16 (2 **  4) bytes message
      openssl_md5  took:    0.454653 seconds
      md5          took:    0.122818 seconds
  
  Using a       32 (2 **  5) bytes message
      openssl_md5  took:    0.450776 seconds
      md5          took:    0.118594 seconds
  
  Using a       64 (2 **  6) bytes message
      openssl_md5  took:    0.555761 seconds
      md5          took:    0.278812 seconds
  
  Using a      128 (2 **  7) bytes message
      openssl_md5  took:    0.681296 seconds
      md5          took:    0.455921 seconds
  
  Using a      256 (2 **  8) bytes message
      openssl_md5  took:    0.895952 seconds
      md5          took:    0.807457 seconds
  
  Using a      512 (2 **  9) bytes message
      openssl_md5  took:    1.401584 seconds
      md5          took:    1.499279 seconds
  
  Using a     1024 (2 ** 10) bytes message
      openssl_md5  took:    2.360966 seconds
      md5          took:    2.878650 seconds
  
  Using a     2048 (2 ** 11) bytes message
      openssl_md5  took:    4.383245 seconds
      md5          took:    5.655477 seconds
  
  Using a     4096 (2 ** 12) bytes message
      openssl_md5  took:    8.264774 seconds
      md5          took:   10.920909 seconds
  
  Using a     8192 (2 ** 13) bytes message
      openssl_md5  took:   15.521947 seconds
      md5          took:   21.895179 seconds
  
  Using a    16384 (2 ** 14) bytes message
      openssl_md5  took:   29.947287 seconds
      md5          took:   43.198639 seconds
  
  Using a    32768 (2 ** 15) bytes message
      openssl_md5  took:   59.123447 seconds
      md5          took:   86.453821 seconds
  
  Done.
  

• Ubtu 16 pc064 (VM работает в VirtualBox на указанном выше компьютере):

  [064bit-prompt]> python3 code00.py
  Python 3.5.2 (default, Oct  8 2019, 13:06:37) [GCC 5.4.0 20160609] 64bit on linux
  
  timeit attempts number: 1000000
  
  Using a        1 (2 **  0) bytes message
      openssl_md5  took:    0.246166 seconds
      md5          took:    0.130589 seconds
  
  Using a        2 (2 **  1) bytes message
      openssl_md5  took:    0.251019 seconds
      md5          took:    0.127750 seconds
  
  Using a        4 (2 **  2) bytes message
      openssl_md5  took:    0.257018 seconds
      md5          took:    0.123116 seconds
  
  Using a        8 (2 **  3) bytes message
      openssl_md5  took:    0.245399 seconds
      md5          took:    0.128267 seconds
  
  Using a       16 (2 **  4) bytes message
      openssl_md5  took:    0.251832 seconds
      md5          took:    0.136373 seconds
  
  Using a       32 (2 **  5) bytes message
      openssl_md5  took:    0.248410 seconds
      md5          took:    0.140708 seconds
  
  Using a       64 (2 **  6) bytes message
      openssl_md5  took:    0.361016 seconds
      md5          took:    0.267021 seconds
  
  Using a      128 (2 **  7) bytes message
      openssl_md5  took:    0.478735 seconds
      md5          took:    0.413986 seconds
  
  Using a      256 (2 **  8) bytes message
      openssl_md5  took:    0.707602 seconds
      md5          took:    0.695042 seconds
  
  Using a      512 (2 **  9) bytes message
      openssl_md5  took:    1.216832 seconds
      md5          took:    1.268570 seconds
  
  Using a     1024 (2 ** 10) bytes message
      openssl_md5  took:    2.122014 seconds
      md5          took:    2.429623 seconds
  
  Using a     2048 (2 ** 11) bytes message
      openssl_md5  took:    4.158188 seconds
      md5          took:    4.847686 seconds
  
  Using a     4096 (2 ** 12) bytes message
      openssl_md5  took:    7.839173 seconds
      md5          took:    9.242224 seconds
  
  Using a     8192 (2 ** 13) bytes message
      openssl_md5  took:   15.282232 seconds
      md5          took:   18.368874 seconds
  
  Using a    16384 (2 ** 14) bytes message
      openssl_md5  took:   30.681912 seconds
      md5          took:   36.755073 seconds
  
  Using a    32768 (2 ** 15) bytes message
      openssl_md5  took:   60.230543 seconds
      md5          took:   73.237356 seconds
  
  Done.
  

Результат, кажется, сильно отличается от вашего. В моем случае:

• Начиная где-то с сообщений размером [~512B .. ~1KiB] реализация OpenSSL работает лучше, чем встроенная
• Я знаю, что результатов слишком мало, чтобы претендовать на закономерность, но похоже, что обе реализации линейно пропорциональны (с точки зрения времени) размеру сообщения (но встроенный наклон кажется немного круче, что означает, что он будет работать хуже). в долгосрочной перспективе)

В заключение, если все ваши сообщения небольшие, а встроенная реализация работает лучше всего для вас, то используйте ее.

Обновление #1

Графическое представление (мне пришлось уменьшить количество итераций timeit на порядок, так как для больших сообщений это занимало бы слишком много времени):