Встроенная функция Python hash ()

Используйте hashlib как hash() был разработан для использования:

быстро сравнивать ключи словаря во время поиска по словарю

и поэтому не гарантирует, что он будет одинаковым во всех реализациях Python.

Как указано в документации, встроенная функция hash () не предназначена для хранения результирующих хэшей где-то извне. Он используется для предоставления хеш-значения объекта, для хранения его в словарях и т. Д. Это также зависит от реализации (GAE использует модифицированную версию Python). Проверить:

>>> class Foo:
...     pass
... 
>>> a = Foo()
>>> b = Foo()
>>> hash(a), hash(b)
(-1210747828, -1210747892)

Как видите, они разные, поскольку hash () использует метод __hash__ объекта вместо «обычных» алгоритмов хеширования, таких как SHA.

Учитывая вышеизложенное, рациональным выбором является использование модуля hashlib.

Ответ совершенно не удивителен: на самом деле

In [1]: -5768830964305142685L & 0xffffffff
Out[1]: 1934711907L

поэтому, если вы хотите получить надежные ответы для строк ASCII, просто получите младшие 32 бита как uint. Хеш-функция для строк является 32-битной и почти переносимой.

С другой стороны, вы вообще не можете полагаться на получение hash() любого объекта, для которого вы явно не определили метод __hash__ как инвариантный.

В строках ASCII это работает просто потому, что хеш вычисляется для отдельных символов, образующих строку, как показано ниже:

class string:
    def __hash__(self):
        if not self:
            return 0 # empty
        value = ord(self[0]) << 7
        for char in self:
            value = c_mul(1000003, value) ^ ord(char)
        value = value ^ len(self)
        if value == -1:
            value = -2
        return value

где функция c_mul - это "циклическое" умножение (без переполнения), как в C.

Большинство ответов предполагают, что это связано с разными платформами, но это еще не все. Из документации object.__hash__(self):

По умолчанию значения __hash__() объектов str, bytes и datetime «подсолены» с непредсказуемым случайным значением. Хотя они остаются постоянными в рамках отдельного процесса Python, их нельзя предсказать между повторными вызовами Python.

Это предназначено для обеспечения защиты от отказа в обслуживании, вызванного тщательно подобранными входными данными, которые используют наихудшую производительность вставки dict, сложность O (n²). См. http://www.ocert.org/advisories/ocert-2011-003.html, чтобы узнать подробности.

Изменение значений хеш-функции влияет на порядок итерации dicts, sets и других сопоставлений. Python никогда не давал гарантий относительно этого порядка (и обычно он варьируется между 32-битными и 64-битными сборками).

Даже запуск на одной машине приведет к разным результатам при вызовах:

$ python -c "print(hash('http://stackoverflow.com'))"
-3455286212422042986
$ python -c "print(hash('http://stackoverflow.com'))"
-6940441840934557333

Пока:

$ python -c "print(hash((1,2,3)))"
2528502973977326415
$ python -c "print(hash((1,2,3)))"
2528502973977326415

См. Также переменную среды PYTHONHASHSEED:

Если эта переменная не установлена ​​или имеет значение random, для заполнения хэшей объектов str, bytes и datetime используется случайное значение.

Если для PYTHONHASHSEED задано целочисленное значение, оно используется в качестве фиксированного начального числа для генерации hash() типов, охватываемых рандомизацией хэша.

Его цель - разрешить повторяемое хеширование, например, для самотестирования самого интерпретатора, или позволить кластеру процессов Python совместно использовать хеш-значения.

Целое число должно быть десятичным числом в диапазоне [0, 4294967295]. Указание значения 0 отключит рандомизацию хэша.

Например:

$ export PYTHONHASHSEED=0                            
$ python -c "print(hash('http://stackoverflow.com'))"
-5843046192888932305
$ python -c "print(hash('http://stackoverflow.com'))"
-5843046192888932305

Результаты хеширования варьируются между 32-битными и 64-битными платформами.

Если рассчитанный хэш должен быть одинаковым на обеих платформах, рассмотрите возможность использования

def hash32(value):
    return hash(value) & 0xffffffff

Предположительно, AppEngine использует 64-битную реализацию Python (-5768830964305142685 не влезет в 32-битную версию), а ваша реализация Python - 32-битная. Вы не можете полагаться на то, что хэши объектов будут значимо сопоставимы между различными реализациями.

Это хеш-функция, которую Google использует в производстве для Python 2.5:

def c_mul(a, b):
  return eval(hex((long(a) * b) & (2**64 - 1))[:-1])

def py25hash(self):
  if not self:
    return 0 # empty
  value = ord(self[0]) << 7
  for char in self:
    value = c_mul(1000003, value) ^ ord(char)
  value = value ^ len(self)
  if value == -1:
    value = -2
  if value >= 2**63:
    value -= 2**64
  return value

А как насчет знакового бита?

Например:

Шестнадцатеричное значение 0xADFE74A5 представляет собой 2919134373 без знака и -1375832923 со знаком. Текущее значение должно быть подписано (бит знака = 1), но python преобразует его как беззнаковое, и у нас есть неправильное хеш-значение после перевода с 64 на 32 бит.

Будьте осторожны при использовании:

def hash32(value):
    return hash(value) & 0xffffffff

Полиномиальный хеш для строк. 1000000009 и 239 - произвольные простые числа. Случайное столкновение маловероятно. Модульная арифметика не очень быстрая, но для предотвращения коллизий это более надежно, чем взятие ее по модулю степени 2. Конечно, нарочно найти столкновение легко.

mod=1000000009
def hash(s):
    result=0
    for c in s:
        result = (result * 239 + ord(c)) % mod
    return result % mod

Значение PYTHONHASHSEED может использоваться для инициализации хеш-значений.

Пытаться:

PYTHONHASHSEED python -c 'print(hash('http://stackoverflow.com'))'

Вероятно, он просто запрашивает функцию, предоставляемую операционной системой, а не свой собственный алгоритм.

Как говорится в других комментариях, используйте hashlib или напишите свой собственная хеш-функция.