У меня есть сервер на Google App Engine. Одна из моих задач — сопоставлять огромный набор записей с другим. Это занимает очень много времени, если мне нужно сопоставить 10000 записей со 100. Каков наилучший способ реализовать это.
Я использую стек Web2py и развернул свое приложение в Google App Engine.
может быть, я что-то неправильно понимаю, но это звучит как идеальное совпадение для очереди задач, и я не вижу, как многопоточность поможет, так как я думал, что это только то, что вы можете обслуживать много ответов одновременно, это не поможет, если ваши ответы занимают больше времени, чем 30-секундный лимит.
С помощью задачи вы можете добавить ее, затем обработать до истечения срока, а затем воссоздать другую задачу с оставшейся частью задачи, если вы не закончили свою работу к установленному сроку.
Многопоточность вашего кода не поддерживается в GAE, поэтому вы не можете использовать ее явно.
Сам GAE может быть многопоточным, что означает, что один экземпляр внешнего интерфейса может обрабатывать несколько HTTP-запросов одновременно.
В вашем случае лучший способ добиться параллельного выполнения задачи - это очередь задач.
Базовая структура того, что вы делаете, заключается в том, чтобы задание cron отвечало за разделение работы на более мелкие блоки и выполнение каждого блока с очередью задач. Полезной нагрузкой для каждой задачи будет информация, которая идентифицирует объекты в первом наборе (например, набор ключей). Каждая задача будет выполнять любые запросы, необходимые для соединения сущностей в первом наборе с сущностями во втором наборе, и сохранять промежуточные (или, возможно, окончательные) результаты. Вы можете настроить размер полезной нагрузки и скорость очереди задач, пока они не будут работать так, как вы хотите.
Если результаты каждой задачи должны быть агрегированы, вы можете сделать так, чтобы каждая задача записывала свое завершение и проверяла, все ли задачи завершены, или просто иметь другое задание, которое опрашивает записи завершения, чтобы запустить агрегацию. Когда функция MapReduce станет более доступной, это станет основой для выполнения такой работы.
http://www.youtube.com/watch?v=EIxelKcyCC0 http:// code.google.com/p/appengine-mapreduce/
