Является ли $group в структуре агрегации MongoDB в многопоточной версии MongoDB 2.2?

Мне интересно, является ли функция $group в структуре агрегации MongoDB 2.2 многопоточной.

Для этого вопроса я сделал несколько небольших тестов. Набор данных, который я использовал, используется для хранения около 4 миллионов электронных писем, и каждое электронное письмо имеет следующий формат:

shard1:PRIMARY> db.spams.findOne()
{
"IP" : "113.162.134.245",
"_id" : ObjectId("4ebe8c84466e8b1a56000028"),
"attach" : [ ],
"bot" : "Lethic",
"charset" : "iso-8859-1",
"city" : "",
"classA" : "113",
"classB" : "113.162",
"classC" : "113.162.134",
"content_type" : [ ],
"country" : "Vietnam",
"cte" : "7bit",
"date" : ISODate("2011-11-11T00:07:12Z"),
"day" : "2011-11-11",
"from_domain_a" : "domain157939.com",
"geo" : "VN",
"host" : "",
"lang" : "unknown",
"lat" : 16,
"long" : 106,
"sequenceID" : "user648",
"size" : 1060,
"smtp-mail-from_a" : "[email protected]",
"smtp-rcpt-to_a" : "[email protected]",
"subject_ta" : "nxsy8",
"uri" : [ ],
"uri_domain" : [ ],
"x_p0f_detail" : "2000 SP4, XP SP1+",
"x_p0f_genre" : "Windows",
"x_p0f_signature" : "65535:105:1:48:M1402,N,N,S:."
}

Я разработал запрос для поиска всех электронных писем в течение одного дня, одной недели, одного месяца, полугодия и одного года. Затем сгруппируйте результат по полю «бот».

Для этого я использую фреймворк агрегации и java-диск. Код Java выглядит следующим образом:

public class RangeQuery {
final private String mongoUrl = "172.16.10.61:30000";
final private String databaseName = "test";
final private String collecName = "spams";
private DBCollection collection = null;
private DB db = null;

    public void init(){
    Mongo mongo = null;
    try {
        mongo = new Mongo(new DBAddress(mongoUrl));
    } catch (MongoException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    } catch (UnknownHostException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    }
    db = mongo.getDB(databaseName);
    db.requestStart();
    collection = db.getCollection(collecName);
}

    public void queryRange_GroupBot(boolean printResult){
    DateFormat formatter = new SimpleDateFormat("yyyy-MM-dd'T'hh:mm:ss'Z'");
    String toDateStr [] = new String[5] ;
    toDateStr[0] = "2011-01-02T00:00:00Z";
    toDateStr[1] = "2011-01-07T00:00:00Z";
    toDateStr[2] = "2011-02-01T00:00:00Z";
    toDateStr[3] = "2011-06-01T00:00:00Z";
    toDateStr[4] = "2012-01-01T00:00:00Z";

    String toPrint [] = new String[5];
    toPrint[0] = "Within One day";
    toPrint[1] = "Within One week";
    toPrint[2] = "Within One month";
    toPrint[3] = "Within half year";
    toPrint[4] = "Within One year";

    try {
        System.out.println("\n------Query Time Range Group by Bot------");
        for(int i = 0;i < 5;i++){
            System.out.println("    ---" + toPrint[i] + "---");
            Date fromDate = formatter.parse("2011-01-01T00:00:00Z");
            Date toDate = formatter.parse(toDateStr[i]);

            DBObject groupFields = new BasicDBObject( "_id", "$bot");
            groupFields.put("sum", new BasicDBObject( "$sum", 1));
            DBObject group = new BasicDBObject("$group", groupFields);

            DBObject cond1 = new BasicDBObject();
            cond1.put("date", new BasicDBObject("$gte", fromDate));
            DBObject cond2 = new BasicDBObject();
            cond2.put("date", new BasicDBObject("$lte", toDate));
            DBObject match1 = new BasicDBObject("$match", cond1 );
            DBObject match2 = new BasicDBObject("$match", cond2 );

            for(int j = 0;j < 1;j++){
                Long runBefore = Calendar.getInstance().getTime().getTime();
                AggregationOutput aggOutput = collection.aggregate(match1, match2, group);
                Long runAfter = Calendar.getInstance().getTime().getTime();
                if(printResult){
                    System.out.println(aggOutput.getCommandResult());
                }
                System.out.println("[Query Range + Group by Bot]: " + (runAfter - runBefore) + " ms.");
            }
        }
    } catch (ParseException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    }
}

    public static void main(String[] args){
    RangeQuery rangQuery = new RangeQuery();
    rangQuery.init();
    rangQuery.queryRange_GroupBot_MapReduce(true);
  }
  }

Результат выглядит следующим образом:

  Within One day(2011-01-01 -> 2011-01-02)      54173 ms
  Within One week(2011-01-01 -> 2011-01-07)     54277 ms
  Within One month(2011-01-01 -> 2011-02-01)    54387 ms
  Within half year(2011-01-01 -> 2011-06-01)    53035 ms
  Within One year(2011-01-01 -> 2012-01-01)     54116 ms

Что меня удивляет, так это то, что обычно группа за год должна быть медленнее, чем за один день, так как она содержит больше записей. (записи в наборе данных равномерно распределены во времени)

Если я просто использую db.spams.find({"date":{$gt:ISODate(xxx), {$lt: xxx}}}).count, я вижу, что запрос за год стоит больше, чем запрос за день.

Но почему, когда я использую $group, эта функция занимает почти столько же времени, сколько я увеличиваю временной диапазон?

Я знаю, что структура агрегации написана на C++, я использую mongodb 2.2, использовала ли структура агрегации несколько потоков или какие-то другие методы для повышения производительности?


person Felix    schedule 29.01.2013    source источник


Ответы (1)


Согласно этому обсуждению: https://groups.google.com/forum/?fromgroups=#!topic/mongodb-user/xCSww5spXPc

В настоящее время каждый конвейер является однопоточным, но вы можете запускать разные конвейеры параллельно. Таким образом, если у вас есть 100 подключений, каждое из которых выполняет команду агрегации, потенциально они будут выполняться параллельно, но каждая команда будет выполняться в 1 потоке.

person attish    schedule 29.01.2013
comment
Спасибо, если один пайплайн однопоточный, то почему время группировки одного года может быть таким же, как группировка одного дня? Хотя MongoDB запускает его в памяти, я думаю, что он не может работать так быстро... - person Felix; 29.01.2013
comment
Я мог только догадываться, что пока у вас нет индексов, (если нет) две фазы совпадения все равно должны сканировать данные (по крайней мере, первая, независимо от того, насколько длинным является интервал), а последний шаг группировка находится в памяти. - person attish; 29.01.2013
comment
Привет, на самом деле я добавил индекс на сегодняшний день, это поле, которое я запрашиваю. Я провел этот тест в сегментированной среде и использовал дату в качестве ключа сегментирования. Как вы знаете, нам нужно проиндексировать его, прежде чем использовать в качестве ключа сегментирования. - person Felix; 29.01.2013
comment
в этом случае: docs.mongodb.org/manual/applications/aggregation/ группа будет работать параллельно на осколках, монго объединят результат, а совпадение исключит только осколки. Вот почему нет действительно больших различий, просто комбинация работает на монго. - person attish; 29.01.2013