Как объединить или объединить два разреженных вектора в Spark с помощью Java?

Я использовал API Java, то есть Apache-Spark 1.2.0, и создал два вектора синтаксического анализа следующим образом.

Vector v1 = Vectors.sparse(3, new int[]{0, 2}, new double[]{1.0, 3.0});
Vector v2 = Vectors.sparse(2, new int[]{0, 1}, new double[]{4,5});

Как я могу получить новый вектор v3, который формируется путем объединения v1 и v2, чтобы результат был: (5, [0,2,3,4],[1.0, 3.0, 4.0, 5.0])


java apache-spark apache-spark-mllib sparse-matrix
person HappyCoding    schedule 07.04.2015    source источник
comment
вы могли бы написать метод, который добавляет первое число и объединяет массивы?   -  person Loki    schedule 07.04.2015
comment
это тоже выполнимо. Мне интересно, есть ли для этой цели существующая утилита в spark mllib.   -  person HappyCoding    schedule 07.04.2015

Ответы (1)


arrow_upward
3
arrow_downward

Я обнаружил, что проблема была один год и все еще находится на рассмотрении. Здесь я решил проблему, самостоятельно написав вспомогательную функцию следующим образом.

public static SparseVector combineSparseVectors(SparseVector... svs) {
    int size = 0;
    int nonzeros = 0;
    for (SparseVector sv : svs) {
        size += sv.size();
        nonzeros += sv.indices().length;
    }

    if (nonzeros != 0) {
        int[] indices = new int[nonzeros];
        double[] values = new double[nonzeros];

        int pointer_D = 0;
        int totalPt_D = 0;
        int pointer_V = 0;
        for (SparseVector sv : svs) {
            int[] indicesSV = sv.indices();
            for (int i : indicesSV) {
                indices[pointer_D++] = i + totalPt_D;
            }
            totalPt_D += sv.size();

            double[] valuesSV = sv.values();
            for (double d : valuesSV) {
                values[pointer_V++] = d;
            }

        }
        return new SparseVector(size, indices, values);
    } else {
        System.out.println("all zeroes");
        return null;
    }

}
person HappyCoding    schedule 22.02.2016