Запросы Titan Graph выполняются слишком долго

У меня проблема со скоростью выполнения запросов Титана.

Чтобы быть более конкретным: я создал файл свойств для своего графика с помощью BerkeleyJe, который выглядит следующим образом:

storage.backend=berkeleyje
storage.directory=/finalGraph_script/graph

После этого я открыл Gremlin.bat, чтобы открыть свой график.

Я настроил все необходимые ключи индекса для своих узлов:

m = g.getManagementSystem();
username = m.makePropertyKey('username').dataType(String.class).make()
m.buildIndex('byUsername',Vertex.class).addKey(username).unique().buildCompositeIndex()
m.commit()
g.commit()

(все остальные ключи создаются таким же образом...)

Я импортировал файл csv, содержащий около 100 000 строк, каждая строка создает как минимум 2 узла и несколько ребер. Все это делается через пакетную загрузку. Это работает без проблем.

Затем я выполняю запрос groupBy, который выглядит так:

m = g.V.has("imageLink").groupBy{it.imageLink}{it.in("is_on_image").out("is_species")}{it._().species.groupCount().cap.next()}.cap.next()

С помощью этого запроса я хочу, чтобы для каждого узла с ключом свойства «imageLink» было указано количество различных «видов». «Виды» также являются узлами, и их можно вызвать, вернувшись назад по ребру «is_on_image» и следуя по ребру «is_species». Ну, это также работает как шарм для моих последних узлов. Этот запрос занимает около 2 минут на моем локальном ПК.

Но теперь к проблеме. Весь мой набор данных представляет собой CSV с 10 миллионами записей. Структура такая же, как и выше, и каждая линия также создает как минимум 2 узла и несколько ребер.

С моего локального ПК я даже не могу импортировать этот набор, вызывая исключение памяти после 3 дней загрузки.

Поэтому я попробовал то же самое на сервере с гораздо большим объемом ОЗУ и памяти. Там Импорт работает и занимает около 1 дня. Но groupBy выходит из строя примерно через 3 дня. На самом деле я не знаю, выходит ли из строя сам groupBy или просто соединение с сервером после такого длительного времени.

Итак, мой первый вопрос: по моему мнению, около 15 миллионов узлов не должны иметь большого значения для графовой базы данных, не так ли?

Второй вопрос: Это нормально, что это занимает так много времени? Или можно как-то ускорить его с помощью индексов? Я настроил индексы, как указано выше :(

Я не знаю, какая именно информация вам нужна, чтобы помочь мне, но, пожалуйста, просто скажите мне, что вам нужно в дополнение к этому.

Большое спасибо! С уважением, Рикардо

РЕДАКТИРОВАТЬ 1: Способ загрузки CSV в график: я использую этот код, я удалил некоторые ненужные свойства, которые также устанавливают свойство для некоторых узлов, загруженных таким же образом.

bg = new BatchGraph(g, VertexIDType.STRING, 10000)
new File("annotation_nodes_wNothing.csv").eachLine({ final String line ->def (annotationId,species,username,imageLink) = line.split('\t')*.trim();def userVertex = bg.getVertex(username) ?: bg.addVertex(username);def imageVertex = bg.getVertex(imageLink) ?: bg.addVertex(imageLink);def speciesVertex = bg.getVertex(species) ?: bg.addVertex(species);def annotationVertex = bg.getVertex(annotationId) ?: bg.addVertex(annotationId);userVertex.setProperty("username",username);imageVertex.setProperty("imageLink", imageLink);speciesVertex.setProperty("species",species);annotationVertex.setProperty("annotationId", annotationId);def classifies = bg.addEdge(null, userVertex, annotationVertex, "classifies");def is_on_image = bg.addEdge(null, annotationVertex, imageVertex, "is_on_image");def is_species = bg.addEdge(null, annotationVertex, speciesVertex, "is_species");})
bg.commit()
g.commit()