Вопросы по теме 'dataflow'
Языки программирования потоков данных
Что такое язык программирования потока данных? Зачем это использовать? И есть ли в этом польза?
41280 просмотров
schedule
12.02.2023
Magento - Модуль VS Dataflow
Magento - Модуль VS Dataflow
Я рассматриваю возможность ---- использования Magento DataFlow для извлечения информации из базы данных для связи с видео CMS.
Это могло сэкономить время разработки, а могло и нет.
Он мог быть более стабильным, а...
943 просмотров
schedule
18.03.2022
Есть ли имя для алгоритма, который находит минимальный набор ресурсов, который не допускает конкуренции за ресурсы в графе потока данных/взвешенном DAG?
Я не уверен, есть ли у этого простое решение или это «именованный» алгоритм, поэтому я решил спросить здесь.
У меня есть график потока данных (DFG) от компилятора. Это взвешенный по дуге DAG. Веса дуг обозначают задержку различных операций, а...
113 просмотров
schedule
19.09.2022
Аномалия DD и очистка ресурсов базы данных: есть ли чистое решение?
Вот кусок кода, который мы все написали:
public CustomerTO getCustomerByCustDel(final String cust, final int del)
throws SQLException {
final PreparedStatement query = getFetchByCustDel();
ResultSet records = null;...
3890 просмотров
schedule
27.06.2022
SSIS как найти удаленные записи
У меня есть поток данных из исходных таблиц в целевую таблицу. Чтобы упростить вопрос, я скажу, что есть две исходные таблицы, объединенные слиянием, и одна таблица назначения. Кроме того, есть первичные ключи, помогающие мне идентифицировать каждую...
2978 просмотров
schedule
17.04.2023
Поток данных служб SSIS — последовательная вставка с требуемыми значениями внешнего ключа
Можно ли вставить в исходную таблицу, а затем использовать вставленный идентификатор, который будет использоваться при вставке в основную таблицу, которая имеет ограничение внешнего ключа между столбцами в одном потоке данных?
Я новичок в службах...
4029 просмотров
schedule
29.05.2022
Есть ли альтернатива C# TPL Dataflow для C++?
Недавно я разместил вопрос о Использование делегатов для имитации подключенных объектов. где я получил отличный ответ об использовании библиотеки TPL DataFlow для очень простой и чистой разработки решения для моего приложения.
Проблема в том, что...
937 просмотров
schedule
11.02.2023
Pentaho Kettle для программирования на основе потоков
Подходит ли Pentaho Data Integration, также известная как Kettle, для Flow-Based Programming FBP?
Kettle — это инструмент ETL (извлечение, преобразование и загрузка), основанный на концепциях FBP .
Существует шаг User Defined Java Class и...
1471 просмотров
schedule
12.04.2023
Разделение значения из одного поля на два значения для использования в двух разных полях в SQL Server с использованием пакета служб SSIS
У меня есть поля в столбце со значениями, подобными следующему:
ABCDEFG:1234
У меня есть пакет SSIS, который должен разделить это значение на два значения, как показано ниже:
ABCDEFG
1234
ABCDEFG будет импортировано в Field1 и...
121 просмотров
schedule
14.01.2024
Диаграмма ERD Путаница
У меня большая путаница, поскольку я пытаюсь разработать диаграмму ERD, и меня смущает это утверждение. Я пытаюсь связать две сущности. это «заказ» и «продукт». Так что я запутался в кардинальности этих двух. будет ли это 1 заказ, будет ли много...
274 просмотров
schedule
30.05.2022
Как использовать несколько баз данных для одной задачи потока данных в ssis
Я создаю хранилище данных для компании, в которой работаю (я стажер, так что ничего особенного). У них есть несколько баз данных с одинаковой структурой базы данных. Я создаю задачу потока данных, которая использует соединение ODBC (поскольку я...
1045 просмотров
schedule
30.07.2023
Как исправить ошибку: пропуск строки импорта, требуемая категория Nintendo DS / DS Lite / DSi не существует
Я импортирую продукты через расширенный профиль потока данных в magento 9.1.1 с удаленного CSV через ftp. Я создал все категории в magento, но когда я запускаю импорт, я получаю следующую ошибку.
Skipping import row, required category "Nintendo...
89 просмотров
schedule
02.07.2022
SSIS, как преобразовать объект в varBinary для SQL
У меня есть файл csv из csvde, который имеет objectGUID и некоторую другую информацию из AD.
Я хочу использовать SSIS для копирования этой информации в следующую таблицу в SQL.
[DN] [varchar](255) NULL,
[ObjectGuid] [varbinary](50) NULL,...
1239 просмотров
schedule
01.10.2022
Ограничение количества значений на ключ
В настоящее время у нас есть процесс потока данных, в котором у нас есть GroupByKey , но DoPar после группировки получает слишком много значений для каждого ключа, и мы хотели знать, есть ли для этого хорошее решение. Насколько я могу судить,...
433 просмотров
schedule
12.02.2023
Ошибка Nifi с процессором fetchelasticsearch
Я получаю странную ошибку при запуске процессора FetchElasticSearch, ошибка ниже.
Конфигурации ElasticSearch:
Хост: localhost
порт: 9500
не уверены в первопричине проблемы, сделайте необходимое.
FetchElasticsearch использует собственный...
255 просмотров
schedule
16.06.2022
Какова наилучшая практика в случае записи текстового вывода в корзину S3?
Мой конвейер (python) записывает текстовые данные, которые считываются из BigQuery. Насколько мне известно, у меня есть два варианта записи текстовых данных в S3.
Первый вариант — это «подкласс Writer» пользовательского приемника, который...
512 просмотров
schedule
29.12.2022
Обнаружение повторяющихся элементов в DataFlow
Я разрабатываю сервис, который обрабатывает файлы, используя объект Queue<string> для управления элементами.
public partial class BasicQueueService : ServiceBase
{
private readonly EventWaitHandle completeHandle =
new...
220 просмотров
schedule
19.06.2022
TPL Dataflow как синхронизироваться с глобальными данными
На самом деле я изучаю потоки данных TPL. Всякий раз, когда я читаю что-то об этом, я думаю, что «ок» звучит здорово, но затем я часто спрашиваю себя: «Хорошо, а что, если у меня есть что-то вроде менеджера, обрабатывающего разные сеансы. Эти сеансы...
909 просмотров
schedule
01.05.2023
Выполнение запроса sql внутри потока данных с использованием python на PCollection
Я пытаюсь реализовать один sql-запрос как преобразование в потоке данных. Я загрузил таблицу из bigquery как PCollection. Я хочу агрегировать свои данные, как показано ниже.
SELECT
name,
user_id,
place,
SUM(amount) as some_amount ,...
1741 просмотров
schedule
02.11.2022
Поток данных: экспорт в Bigquery из исключения Pubsub RuntimeException
Я передаю обычный JSON в bigquery из pubsub через поток данных, используя функцию «экспорт в bigquery» в pubsub.
Однако это сработало в течение секунды, что означает, что некоторые записи корректно передаются в bigquery. Но теперь я получаю ошибки...
818 просмотров
schedule
27.03.2024
