Вопросы по теме 'mapper'
Как мы создаем уникальное ограничение в lift-mapper
Как мы можем создать уникальное ограничение в картографе лифта?
323 просмотров
schedule
02.06.2022
Куда добавить 3 функции и как написать findByUsername — Zend Framework
У меня есть модель User.php, модель DbTable/User.php и файл UserMapper.php, как описано в документации Zend.
У картографа есть fetchAll(), find($id), getDbTable(), save() и setDbTable().
Если я хочу добавить следующие функции:
function...
352 просмотров
schedule
16.02.2023
ApplicationError: 7, когда обработка выполняется для записи работника mapreduce в Google Cloud Storage.
Только что закончил большую задачу Appengine mapreduce, и многие из моих осколков застряли в нескольких шагах от финишной черты. Вот настройка:
filenames = yield mapreduce_pipeline.MapperPipeline(
'example mapper name',...
421 просмотров
schedule
26.06.2023
Потоковая передача Hadoop: один файл или несколько файлов на карту. Не разделять
У меня есть много zip-файлов, которые нужно обработать библиотекой C++. Поэтому я использую C++ для написания своей потоковой программы для Hadoop. Программа прочитает zip-файл, разархивирует его и обработает извлеченные данные. Моя проблема в том,...
6042 просмотров
schedule
30.04.2023
Hadoop Mapper перерасход памяти (кучи)
Я написал простую программу соединения хэшей на карте Hadoop. Идея заключается в следующем:
Небольшая таблица распространяется на каждый сопоставитель с помощью DistributedCache, предоставляемого инфраструктурой Hadoop. Большая таблица...
3670 просмотров
schedule
12.05.2022
сущность zf2 с соединениями
Мне нужно объединить информацию из нескольких таблиц. В случае использования сущности я должен создать все возможные поля как свойства + сеттеры/геттеры для них. Но при сохранении объекта я должен разделить/сбросить все свойства, которых нет в...
272 просмотров
schedule
22.12.2022
Какие файлы игнорируются в качестве входных данных картографом?
Я соединяю несколько заданий MapReduce и хочу передать/сохранить некоторую метаинформацию (например, конфигурацию или имя исходного ввода) с результатами. По крайней мере, файл «_SUCCESS», а также все, что находится в каталоге «_logs», должно быть...
4846 просмотров
schedule
20.09.2022
Использование CountVectorizer в Python Mapper Reducer
Я пытаюсь применить токенизатор, используя функцию редуктора python mapper. У меня есть следующий код, но я продолжаю получать сообщение об ошибке. редуктор выводит значения в список, и я передаю значения векторизатору.
from mrjob.job import...
350 просмотров
schedule
23.01.2023
Количество картографов в Hadoop
Допустим, у меня есть 100 файлов размером 100 МБ каждый, а размер блока - 64 МБ.
1) Сколько картографов требуется для обработки всех этих 100 файлов.
2) Как мы знаем, максимальный предел для размера разделения входных данных - это размер блока....
94 просмотров
schedule
05.05.2022
Сопоставитель JDBI Тесты JUnit
Я хотел бы провести модульное тестирование своих классов сопоставления JDBI, поскольку не все выполняют тривиальное сопоставление свойств.
Мой тестовый класс выглядит следующим образом:
public class IdentRuleMapperTest {
@Mock
ResultSet...
1396 просмотров
schedule
11.09.2022
Что не так со сравнением необязательных bool в одной структуре if в swift
Я некоторое время программировал на Swift, и я думаю, что должен был поставить ! на все мои переменные поля let, которые не были определены сразу.
Сегодня я замечаю, что этот кусок кода не компилируется, и я очень удивлен? почему это?
class...
2207 просмотров
schedule
18.12.2022
Что именно является выходом функции картографа и редуктора
Это дополнительный вопрос Извлечение строк, содержащих определенное значение, с использованием mapReduce и hadoop функция Mapper
public static class MapForWordCount extends Mapper<Object, Text, Text, IntWritable>{
private IntWritable...
1407 просмотров
schedule
22.10.2022
Hadoop использует один экземпляр для каждого картографа
Я использую уменьшение карты Hadoop для анализа XML-файлов. Итак, у меня есть класс с именем Parser , который может иметь метод parse() для анализа файлов xml. И поэтому я должен использовать его в функции Mapper map() .
Однако это означает,...
330 просмотров
schedule
30.06.2022
Hadoop Уменьшить количество входных записей = 0
Я новичок в Hadoop, мой код уменьшения карты работает, но не дает никакого результата. Вот информация о map-reduce:
16/09/20 13:11:40 INFO mapred.JobClient: Job complete: job_201609081210_0078
16/09/20 13:11:40 INFO mapred.JobClient: Counters:...
817 просмотров
schedule
19.10.2022
Не удалось идентифицировать ошибку в моем коде соединения Reducer
У меня есть два набора данных: пользователи:
Bobby 06 Amsterdam
Sunny 07 Rotterdam
Steven 08 Liverpool
Jamie 23 Liverpool
Macca 91 Liverpool
Messi 10 Barcelona
Pique 04 Barcelona
Suarez 09 Barcelona
Neymar 11 brazil
Klopp 12 Liverpool
журналы...
29 просмотров
schedule
17.12.2022
Что происходит, когда я устанавливаю размер разделения больше, чем фактический размер блока в структуре mapreduce?
Насколько мне известно, на один сплит будет выделен один маппер.
Но что произойдет, если я установлю размер разделения больше, чем фактический размер блока?
Например: если я укажу размер блока = 128 МБ и размер разделения = 130 МБ, в этом случае...
435 просмотров
schedule
13.06.2023
MapReduce считает и находит среднее значение
Я хочу разработать программу в MapReduce, которая получает значения cust_key и balance из файла .tbl. Я объединил 2 значения в строку, а затем отправил ее в Reducer, поэтому я посчитаю cust_key и найду средний баланс на сегмент. Вот почему я добавил...
2861 просмотров
schedule
06.07.2022
Подстановочный знак сопоставления значений Pentaho Data Integration (Spoon)
Есть ли подстановочный знак для преобразования Value Mapper в Pentaho Spoon? Я немного покопался и нашел только решения с подстановочными знаками для загрузки файлов и документов. Мне нужно иметь возможность сопоставить любые и все потенциальные...
1855 просмотров
schedule
27.10.2022
HashSet‹POJO›. содержит неправильное поведение
Как часть Hadoop Mapper , у меня есть HashSet<MySimpleObject> , который содержит экземпляры очень простого класса только с двумя целочисленными атрибутами. Как и положено, я настроил hashCode() и equals() :
public class MySimpleObject...
65 просмотров
schedule
24.08.2022
Множественное подключение к базе данных для приложения mybatis и весенней загрузки с использованием config.xml
мне нужно подключиться к нескольким базам данных, настроенным в моем файле config.xml
config.xml
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE configuration
PUBLIC "-//mybatis.org//DTD Config 3.0//EN"...
1630 просмотров
schedule
16.01.2024
