Проблемы с использованием средства извлечения ключевых фраз и анализа тональности с помощью U-SQL через аналитику озера данных Azure в озере данных Azure

Я пытаюсь использовать когнитивные службы Microsoft с озером данных и столкнулся с проблемой при попытке получить ключевые фразы и тональность из текста в столбце файла CSV.

Я проверил, правильно ли отформатирован файл и правильно ли читается (я выполнил несколько основ, например, копирование, чтобы убедиться, что он работоспособен).

Я также убедился, что интересующий меня столбец в файле CSV (Описание) содержит только текст (строку), когда он извлекается сам по себе.

Входной файл и выходная папка находятся в моем озере данных Azure, и я запускаю сценарий из моей аналитики озера данных в Azure. Я не пытался запустить это локально в Visual Studio.

Я использовал Извлечение ключевых фраз (U-SQL) и Sentiment Analysis (U-SQL) в качестве ссылки и следовал инструкциям там, включая получение подключаемых модулей.

В каждом случае, когда я отправляю задание, я получаю сообщение об ошибке, которое, кажется, не могу найти. Ниже я показал код, который я использовал для каждого из них, и ошибку, которую я получаю при его запуске.

Код ключевой фразы

REFERENCE ASSEMBLY [TextSentiment];
REFERENCE ASSEMBLY [TextKeyPhrase];

@myinput =
EXTRACT 
    Modified_On string,
    _Name string,
    Description string,
    Customer string,
    Category string,
    Target_Market string,
    Person_Responsible string,
    Status string,
    _Region string,
    Modified_On_2 string,
    Created_On string,
    _Site string,
    _Team string    
FROM "/userData/fromSharepoint/Game_Plans"
USING Extractors.Csv(skipFirstNRows:1);

@keyphrase =
PROCESS @myinput
PRODUCE 
    Description,
    KeyPhrase string
READONLY
    Description
USING new Cognition.Text.KeyPhraseExtractor();

OUTPUT @keyphrase
    TO "/userData/testingCognitive/tesing1.csv"
    USING Outputters.Csv();

Сообщение об ошибке ключевой фразы

введите описание изображения здесь

Код настроения

REFERENCE ASSEMBLY [TextSentiment];
REFERENCE ASSEMBLY [TextKeyPhrase];

@myinput =
EXTRACT 
    Modified_On string,
    _Name string,
    Description string,
    Customer string,
    Category string,
    Target_Market string,
    Person_Responsible string,
    Status string,
    _Region string,
    Modified_On_2 string,
    Created_On string,
    _Site string,
    _Team string    
FROM "/userData/fromSharepoint/Game_Plans"
USING Extractors.Csv(skipFirstNRows:1);

@sentiment =
PROCESS @myinput
PRODUCE 
    Description,
    sentiment string,
    conf double
READONLY
    Description
USING new Cognition.Text.SentimentAnalyzer(true);

OUTPUT @sentiment
    TO "/userData/testingCognitive/tesing1.csv"
    USING Outputters.Csv();

Сообщение об ошибке настроения

введите описание изображения здесь

Любая помощь в решении этой проблемы будет принята с благодарностью.

В качестве альтернативы, если у кого-то эти функции работают и он может предоставить несколько сценариев для тестирования и ссылки на входные файлы для загрузки, это было бы здорово.


person Daniel    schedule 03.04.2018    source источник


Ответы (1)


Я не могу воспроизвести вашу точную ошибку (вы можете опубликовать простые образцы данных?), Но я могу заставить эти библиотеки работать. Я думаю, что KeyPhraseExtractor по умолчанию ожидает столбцы с именами Text и KeyPhrase, поэтому, если вы собираетесь их изменить, вам нужно передать имена столбцов в качестве аргументов, например

@keyphrase =
    PROCESS @myinput
    PRODUCE Description,
            KeyPhrase string
    READONLY Description
    USING new Cognition.Text.KeyPhraseExtractor("Description", "KeyPhrase");

ОБНОВЛЕНИЕ: в вашем образце файла есть недопустимые символы сразу после слова "Bass". Это неразрывный пробел (U + 00A0), и я не думаю, что вы сможете их импортировать - рад, что вас исправят. Я удалил их вручную и смог импортировать файл. Вы можете каким-то образом предварительно обработать их.

Недействительные символы

person wBob    schedule 03.04.2018
comment
Я только что попробовал с тем же кодом, что и в первоначальном вопросе, но с изменениями, которые вы предложили. Я сделал здесь несколько фиктивных данных: фиктивные данные csv Используя эти фиктивные данные, я смог воспроизвести та же ошибка с использованием как моего исходного кода, так и ваших предложений. Большое спасибо за Вашу помощь. - person Daniel; 04.04.2018
comment
Удалось ли вам воспроизвести ошибку после их удаления вручную? - person Daniel; 05.04.2018
comment
Нет, после ручного удаления недопустимых символов код у меня сработал. - person wBob; 05.04.2018
comment
Сможете ли вы прислать мне отредактированные данные, которые вы использовали, и полный точный код, который вы использовали? Затем я могу протестировать это и посмотреть, работает ли оно. Если нет, возможно, мне придется попробовать развернуть новое озеро данных и аналитику, если есть какие-то настройки, которые я ошибся. Еще раз большое спасибо за вашу помощь. - person Daniel; 05.04.2018
comment
Просто удалите из файла образца две записи, которые содержат текст Yancey Bass. Используйте локальный эмулятор, чтобы не тратить лишние ресурсы в Azure. - person wBob; 05.04.2018
comment
Я попробовал. Вот данные, которые я использовал: очищенные вручную данные, и это сообщения об ошибках, которые я получаю, когда попытка выполнить небольшое изменение кода: error1 error2 - person Daniel; 05.04.2018
comment
Попробуйте обновить версию примера кода с портала. - person wBob; 05.04.2018
comment
Можете ли вы пояснить, что вы имеете в виду? - person Daniel; 05.04.2018
comment
Попробуйте здесь, но должно быть, вы уже делали это хотя бы раз? - person wBob; 05.04.2018
comment
Да, я пробовал это. По-прежнему не работает. Попробовали развернуть совершенно новую лазурь и по-прежнему получать ошибку «Невозможно неявно преобразовать тип Cognition.Text.KeyPhraseExtractor» в «Microsoft.Analytics.Interfaces.IProcessor». - person Daniel; 08.04.2018
comment
Вы пробовали это в локальном эмуляторе со своим исправленным файлом? - person wBob; 09.04.2018
comment
У вас есть последние новости о когнитивных технологиях? См. Регистрация когнитивных расширений в U-SQL и следуйте инструкциям, если вы не уверены. - person David Paul Giroux; 09.04.2018