Публикации по теме 'nltk'
Детектор спам-смс в FlaskApp
spam-sms-dectector.herokuapp.com
Привет мир,
В этом посте я расскажу вам, как нам следует классифицировать спам-смс с помощью машинного обучения.
Прежде всего, представьтесь. Меня зовут « Йогеш Нил , я студент 3-го курса BCA и живу в Сурате, Индия.
В машинном обучении нам требуется набор данных классификации смс-спама. Я загрузил набор данных в kaggle, но я поставлю ссылку на репозиторий github, чтобы вы получили все материалы в одном месте...
Резюме извлечения статьи с использованием экспериментальных методов НЛП
Извлечение резюме — это метод получения значимой и полной информации из текста с акцентом на разделы, которые передают полезную информацию, и без потери общего смысла текста. Извлечение резюме направлено на преобразование длинного текста в сокращенные версии, что облегчает его понимание.
Используемые методы и библиотеки
● NumPy ● nltk ● Spacy ● газета3k ● Регулярные выражения
Резюме Извлечение библиотекигазета3k.
Используя газетную библиотеку, мы можем собрать полный текст..
Обнаружение фейковых новостей: предварительная обработка текста
С ростом количества фейковых новостей и дезинформации в Интернете становится все труднее отличить факты от вымысла. А поскольку машинное обучение и обработка естественного языка становятся все более популярными, обнаружение фейковых новостей служит отличным введением в НЛП.
Google Cloud Natural Language API - отличная платформа для использования в этом проекте. Просто загрузите набор данных, обучите модель и используйте ее для прогнозирования новых статей.
Но прежде чем мы..
Пролог к НЛТК
Это не должно быть учебником. Это всего лишь набор вещей, которые вы можете сделать, зная заранее, если планируете работать с Python NLTK.
NLTK — это скорее набор инструментов для обучения, чем инструмент для фактической реализации проекта. В нем много дыр и пробелов, которые нужно заполнить, и вам нужно сделать каждый бит самостоятельно. В конечном итоге вы можете потратить больше времени на смешивание бетона, чем на строительство дороги. Требуется много предварительной обработки,..
Как машины понимают наш язык: введение в обработку естественного языка
Обработка естественного языка для меня одна из самых увлекательных областей науки о данных. Тот факт, что машина может понимать содержание текста с определенной точностью, просто завораживает, а иногда и пугает.
Применение НЛП безгранично. Вот как машина классифицирует, является ли электронное письмо спамом, положительный или отрицательный отзыв, и как поисковая система определяет, к какому типу человека вы относитесь, на основе содержания вашего запроса, чтобы соответствующим образом..
Вопросы по теме 'nltk'
может ли NLTK/pyNLTK работать на каждом языке (т.е. не на английском) и как?
Как я могу указать NLTK обрабатывать текст на определенном языке?
Время от времени я пишу специализированную процедуру NLP для тегирования POS, токенизации и т. д. в текстовом домене, отличном от английского (но все еще индуистско-европейского)....
8303 просмотров
schedule
03.03.2022
Анализ настроений с помощью NLTK Python для предложений с использованием образцов данных или веб-сервиса?
Я приступаю к проекту НЛП по анализу сантиментов.
Я успешно установил NLTK для Python (кажется, отличное программное обеспечение для этого). Однако мне сложно понять, как его можно использовать для выполнения моей задачи.
Вот моя задача:
Я...
16688 просмотров
schedule
22.03.2022
Поток кода Python не работает должным образом?
Я пытаюсь обрабатывать различные тексты с помощью регулярных выражений и NLTK Python, которые находятся по адресу http://www.nltk.org/book- . Я пытаюсь создать генератор случайного текста, и у меня возникла небольшая проблема. Во-первых, вот мой...
442 просмотров
schedule
14.09.2022
Использование NLTK и WordNet; как преобразовать глагол простого времени в формы причастия настоящего, прошедшего или прошедшего времени?
Используя NLTK и WordNet , как преобразовать глагол простого времени в его форму причастия настоящего, прошедшего или прошедшего времени ?
Например:
Я хочу написать функцию, которая выдала бы мне глагол в ожидаемой форме, как показано ниже....
29707 просмотров
schedule
23.10.2022
Распознавание именованных объектов из личного справочника с использованием Python
Я пытаюсь распознавать именованные сущности в python, используя NLTK. Я хочу извлечь личный список навыков. У меня есть список навыков, и я хотел бы найти их в заявке и пометить навыки. Я заметил, что в NLTK есть тег NER для предопределенных тегов,...
2206 просмотров
schedule
08.04.2022
Как получить прошедшее время слова с помощью nltk и WordNet в Python?
Какие пакеты требуются для выполнения приведенных ниже команд?
Код
import nltk
from nltk.corpus import wordnet
v = 'go'
present = present_tense(v)
I got an error saying-
Сообщение об ошибке
NameError: имя present_tense не определено
4322 просмотров
schedule
28.06.2022
что такое вывод MeCab и набор тегов?
Может ли кто-нибудь просветить меня по поводу вывода MeCab по умолчанию? какая аннотация выводит MeCab и где я могу найти набор тегов для морфо-анализатора
http://mecab.sourceforge.net/
кто-нибудь может расшифровать этот вывод от MeCab?...
1727 просмотров
schedule
23.06.2023
Определение языка для очень короткого текста
Я создаю приложение для определения языка коротких текстов, в среднем ‹ 100 символов и содержащих сленг (например, твиты, пользовательские запросы, смс).
Все библиотеки, которые я тестировал, хорошо работают с обычными веб-страницами, но не с очень...
4117 просмотров
schedule
13.08.2022
Почему эти слова считаются игнорируемыми?
У меня нет формального опыта в обработке естественного языка, и мне было интересно, может ли кто-нибудь из НЛП пролить свет на это. Я играю с библиотекой NLTK , и я специально изучал функцию стоп-слов, предоставляемую этим пакетом:
В [80]:...
1838 просмотров
schedule
13.09.2023
Может ли WordNetLemmatizer в Nltk выводить слова?
Я хочу найти основы слов с Wordnet . Есть ли у wordnet функция стемминга? Я использую этот импорт для своей основы, но он не работает должным образом.
from nltk.stem.wordnet import WordNetLemmatizer
WordNetLemmatizer().lemmatize('Having','v')
3565 просмотров
schedule
12.01.2024
Преобразование нетегированных корпусов в тегированные (NLTK)
У меня есть корпус открытого текста, который я хочу пометить и сохранить, чтобы я мог использовать его в дальнейшем. Как лучше всего это сделать?
Я уже сделал свой тегер, но я не могу найти способ изменить корпус, чтобы он не был беспорядочным.
646 просмотров
schedule
08.08.2022
NLTK/NLP создает предметный классификатор «многие ко многим/многометочный»
У меня есть помеченный человеком корпус из более чем 5000 тематических индексированных документов в XML. Они различаются по размеру от нескольких сотен килобайт до нескольких сотен мегабайт. От коротких статей до рукописей. Все они были...
2473 просмотров
schedule
16.04.2024
Проблема с установкой Pip NLTK в Ubuntu с использованием Virtualenv
Для справки можно найти документацию по установке nltk, nltk здесь
Есть ли способ установить nltk с помощью pip и virtualenv? Я установил зависимости с помощью pip в свой virtualenv, но когда я пытаюсь установить nltk, это не удается.
Ошибка...
1875 просмотров
schedule
12.03.2022
Извлечение конкретной информации из текста
Я хотел бы получить некоторые данные из текстового файла. Я решил сделать это с помощью Natural Language Toolkit , но я открыт для предложений, если есть лучший способ сделать это.
Вот пример:
Мне нужен рейс из Нью-Йорка, штат Нью-Йорк, в...
534 просмотров
schedule
24.02.2023
извлечение фрагментов в python с помощью nltk
скажем, у меня есть тегированный корпус (например, коричневый корпус), и я хочу извлечь слова, которые помечены только «/ nn». Например :
Daniel/np termed/vbd ``/`` extremely/rb conservative/jj ''/'' his/pp$ estimate/nn........
444 просмотров
schedule
22.02.2023
Извлечение слов с помощью nltk из немецкого текста
Я пытаюсь извлечь слова из немецкого документа, когда я использую следующий метод, как описано в учебнике nltk, мне не удается получить слова со специальными символами языка.
ptcr = nltk.corpus.PlaintextCorpusReader(Corpus, '.*');
words =...
17362 просмотров
schedule
20.04.2023
семантический поисковик и навигатор
Привет, я прошел короткий курс искусственного интеллекта, и мы разработали чат-бота на основе AIML и python. У меня есть новая задача разработать какую-то форму семантической поисковой системы. Я хочу, чтобы люди могли перемещаться по данным или...
354 просмотров
schedule
05.05.2023
Клонирование корпуса в НЛТК?
Я пытаюсь создать свой корпус в НЛТК. Я читал часть документации по этому поводу, и это кажется довольно сложным ... все, что я хотел сделать, это «клонировать» корпус обзоров фильмов, но с моим собственным текстом. Теперь я знаю, что могу просто...
294 просмотров
schedule
29.04.2022
Признание нетрадиционных именованных сущностей
Я пытаюсь разработать несколько нетрадиционную систему NER, которая помечает определенные многословные строки как отдельные единицы / токены.
Есть много классных инструментов NER, но у меня есть несколько особых потребностей, из-за которых...
1261 просмотров
schedule
19.04.2023
Проверка орфографии с автозаменой
У меня есть файл TSV (значения, разделенные табуляцией), в котором мне нужно проверить орфографию на наличие опечаток и комбинированных слов (например, «Я люблю тебя» и «Я люблю тебя»).
Я установил Aspell на свой компьютер и могу запустить его...
4397 просмотров
schedule
25.02.2022
