Невозможно удалить английские стоп-слова из фрейма данных

Я думаю, что код должен работать с информацией до сих пор. Предположение, которое я делаю, заключается в том, что данные имеют дополнительное пространство, разделенное запятой. Ниже приведен тест: (надеюсь, это поможет!)

import pandas as pd
from nltk.corpus import stopwords
import nltk

stop = nltk.corpus.stopwords.words('english')

dataset = pd.DataFrame([{'Content':'i, am, the, computer, machine'}])
dataset = dataset.append({'Content':'i, play, game'}, ignore_index=True)
print(dataset)
list_ = []
for file_ in dataset:
    dataset['Content'] = dataset['Content'].apply(lambda x: [item.strip() for item in x.split(',') if item.strip() not in stop])
    list_.append(dataset)
dataset = pd.concat(list_, ignore_index=True)

print(dataset)

Ввод со стоп-словами:

                          Content
0   i, am, the, computer, machine
1                   i, play, game

Выход:

                Content
 0  [computer, machine]
 1         [play, game]

Что ж, благодаря вашему комментарию я думаю, что вам не нужно зацикливаться на dataset. (Возможно, dataset содержит только один столбец с именем Content)

Вы можете просто сделать:

 dataset["Content"] = dataset["Content"].str.split(",").apply(lambda x: [item for item in x if item not in stop])

Попробуйте earthy:

>>> from earthy.wordlist import punctuations, stopwords
>>> from earthy.preprocessing import remove_stopwords
>>> result = dataset['Content'].apply(remove_stopwords)

См. https://github.com/alvations/earthy/blob/master/FAQ.md#what-else-can-earthy-do

Вы зацикливаетесь на наборе данных, но каждый раз добавляете весь кадр и не используете файл_ Попробуйте:

from nltk.corpus import stopwords
stop = stopwords.words("English")
dataset['Cleaned'] = dataset['Content'].apply(lambda x: ','.join([item for item in x.split(',') if item not in stop]))

Это возвращает серию, содержащую списки слов, если вы хотите свести ее к одному списку:

flat_list = [item for sublist in list(dataset['Cleaned'].values) for item in sublist]

С советом по Создание плоского списка списка списков в Python