Публикации по теме 'pandas'


Почему специалисты по данным отказываются от Pandas в пользу PySpark
Рост объемов данных привел к увеличению вычислительных требований и требований к памяти. Традиционные инструменты, такие как Pandas, которые работают последовательно, с трудом справляются с эффективной обработкой больших наборов данных. Появилось несколько пакетов, таких как Dask, Swift и Ray, для распараллеливания операций Pandas, что значительно ускоряет обработку. Однако эти решения по-прежнему сталкиваются с ограничениями памяти, особенно в настольных системах, где важно..
Руководство для начинающих по очистке данных
У вас есть файл .csv. Что теперь? На начальном этапе своего пути к науке о данных я разговаривал с профессионалами, которые уже работают в этой области. Они дали мне много советов и поделились своими историями, но все они (я имею в виду, все до единого) сказали, что большую часть времени в качестве специалиста по данным вы не будете строить причудливые модели, вы будете очистка ваших данных. Набор данных, с которым вы работаете, может находиться на разных стадиях «загрязнения»...
Практический анализ данных с помощью Pandas: Global Terrorism Database
Pandas Groupby & Crosstab и Folium & Basemap Глобальная база данных по терроризму (GTD) ведется Национальным консорциумом по изучению терроризма и реагированию на терроризм (START). Файл базы данных, используемый в этой записной книжке, можно скачать со страницы Kaggle (доступен в формате .csv). Он состоит из данных о террористических атаках во всем мире с 1970 по 2017 , включая более 180 000 атак и 100 характеристик. GTD определяет терроризм как - «Угроза или фактическое..
Как создать категориальную кодировку, которая сэкономит вам массу времени
Сравнение различных стратегий категориального кодирования, обычно используемых в конвейерах предварительной обработки моделей машинного обучения. Это руководство призвано помочь вам выбрать правильную стратегию для вашего приложения. Введение В этом посте будут обсуждаться различные стратегии кодирования категориальных переменных в качестве этапа предварительной обработки, необходимого для разработки надежных моделей машинного обучения. Кодировать категориальные переменные считается..
2 простых способа получить таблицы с веб-сайта с помощью Pandas
ПИТОН 2 простых способа получить таблицы с веб-сайта с помощью Pandas Обзор pd.read_html и pd.read_clipboard Библиотека pandas хорошо известна своими простыми в использовании возможностями анализа данных. Он оснащен расширенными функциями индексирования, объединения DataFrame и агрегирования данных. Pandas также имеет комплексный API ввода-вывода , который вы можете использовать для ввода данных из различных источников и вывода данных в различные форматы. Есть много случаев,..
5 функций Pandas, которые должны знать специалисты по данным
Ежедневные функции pandas, используемые специалистами по данным Нет, это не гигантский черно-белый медведь, поедающий бамбук из Китая. Pandas - это библиотека на Python, ориентированная на обработку и анализ данных. Библиотека предлагает различные функции, используемые для управления и изменения структур данных и наборов данных. Зачем нужно знать панд? 80% работы специалистов по обработке данных - это очистка наборов данных. Наборы данных очищаются с помощью функций,..
7 функций Pandas для повышения производительности
Основные функции Pandas, которые помогут вам в предварительной обработке данных Если вы работаете в Data Science, вы должны быть знакомы с Pandas. Специально разработанный для выполнения задач предварительной обработки данных, Pandas имеет множество функций, которые могут сделать управление, очистку, визуализацию и получение данных чрезвычайно легкими. И, как известно, значительная часть времени специалистов по данным уходит на преобразование данных в чистый и понятный формат для..