Публикации по теме 'bigquery'


3 передовых метода построения конвейеров данных с помощью BigQuery
Мой опыт интеграции данных в Google Cloud Как инженер данных и менеджер продуктов данных с большим опытом построения конвейеров данных для BigQuery и использования его в качестве современного хранилища данных, я столкнулся с многочисленными проблемами и извлек ценные уроки на этом пути. В этой статье я поделюсь тремя передовыми методами, которые я обнаружил при создании эффективных и масштабируемых конвейеров данных с помощью BigQuery и для него. Начнем с первого шага — прежде чем вы..
Google запускает дифференциальную конфиденциальность для BigQuery
Как теперь вам проще анонимизировать данные Google только что анонсировала общедоступную предварительную версию дифференциальной конфиденциальности BigQuery со стандартными блоками SQL. Вы можете использовать эти функции для анонимизации своих данных. Дифференциальная конфиденциальность включает четыре агрегатные функции дифференциальной конфиденциальности, которые можно использовать для анонимизации данных[1]: AVG COUNT , SUM , PERCENTILE_CONT Дифференциальная..
Система рекомендаций с конвейерами BigQuery ML и Vertex AI с использованием матричной факторизации
Как создать полностью автоматизированный поток рекомендаций менее чем за 45 минут Матричные факторизации широко используются в рекомендательных системах. Они являются отличной и простой отправной точкой, если вы хотите создать быстрое и простое решение для предоставления отличных рекомендаций своим клиентам.
Статистика Python PyPI в BigQuery: повторно кластеризована
Статистика Python PyPI в BigQuery: повторно кластеризована Давайте углубимся в необработанные журналы действий по установке Python. В этом посте мы увидим, как измерить популярность пакета, в какой версии Python он используется и как максимально эффективно использовать наши запросы. Python Software Foundation предоставляет необработанные метаданные для каждой загрузки из индекса пакетов Python, включая действия с pip install . Теперь каждый может использовать свой бесплатный..
Сверхбыстрое машинное обучение для производства с BigQuery ML
Как использовать Bigquery ML для быстрого развертывания ваших моделей и сосредоточиться на том, что действительно важно. Несколько месяцев назад в Agorapulse мы запустили два новых проекта на основе машинного обучения. Поскольку мы использовали BigQuery почти 2 года, нам пришлось попробовать BQML. Вот что мы узнали, и чему вы можете научиться из этого! Самые большие проблемы могут заключаться не в том, что вы думаете Как инженер по машинному обучению вы обычно думаете о Как..
SQL или ML? Один и тот же набор данных двумя способами.
Это вторая публикация из серии из двух частей, в которых рассматривается моя блок-схема «когда использовать машинное обучение»: Первый пост был посвящен двум вещам: Выяснение, хотите ли вы использовать свои данные для прогнозирования будущего или анализа исторических тенденций . В последнем случае машинное обучение вам не понадобится. Почему ML часто является хорошим решением для создания прогнозов для видео, изображений или аудиоданных В этом посте я сосредоточусь на..
Не получайте Google Cloud Bill Shock!
С помощью Google BigQuery ML теперь вы можете прогнозировать свои расходы в Google Cloud всего за несколько минут, не выходя из пользовательского интерфейса консоли BigQuery. Вступление Линейная регрессия, хотя и очень проста, может использоваться для эффективного создания точных прогнозов для различных реальных проблем. Благодаря своей простоте обучение линейной регрессии легко настраивается и выигрывает от быстрой сходимости. В этом посте я объясню, как анализировать данные..