Дросселирование ЦП в Google Cloud Shell?

Я использую Cloud Shell для загрузки некоторых данных из хранилища, их обработки и повторной загрузки.

Моя проблема в том, что загрузка ЦП достигает 100%, но только в течение примерно 30 секунд или около того, затем по какой-то причине она ограничивает использование ЦП примерно на 50%, а затем на 25%. Затем он остается на уровне 25%, но в реальном времени, кажется, продолжает снижаться. Это происходит примерно за 1-2 минуты.

Если я остановлю процесс, подожду несколько секунд и запустю его снова, ЦП вернется к 100%, а затем снова начнет снижаться.

Полагаю, это потому, что Google Cloud Shell не предназначен для обработки данных?

Есть ли способ заплатить за более мощный Cloud Shell в Google Cloud Platform? Можно ли настроить экземпляр виртуальной машины точно так же, как облачную оболочку?


google-cloud-platform google-cloud-shell
person Secto Kia    schedule 03.03.2020    source источник
comment
Возможно, вы нарушаете условия использования Cloud Shell. В частности, Cloud Shell предназначен для интерактивной разработки, а не для обработки данных или ЦП. Если вас помечают, вы не сможете использовать Cloud Shell. cloud.google.com/shell/docs/limitations   -  person John Hanley    schedule 03.03.2020
comment
Cloud Shell - это контейнер, который вы можете скачать и изменить. Вы можете запустить контейнер на экземпляре Compute Engine и не беспокоиться об ограничениях использования.   -  person John Hanley    schedule 03.03.2020
comment
Не используйте облачную оболочку. Единственное, что хуже облачной оболочки - это Windows-машина.   -  person DUDANF    schedule 03.03.2020
comment
Я не согласен с @DuDoff Cloud Shell - очень полезный инструмент / сервис при правильном использовании. Windows - это ключевой программный продукт, оказавший огромное влияние на мир. Однако мнения расходятся.   -  person John Hanley    schedule 03.03.2020
comment
Я знаю, что был резок. Несмотря на то, что облачная оболочка полезна, у меня был очень плохой опыт. Плюс он не сравнится с обычным терминалом.   -  person DUDANF    schedule 04.03.2020
comment
Здравствуйте, SectoKia @ Если вы найдете мой ответ полезным, пожалуйста, одобрите его, в противном случае сообщите мне, чего не хватает в моем ответе, или не стесняйтесь поделиться с нами любыми другими сомнениями   -  person Chris32    schedule 06.03.2020

Ответы (2)


arrow_upward
1
arrow_downward

Google Cloud Shell не предназначен для использования в качестве процессора для обычных рабочих нагрузок, это скорее инструмент для тестирования небольших разработчиков.

На самом деле вы не можете заплатить за лучший экземпляр для своей Google Cloud Shell, но у вас есть 2 возможных обходных пути.

  1. Для обеспечьте лучшую машину. Это бесплатное, но ограниченное решение, и, как я только что сказал, его следует использовать только для небольших тестовых ситуаций.
  2. Поскольку Cloud Shell действительно является экземпляром Compute Engine с установленным SDK, вы действительно можете настроить экземпляр Compute Engine с вашими конкретными требованиями и использовать в нем ssh. Здесь вы можете увидеть все предварительно предложенное программное обеспечение и инструменты. в Google Cloud Shell по умолчанию. Имейте в виду, что вам нужно будет обновить свои библиотеки самостоятельно.
person Chris32    schedule 03.03.2020
comment
Спасибо, в конце концов, BoostMode действительно использовался для этого - когда мне нужно было обработать некоторые данные перед вставкой в ​​bigquery и т.д. - person Secto Kia; 19.05.2020

arrow_upward
0
arrow_downward

Не могли бы вы поделиться более подробной информацией о вашей обработке данных, например, какой инструмент вы используете, и, возможно, некоторые команды для воспроизведения этой проблемы?

Но в целом ресурсы экземпляра Cloud Shell ограничены: https://cloud.google.com/shell/docs/how-cloud-shell-works

В этом случае может помочь режим Boost.

person Mihir Nimbalkar    schedule 03.03.2020