Я выполнил инструкции здесь, чтобы настроить кластер EMR и записную книжку SageMaker. У меня не было ошибок до последнего шага.
Когда я открываю новый блокнот в Sagemaker, я получаю сообщение:
The kernel appears to have died. It will restart automatically.
А потом:
The kernel has died, and the automatic restart has failed.
It is possible the kernel cannot be restarted.
If you are not able to restart the kernel, you will still be able to save the
notebook, but running code will no longer work until the notebook is reopened.
Это происходит только тогда, когда я использую ядро pyspark / Sparkmagic. Ноутбуки, открытые с помощью ядра Conda или любого другого ядра, работают нормально.
Мой кластер EMR настроен точно так же, как в инструкции, с добавленным правилом:
[
{
"Classification": "spark",
"Properties": {
"maximizeResourceAllocation": "true"
}
}
]
Я был бы признателен за любые указатели на то, почему это происходит, и как я могу отлаживать / исправлять.
P.S .: Раньше я делал это успешно, без каких-либо проблем. Когда я попытался повторить это сегодня, я столкнулся с этой проблемой. Я попытался воссоздать кластеры EMR и записные книжки Sagemaker, но это не помогло.
