Деструктор из взаимно рекурсивного класса с shared_from_this не вызывается

У меня есть два класса, A и B, у которых shared_ptr указывает друг на друга (у A есть shared_ptr для B, у B есть shared_ptr для A).

Я пытаюсь вызвать деструктор обоих классов при выходе из области видимости, но это не работает. Деструктор не вызывается.

Вот пример кода:

class B;

class A
{
    public:
        A() { std::cout << "Constructor A" << std::endl; }
        ~A() { std::cout << "Destructor A" << std::endl; }

        std::shared_ptr<B> b;
};

class B
{
    public:
        B() { std::cout << "Constructor B" << std::endl; }
        ~B() { std::cout << "Destructor B" << std::endl; }

        std::shared_ptr<A> a;
};

int main()
{
    std::shared_ptr<A> a = std::make_shared<A>();
    a->b = std::make_shared<B>();

    a->b->a = a;
}

Как я могу это исправить?