Как я могу парсить сайты социальных сетей так же, как это делает Google? Использует ли Google API для каждого конкретного сайта или сканирование, не зависящее от конкретного сайта?

Насколько я знаю, для этого есть официальное соглашение или API. Я полагаю, что у них было специальное соглашение с Twitter много лет назад (когда это появился), но я не уверен, что такая вещь существует.

Если вы видите файл robots.txt в Facebook, вы заметите, что у них есть несколько блокировщиков, поэтому я думаю, что Google сканирует их как любой другой сайт.

Это не означает, что у владельцев сайтов нет особых средств для работы с роботом Googlebot. Если вы хотите, чтобы страница отображалась так, как это делает Googlebot, используйте инструмент для тестирования совместимости с мобильными устройствами.