Кто может взаимодействовать с Google Directory API?

Имеет смысл, что только администратор домена может использовать Directory API (который является подмножеством Admin SDK) — только администратор домена имеет доступ ко всем данным пользователя.

Вы можете получить доступ к API каталога для соответствующего домена, используя учетную запись службы, которая предоставит вам полный доступ, который был предоставлен администратором домена при разрешении вашего приложения. И после этого вы решите на своей стороне сервера, какие функции вы хотите предоставить «обычным» пользователям, а какие — только администраторам.

Но опять же, чтобы сделать это, вам нужно найти способ реализовать механизм сервисной учетной записи в вашем приложении.

Я комментировал другой ответ, так как считаю, что использование делегирования здесь излишне и имеет последствия для безопасности.
Просто используйте обычный серверный поток oauth2, двухэтапный oauth не нужен.
создайте страницу в своем приложении для домена. администратора, чтобы ввести и настроить разрешения приложения
там, создать поток oauth для захвата токена обновления этого пользователя с правами администратора.
затем следуйте документам oauth, чтобы получить токен доступа из этого токена обновления
там — это классы Google, которые делают все это за вас

Чтобы быстро попробовать или пропустить реализацию потока oauth и просто жестко закодировать токен обновления, перейдите на страницу https://developers.google.com/oauthplayground/
там добавьте нужную область видимости, например https://www.googleapis.com/auth/admin.directory.user
следуйте до шага 2, где вы получите токен обновления.
Конечно, шаги 1 и 2 должны быть e делается из учетной записи администратора, которая имеет доступ к необходимым вам разрешениям. перейдите к шагу 3, чтобы доказать, что это действительно работает, вызвав нужный API.