Лучший эквивалент для EnterCriticalSection в Mac OS X?

Предполагая, что у вас есть правильно работающая нерекурсивная блокировка, довольно легко получить эффективную рекурсивную блокировку (не знаю об API-интерфейсах Mac, так что это псевдокод):

class RecursiveLock {
public:
    void acquire() {
        auto tid = get_thread_id();
        if (owner == tid) { 
            lockCnt++;
        } else {
            AcquireLock(lock);
            owner = tid;
            lockCnt = 1;
        }
    }

    void release() {
        assert(owner == get_thread_id());
        lockCnt--;
        if (lockCnt == 0) {
            owner = 0;  // some illegal value for thread id
            ReleaseLock(lock);
        }
    }

private:
    int lockCnt;
    std::atomic<void*> owner;  
    void *lock;   // use whatever lock you like here
};

Рассуждать просто:

• если tid == owner гарантируется, что мы уже получили блокировку.
• если tid != owner либо кто-то еще удерживает блокировку, либо она свободна, в обоих случаях мы пытаемся получить блокировку и блокировать, пока не получим ее. После получения блокировки мы устанавливаем владельца на tid. Итак, какое-то время мы получали блокировку, но owner по-прежнему незаконны. Но нет проблем, так как незаконный tid также не будет сравниваться с tid любого реального потока, поэтому они также перейдут в ветку else и должны будут ждать, чтобы получить ее.

Обратите внимание на часть std::atomic — нам действительно нужны гарантии заказа для поля owner, чтобы сделать это законным. Если у вас нет С++ 11, используйте для этого встроенный компилятор.