Почему компилятор С# создает частный DisplayClass при использовании метода LINQ Any() и как этого избежать?

Чтобы понять «класс отображения», вы должны понимать замыкания. Лямбда, которую вы передаете здесь, является замыканием, особым типом метода, который волшебным образом перетаскивает состояние из области действия метода, в котором он находится, и «закрывает» его.

...за исключением, конечно, того, что магии не существует. Все это состояние должно фактически жить где-то в реальном месте, где-то, что связано с методом замыкания и легкодоступно из него. И как вы называете шаблон программирования, в котором вы напрямую связываете состояние с одним или несколькими методами?

Правильно: классы. Компилятор преобразует лямбда-выражение в класс замыкания, затем создает экземпляр класса внутри метода размещения, чтобы метод размещения мог получить доступ к состоянию в классе.

Единственный способ избежать этого — не использовать замыкания. Если это действительно влияет на производительность, используйте цикл FOR старой школы вместо выражения LINQ.

Как я могу избежать создания этого класса (его экземпляров и их сборки мусора) при использовании метода Any?

Почему компилятор C# создает этот класс и есть ли альтернатива Any(), которую я могу использовать?

Другие постеры уже объяснили часть почему, поэтому лучше задать вопрос Как я могу избежать создания замыкания?. А ответ прост: если лямбда использует только переданные параметры и/или константы, компилятор не создаст замыкание. Например:

bool AnyClub() { return playerCards.Any(c => c.Suit == CardSuit.Club); }

bool AnyOf(CardSuit suit) { return playerCards.Any(c => c.Suit == suit); }

Первый не создаст замыкание, а второй создаст.

Имея все это в виду и предполагая, что вы не хотите использовать циклы for/foreach, вы можете создать собственные методы расширения, подобные тем, что были в System.Linq.Enumerable, но с дополнительными параметрами. Для этого конкретного случая будет работать что-то вроде этого:

public static class Extensions
{
    public static bool Any<T, TArg>(this IEnumerable<T> source, TArg arg, Func<T, TArg, bool> predicate)
    {
        foreach (var item in source)
            if (predicate(item, arg)) return true;
        return false;
    }
} 

и измените рассматриваемый код на:

var hasBigger =
    playerCards.Any(otherPlayerCard, 
        (c, opc) => c.Suit == opc.Suit
             && c.GetValue() > opc.GetValue());