Программа частоты слов - входной файл слишком большой?

Вы заставляете свою программу слишком сильно совпадать с памятью и вычислениями. Сначала вы читаете все слова в память и сортируете их. Затем вы вычисляете частоты и заполняете еще один вектор. У вас должно быть std::vector<word_freq> на первом месте, сортируйте его по словам (путем вставки элементов в нужное место) и вставляйте новый элемент или увеличивайте счетчик на существующем. Затем пересортируйте этот вектор по частотам и распечатайте.

Например, как вы могли бы переписать свой цикл:

struct word_freq {
    int freq;
    std::string word;

    word_freq( const std::string &w ) : word( w ), freq( 0 ) {}
};


void addWord( std::vector<word_freq> &v, const std::string &word )
{
     word_freq tmp( word );
     auto p = std::equal_range( v.begin(), v.end(), tmp, 
         []( const word_freq &w1, const word_freq &w2 ) {
             return w1.word < w2.word;
     } );
     if( p.first == p.second )  // not found
         p.first = v.insert( p.second, tmp ); // insert into proper place
     p.first->freq++; // increase freq counter
}

// ......
std::vector<word_freq> words;
string w;
while (inf >> w)
{
    remove_punc(w);
    addWord( words, w );
}
// here your vector sorted by words, there are no dups and counters have proper value already
// just resort it by freq and print

Подробности о том, как сохранить сортировку векторов, можно найти здесь как вы вставляете значение в отсортированный вектор?

С другой стороны, сохранение сортировки std::vector<word_freq> потребует слишком совпадающих вставок в середину или начало вектора, что может быть довольно дорогим и медленным. Поэтому, если вы реализуете описанную логику и заставляете ее работать на небольших примерах, и она все еще слишком медленная для вашего большого ввода - вы должны сортировать вектор индексов вместо вектора самого word_freq. При этом все равно потребуется вставить в начало или середину вектора целых чисел, но такая операция значительно дешевле и быстрее. Подробности о том, как индексы сортировки вместо самого вектора можно найти здесь: сравнить функцию сортировки в C++ для сортировки по индексу

Если вы используете reserve(int) после выделения векторов, производительность будет намного лучше.

Возвращение к векторам постоянно вызывает фрагментацию памяти.

Причина в том, что векторы постоянно перерастают свои выделенные границы и часто перераспределяются. Перераспределение небольших объектов часто обходится дорого и напрямую влияет на производительность.

Вызов резерва с достаточно большим фрагментом памяти на начальном этапе и вызов его снова, когда размер вектора соответствует его емкости, помогает избежать этой проблемы.

Подробнее здесь:

Что такое фрагментация памяти?

И тут:

Должен ли я беспокоиться о фрагментации памяти с помощью std::vector?

Небольшая демонстрация с замерами производительности:

#include <chrono>
#include <vector>
#include <iostream>

int main()
{
        std::vector<std::string> slow;
        std::string d = "divide and conquer";

        std::chrono::time_point<std::chrono::system_clock> start, end;
        start = std::chrono::system_clock::now();

        // I get reallocated all the time
        for ( int i=0; i < 100000; i++ )
        {
            slow.push_back(d);
        }

        end = std::chrono::system_clock::now();

        std::chrono::duration<double> elapsed_seconds = end-start;
        std::time_t end_time = std::chrono::system_clock::to_time_t(end);

        std::cout << "elapsed time v1: " << elapsed_seconds.count() << "s\n";

        start = std::chrono::system_clock::now();

        //I don't move around
        slow.reserve(100000);
        slow.clear();
        for ( int i=0; i < 100000; i++ )
        {
            slow.push_back(d);
        }

        end = std::chrono::system_clock::now();

        elapsed_seconds = end-start;
        end_time = std::chrono::system_clock::to_time_t(end);

        std::cout << "elapsed time v2: " << elapsed_seconds.count() << "s\n";
        return 0;
}

Вывод:

    elapsed time v1: 0.014085s

    elapsed time v2: 0.004597s