API поиска Reddit не дает всех результатов

Ограничение результатов поиска или списка — распространенная тактика снижения нагрузки на серверы. API Reddit ясно, что это то, что он делает (как вы уже отметили). Однако это не останавливается на достигнутом...

API также поддерживает различные варианты постраничных результатов для списков. Поскольку это постоянно меняющаяся база данных, они не предоставляют страницы, а вместо этого позволяют вам продолжить с того места, где вы остановились, используя параметр «после». Это задокументировано здесь.

Теперь, хотя я не знаком с PRAW, я вижу, что Reddit API поиска соответствует синтаксису листинга. Поэтому я думаю, что вам нужно только повторить поиск, указав дополнительный параметр «после» (ссылаясь на ваш последний результат первого поиска).

Впоследствии, опробовав его, оказалось, что PRAW действительно возвращает вам все результаты, о которых вы просили.

В соответствии с просьбой OP, вот код, который я написал, чтобы просмотреть выгруженные результаты.

import praw

def get_data_reddit(search, after=None):
    r = praw.Reddit(user_agent='StackOverflow example')
    params = {"q": search}
    if after:
        params["after"] = "t3_" + str(after.id)
    posts = r.get_content(r.config['search'] % 'all', params=params, limit=100)
    return posts

search = "stackoverflow"
post = None
count = 0
while True:
    posts = get_data_reddit(search, post)
    for post in posts:
        print(str(post.id))
        count += 1
    print(count)

Итак, я бы просто просмотрел заранее определенный набор поисковых запросов, я предполагаю, что период - это период времени? Я также не уверен, каким будет формат для этого, поэтому нижеприведенное в значительной степени составлено, но вы должны уловить суть.

В этом случае это будет что-то вроде следующего

import praw

def get_data_reddit(search):
    username=""
    password=""
    r = praw.Reddit(user_agent='')
    r.login(username,password,disable_warning=True)
    title=[]

    periods = (time1, time2, time3, time4)  # declare a set of times to use in the search query to limit results

    for period in periods:  # loop through the different time points and query the posts from that time.
        posts=r.search(search, subreddit=None,sort=None, syntax=None,period=None,limit=None)  # this now returns a limited search query.

        for post in posts:
            title.append(post.title)  # and append as usual.
    print len(title)


search="stackoverflow"
get_data_reddit(search)