Обслуживание больших файлов (>2 ГБ) с помощью libevent в 32-битной системе

Преамбула: легкий http-сервер, написанный на C на основе libevent v2 (evhttp), Linux, ARM, glibc2.3.4

Я пытаюсь обслуживать большие файлы (более 2 ГБ) с помощью evbuffer_add_file() в 32-битной системе. libevent был скомпилирован с флагом -D_FILE_OFFSET_BITS=64. Вот упрощенный код:

int fd = -1;
if ((fd = open(path, O_RDONLY)) < 0) {
    // error handling
}

struct stat st;
if (fstat(fd, &st) < 0) {
    // error handling
}

struct evbuffer *buffer = evbuffer_new();
evbuffer_set_flags(buffer, EVBUFFER_FLAG_DRAINS_TO_FD); // force using system's sendfile
evbuffer_add_file(buffer, fd, 0, st.st_size);
evhttp_send_reply(req, 200, NULL, buffer);
evbuffer_free(buffer);

st.st_size имеет правильное значение, в данном случае 4913809524, но заголовок ответа Content-Length имеет значение 618842228. Даже если я установлю для заголовка Content-Length соответствующее значение, передача файла остановится на 618842228...

Я пропустил или делаю что-то не так? Это вообще возможно?

заранее спасибо


c large-files 32-bit libevent
person dvinogradov    schedule 09.12.2013    source источник
comment
Итак, когда (((ev_off_t)st.st_size) != st.st_size) у вас проблемы?   -  person chux - Reinstate Monica    schedule 11.12.2013
comment
нет, в моем случае (((ev_off_t)st.st_size) == st.st_size). Я думаю, что проблема заключается в реализации системы sendfile, а не в libevent... Решил эту проблему путем реализации потоковой передачи с использованием evhttp_send_reply_start() / evhttp_send_reply_chunk() / evhttp_send_reply_end()   -  person dvinogradov    schedule 11.12.2013

Ответы (1)


arrow_upward
0
arrow_downward

Как я сказал в комментарии, очевидно, проблема не в libevent, а в реализации системы sendfile. Итак, с помощью небольшого обходного пути я нашел способ решить эту проблему, используя семейство функций evhttp_send_reply_(start|chunk|end):

    struct chunk_req_state {
        struct evhttp_request *req;
        int fd;
        long chunksize;
        off_t filesize;
        off_t offset;
    };

    static void
    chunked_trickle_cb(evutil_socket_t fd, short events, void *arg)
    {
        struct evbuffer *evb = evbuffer_new();
        struct chunk_req_state *state = arg;
        struct timeval when = { 0, 0 };
        ev_ssize_t read;

        if (lseek(state->fd, state->offset, SEEK_SET) == -1) {
                    evbuffer_free(evb);
                    close(state->fd);
                    free(state);
                    return;
        }

        read = evbuffer_read(evb, state->fd, (ev_ssize_t) state->chunksize);
        if (read == -1) {
            evbuffer_free(evb);
            evhttp_send_reply_end(state->req);
            close(state->fd);
            free(state);
            return;
        }

        evhttp_send_reply_chunk(state->req, evb);
        evbuffer_free(evb);

        state->offset += read;

        if (state->offset < state->filesize) {
              // there's more data to send
            event_base_once(ebase, -1, EV_TIMEOUT, chunked_trickle_cb, state, &when);
        } else {
                // reached the end
            evhttp_send_reply_end(state->req);
            close(state->fd);
            free(state);
        }
    }

    int fd = -1;
    if ((fd = open(path, O_RDONLY)) < 0) {
        // error handling
    }

    struct stat st;
    if (fstat(fd, &st) < 0) {
        // error handling
    }

    struct timeval when = { 0, 0 };
    struct chunk_req_state *state = malloc(sizeof(struct chunk_req_state));
    memset(state, 0, sizeof(struct chunk_req_state));
    state->req = req;
    state->fd = fd;
    state->chunksize = 10*1024*1024;
    state->filesize = st.st_size;
    state->offset = 0;
    // set Content-Length to prevent chunked transfer
    char *length = NULL;
    spprintf(&length, 0, "%lld", st.st_size);
    evhttp_add_header(evhttp_request_get_output_headers(request->req), "Content-Length", length);
    free(length);
    evhttp_send_reply_start(request->req, 200, NULL);
    event_base_once(ebase, -1, EV_TIMEOUT, chunked_trickle_cb, state, &when);
person dvinogradov    schedule 11.12.2013
comment
Повторно открыл это, потому что это решение на самом деле не решает проблему. Запрос файла с такими клиентами, как VLC (потоковое видео), вызывает переполнение памяти на стороне сервера... - person dvinogradov; 06.01.2014