Вызов API даркнета из python с использованием ctypes (изображение в качестве аргумента)

Я хочу передать изображение с python на C, используя ctypes.

Я работаю с реализацией API даркнета AlexeyAB: https://github.com/AlexeyAB/darknet и я хочу захватить изображение (возможно, выполняя дополнительную обработку) в python и выполнить прогнозирование в C.

Я скомпилировал как разделяемую библиотеку ("LIBSO=1" в make-файле). Идея состоит в том, чтобы иметь две пользовательские функции в скрипте «detector.c». Первая инициализирует сеть и сохраняет ее как глобальную переменную (пока работает), а вторая функция берет изображение и делает прогноз, используя эту сеть.

Кажется, я не могу понять, как передать python формы изображения в C. Я думаю, что предпочел бы передать указатель на изображение, так как я думаю, что это, вероятно, будет самым быстрым решением. Мои поиски пока не дали никаких результатов.

Это мои пользовательские функции в «detector.c»:

void init_network(char *datacfg, char *cfgfile, char *weightfile, float thresh,
    float hier_thresh)
{
    options = read_data_cfg(datacfg);
    name_list = option_find_str(options, "names", "data/names.list");
    names_size = 0;
    names = get_labels_custom(name_list, &names_size); //get_labels(name_list);
    thr = thresh;
    hier_thr = hier_thresh;
    alphabet = load_alphabet();
    net = parse_network_cfg_custom(cfgfile, 1, 1); // set batch=1
    if (weightfile) {
        load_weights(&net, weightfile);
    }
    fuse_conv_batchnorm(net);
    calculate_binary_weights(net);
    if (net.layers[net.n - 1].classes != names_size) {
        printf(" Error: in the file %s number of names %d that isn't equal to classes=%d in the file %s \n",
            name_list, names_size, net.layers[net.n - 1].classes, cfgfile);
        if (net.layers[net.n - 1].classes > names_size) getchar();
    }

}

и прогноз:

detection * predict_network(image im, int img_width, int img_height, int image_channels, int dont_show){
    float nms = .45;    // 0.4F
    image sized;
    sized = resize_image(im, net.w, net.h);
    layer l = net.layers[net.n - 1];

    float *X = sized.data;

    double time = get_time_point();
    network_predict(net, X);

    printf("Predicted in %lf milli-seconds.\n", ((double)get_time_point() - time) / 1000);

    int nboxes = 0;
    detection *dets = get_network_boxes(&net, im.w, im.h, thr, hier_thr, 0, 1, &nboxes, 0);
    if (nms) do_nms_sort(dets, nboxes, l.classes, nms);

    draw_detections_v3(im, dets, nboxes, thr, names, alphabet, l.classes, 0);
    save_image(im, "predictions");

    free_image(im);
    free_image(sized);

    if (!dont_show) {
        wait_until_press_key_cv();
        destroy_all_windows_cv();
    }
    return dets;

}

Вот мой скрипт на Python:

import ctypes
import time
import cv2

testlib = ctypes.cdll.LoadLibrary('/home/aut/joax/github/AlexeyAB_darknet/libdarknet.so')

testlib.init_network(ctypes.create_string_buffer(b"fire.data"), ctypes.create_string_buffer(b"yolov3-tiny_fire.cfg"), ctypes.create_string_buffer(b"backup/yolov3-tiny_fire_best.weights"), ctypes.create_string_buffer(b"data/fire/img00063.png"), ctypes.c_float(0.25), ctypes.c_float(0.50), 0, 0, 0, "0", 0)
img = cv2.imread("data/fire/img00063.png")

height, width, channels = img.shape
testlib.predict_network(hex(id(img)), width, height, channels, 1)
testlib.release_network()

Это не совсем «минимально воспроизводимый пример», но такой пример привести сложно, так как API даркнета такой большой...

С уважением


person LordAxel    schedule 18.10.2019    source источник
comment
Недостаточно информации, но читайте об использовании .argtypes и .restype в документации ctypes. Вам не нужно create_string_buffer и c_float вокруг каждого параметра, если они определены правильно. Также каково определение C типа image?   -  person Mark Tolonen    schedule 18.10.2019
comment
Я быстро взглянул на модуль opencv-python, и похоже, что img.ctypes.data — это то, что вам следует пройти.   -  person Mark Tolonen    schedule 18.10.2019


Ответы (1)


Большое спасибо за ваш ответ @mark-tolonen. Ваш ответ заставил меня более внимательно изучить использование ctypes, что, в свою очередь, привлекло мое внимание к тому факту, что API даркнета на самом деле поставляется со скриптом Python, который показывает, как использовать общую библиотеку! Тип изображения в даркнете — это класс, определенный в python следующим образом:

class IMAGE(Structure):
    _fields_ = [("w", c_int),
                ("h", c_int),
                ("c", c_int),
                ("data", POINTER(c_float))]

Определение этого класса в python позволяет напрямую использовать его в качестве аргумента функции с API даркнета.

person LordAxel    schedule 21.10.2019