У меня якобы простая задача, но видимо я так и не понял как работают проекции в шейдерах. Мне нужно сделать 2D-перспективное преобразование на текстурном квадрате (2 треугольника), но визуально это выглядит неправильно (например, трапеция немного выше или более растянута, чем в версии для процессора).
У меня есть эта структура:
struct VertexInOut
{
float4 position [[position]];
float3 warp0;
float3 warp1;
float3 warp2;
float3 warp3;
};
И в вершинном шейдере я делаю что-то вроде (texCoords
— это пиксельные координаты четырехугольных углов, а гомография вычисляется в пиксельных координатах):
v.warp0 = texCoords[vid] * homographies[0];
Затем во фрагментном шейдере вот так:
return intensity.sample(s, inFrag.warp0.xy / inFrag.warp0.z);
Результат не тот, что я ожидаю. Я потратил часы на это, но я не могу понять это. вентиляция
ОБНОВЛЕНИЕ:
Это код и результат для ЦП (он же ожидаемый результат):
// _image contains the original image
cv::Matx33d h(1.03140473, 0.0778113901, 0.000169219566,
0.0342947133, 1.06025684, 0.000459250761,
-0.0364957005, -38.3375587, 0.818259298);
cv::Mat dest(_image.size(), CV_8UC4);
// h is transposed because OpenCV is col major and using backwarping because it is what is used on the GPU, so better for comparison
cv::warpPerspective(_image, dest, h.t(), _image.size(), cv::WARP_INVERSE_MAP | cv::INTER_LINEAR);
Это код и результат для графического процессора (он же неправильный результат):
// constants passed in buffers, image size 320x240
const simd::float4 quadVertices[4] =
{
{ -1.0f, -1.0f, 0.0f, 1.0f },
{ +1.0f, -1.0f, 0.0f, 1.0f },
{ -1.0f, +1.0f, 0.0f, 1.0f },
{ +1.0f, +1.0f, 0.0f, 1.0f },
};
const simd::float3 textureCoords[4] =
{
{ 0, IMAGE_HEIGHT, 1.0f },
{ IMAGE_WIDTH, IMAGE_HEIGHT, 1.0f },
{ 0, 0, 1.0f },
{ IMAGE_WIDTH, 0, 1.0f },
};
// vertex shader
vertex VertexInOut homographyVertex(uint vid [[ vertex_id ]],
constant float4 *positions [[ buffer(0) ]],
constant float3 *texCoords [[ buffer(1) ]],
constant simd::float3x3 *homographies [[ buffer(2) ]])
{
VertexInOut v;
v.position = positions[vid];
// example homography
simd::float3x3 h = {
{1.03140473, 0.0778113901, 0.000169219566},
{0.0342947133, 1.06025684, 0.000459250761},
{-0.0364957005, -38.3375587, 0.818259298}
};
v.warp = h * texCoords[vid];
return v;
}
// fragment shader
fragment int4 homographyFragment(VertexInOut inFrag [[stage_in]],
texture2d<uint, access::sample> intensity [[ texture(1) ]])
{
constexpr sampler s(coord::pixel, filter::linear, address::clamp_to_zero);
float4 targetIntensity = intensityRight.sample(s, inFrag.warp.xy / inFrag.warp.z);
return targetIntensity;
}
Исходное изображение:
ОБНОВЛЕНИЕ 2:
Вопреки распространенному мнению, что разделение перспективы должно выполняться во фрагментном шейдере, я получаю намного более похожий результат, если разделяю в вершинном шейдере (без искажений или швов между треугольниками), но почему? ?
ОБНОВЛЕНИЕ 3:
Я получаю тот же (неправильный) результат, если:
- Я перемещаю разделение перспективы на фрагментный шейдер
- Я просто удаляю деление из кода
Очень странно, похоже, деления не происходит.