Как сканировать в массив 2D-символов без сканирования символов ввода/пробела?

Итак, мне нужно сделать программу-лабиринт, и для начала я должен сканировать лабиринт в двумерный массив. Проблема возникает, когда я помещаю символы в массив, когда символ ввода и символ пробела всегда занимают первый слот в массиве...

Вот мой код:

    int main(){

    int row, col;

    int i,j,k,l;

    scanf("%d", &row);

    scanf("%d", &col);

    char** maze = (char**) calloc(row, sizeof(char*));

    for ( k = 0; k < row; k++ )
    {
        maze[k] = (char*) calloc(col, sizeof(char));
    }

    for(i=0;i<row;i++){

        for(j=0;j<col;j++){

            scanf("%c",&maze[j][i]);

        }

    }

    for(k=0;k<row;k++){

        for(l=0;l<col;l++){

            printf("%c", maze[k][l]);

        }

        printf("\n");

    }


   return 0;
}

И вывод:

С вводом символа:

3

3

ххххххххххххххххххххххххххххххххххххххххххххххххххххххххх

xx

ххх

ххх

С пробелом:

3

3 хххххххххххххххххххххххххххххххххххх

xx

ххх

ххх

без всего: (это работает)

3

3ххххххххххххххххххххххххххххххххххххххххххх

ххх

ххх

ххх