У меня есть имя таблицы pyarrow final_table формы 6132,7. Я хочу добавить столбец в эту таблицу.
list_ = ['IT'] * 6132
final_table.append_column('COUNTRY_ID', list_)
но я получаю следующую ошибку ArrowInvalid: длина добавленного столбца должна соответствовать длине таблицы. Ожидаемая длина 6132, но получена длина 12264
Согласно документации:
Append column at end of columns.
Parameters
field (str or Field) – If a string is passed then the type is deduced from the column data.
column (Array, list of Array, or values coercible to arrays) – Column data.
Returns
pyarrow.Table – New table with the passed column added.
Я думаю, что pyarrow предполагает, что вы предоставляете list of Array. Чтобы избежать путаницы, вы должны вместо этого передать массив стрелок
col_a = pa.array([1, 2, 3], pa.int32())
col_b = pa.array(["X", "Y", "Z"], pa.string())
table = pa.Table.from_arrays(
[col_a, col_b],
schema=pa.schema([
pa.field('a', col_a.type),
pa.field('b', col_b.type),
])
)
table.append_column('COUNTRY_ID', pa.array(['IT'] * len(table), pa.string()))
