Вопросы по теме 'tensorflow-datasets'
TensorFlow: обучение на собственном образе
Я новичок в TensorFlow. Мне нужна помощь по распознаванию изображений, где я могу обучить свой собственный набор данных .
Есть ли какой-нибудь пример для обучения нового набора данных?
53725 просмотров
schedule
27.02.2024
Кэширование набора данных с примерами различной длины
Мой набор данных состоит из аудиосегментов продолжительностью от 5 до 180 секунд. Количество примеров достаточно мало, чтобы их можно было кэшировать в памяти, а не читать с диска снова и снова. Хранение данных в постоянном тензоре/переменной и...
1215 просмотров
schedule
09.10.2023
Разделить очередь на набор поездов / тестов
Я настроил свой конвейер, начиная с очереди имени файла, как в следующем псевдокоде:
filename_queue = tf.train.string_input_producer(["file0.pd", "file1.pd"])
указывает на TFRecords , содержащий несколько сериализованных tf.train.Example...
1417 просмотров
schedule
15.04.2022
Создавайте сбалансированные мини-партии с помощью Dataset API
У меня вопрос о новом API набора данных (tensorflow 1.4rc1). У меня несбалансированный набор данных по меткам 0 и 1 . Моя цель - создать сбалансированные мини-партии во время предварительной обработки.
Предположим, у меня есть два...
3415 просмотров
schedule
22.04.2022
Разница между tf.data.Dataset.map () и tf.data.Dataset.apply ()
После недавнего обновления до версии 1.4 Tensorflow включил tf.data в ядро библиотеки. Одна «важная новая функция», описанная в примечаниях к выпуску версии 1.4 это tf.data.Dataset.apply() , который является «методом применения...
11474 просмотров
schedule
26.04.2023
Как вы используете конвейер tf.data для выбора и пакетной обработки наборов данных?
Я пытаюсь использовать конвейер ввода tf.data, чтобы разрешить выбор набора данных во время выполнения при пакетной обработке данных. Следующее должно позволить мне запустить InitTrain / InitTest, чтобы выбрать, какой набор данных использовать:...
211 просмотров
schedule
12.01.2023
Проблемы с чтением tfrecord с помощью tensorflow
Теперь моя проблема заключается в чтении tfrecords. Например, предположим, что у меня есть два изображения, и каждое поле имеет свою ограничительную рамку для включения объектов.
image1 bbox1:xmin1,ymin1,xmax1,ymax1
image2...
129 просмотров
schedule
27.02.2023
Многострочный текстовый набор данных в Tensorflow
tf.data. * имеет классы наборов данных. Существует TextLineDataset, но мне нужен один для многострочного текста (между начальным / конечным токенами). Есть ли способ использовать другой разделитель разрыва строки для tf.data.TextLineDataset?
Я...
706 просмотров
schedule
19.06.2023
API набора данных Tensorflow медленнее, чем очереди?
Я заменил конвейер предварительной обработки CIFAR-10 в проекте подходом Dataset API, что привело к снижению производительности примерно на 10-20%.
Предварительная обработка довольно стандартна: - читать изображение с диска - произвольно / обрезать...
2783 просмотров
schedule
20.07.2023
Возведение в квадрат с помощью TensorFlow с классом набора данных
Я хочу написать нейронную сеть, которая ищет распределение x ^ 2 без предопределенной модели. Точнее, ему даются некоторые точки в [-1,1] с их квадратами для обучения, а затем ему нужно будет воспроизвести и предсказать подобное, например. [-10,10]....
79 просмотров
schedule
11.01.2023
TensorFlow Dataset API: использование массивов NumPy с добавлением пакетной обработки
Быстрый отказ от ответственности: я впервые активно задаю здесь вопрос о переполнении стека.
Теперь перейдем к самому вопросу. У меня возникают некоторые проблемы с использованием довольно нового API набора данных tenorflow 1.4 вместе с чтением...
714 просмотров
schedule
02.07.2023
Как лучше всего использовать распределенный вывод с несколькими графическими процессорами в тензорном потоке?
Я новичок в Tensorflow и работаю над распространением тестовых изображений на несколько графических процессоров. Я прочитал много ответов о переполнении стека и примеров Github, и я думаю, что это можно сделать двумя способами.
1) использование...
528 просмотров
schedule
10.11.2022
Как использовать дизайн tf.Dataset как для обучения, так и для вывода?
Скажем, у нас есть ввод x и метка y :
iterator = tf.data.Iterator.from_structure((x_type, y_type), (x_shape, y_shape))
tf_x, tf_y = iterator.get_next()
Теперь я использую функцию генерации для создания набора данных:
def gen():
for...
266 просмотров
schedule
15.10.2022
Как я могу бесконечно читать из Tensorflow tf.data.Dataset?
Я переключаю свой старый уровень данных (с использованием очередей) на «новый» и рекомендуемый API набора данных. Я использую его впервые, поэтому привожу примеры кода на случай, если у меня что-то в корне не так.
Я создаю свой набор данных из...
1501 просмотров
schedule
27.06.2023
Замена tf.placeholder и feed_dict на tf.data API
У меня есть существующая модель TensorFlow, которая использовала tf.placeholder для ввода модели и параметр feed_dict tf.Session (). Run для подачи данных. Раньше весь набор данных считывался в память и передавался таким образом.
Я хочу...
5769 просмотров
schedule
29.04.2023
Как вернуть размер пакета из набора данных tensorflow?
В качестве входного конвейера рекомендуется использовать набор данных tenorflow, который можно настроить следующим образом:
# Specify dataset
dataset = tf.data.Dataset.from_tensor_slices((features, labels))
# Suffle
dataset =...
3332 просмотров
schedule
18.11.2022
Правильный способ остановить набор данных TensorFlow «from_generator»?
Я хотел бы использовать набор данных TensorFlow, созданный с помощью from_generator , для доступа к отформатированному файлу. Почти все работает, за исключением того, что я не знаю, как остановить итератор набора данных, когда у генератора...
1035 просмотров
schedule
12.11.2022
API набора данных Tensorflow: распараллеливание tf.data.Dataset.from_generator с parallel_interleave
В производственной среде у меня есть данные, поступающие от N производителей, которые должны пройти через сеть. Я нашел этот комментарий к распараллеливанию tf.data.Dataset.from_generator , который действительно описывает что я хочу.
def...
624 просмотров
schedule
07.08.2022
API набора данных Tensorflow - .from_tensor_slices () / .from_tensor () - не может создать тензорный протокол, содержимое которого превышает 2 ГБ
Поэтому я хочу использовать Dataset API для пакетной обработки моего большого набора данных (~ 8 ГБ), поскольку я страдаю от больших простоев при использовании моего графического процессора, поскольку я передаю данные из python в Tensorflow с помощью...
2075 просмотров
schedule
14.03.2023
Создание набора данных тензорного потока, который выводит dict
У меня есть dict с «метаданными» для моего набора данных вида {'m1': array_1, 'm2': array_2, ...}. . Каждый из массивов имеет форму (N, ...), где N - количество выборок.
Вопрос: можно ли создать tf.data.Dataset , который выводит словарь...
9028 просмотров
schedule
21.03.2022
