Итеративно обучайте модель keras, используя небольшие партии примеров

Я строю сверточную сеть, которая принимает на вход большой трехмерный массив. поскольку массив слишком велик (60000 100 100), мой компьютер вызывает ошибку памяти, когда я инициализирую ввод. Могу ли я обучать модель партиями? например, ввод (1000,100,100) может быть 60 раз, так что мне не нужно слишком запоминать данные, используемые для обучения, поэтому память, которую можно сохранить.

Я столкнулся с этой проблемой, потому что я пытаюсь иметь дело с огромным набором данных, и я векторизирую слова в нем.

X_train = np.zeros((train.shape[0],length, vector_size), dtype=K.floatx())## this line raises memory error as this is of shape (60000,100,100)
#some other code to calculate word embeddings and fill those numbers in X-train and Y_train
convmodel = Sequential()
convmodel = Sequential()

convmodel.add(Conv1D(32, kernel_size=3, activation='elu', padding='same', input_shape=(length, vector_size))) #length = 100,vector_size=100
convmodel.add(Conv1D(32, kernel_size=3, activation='elu', padding='same'))
convmodel.add(Dropout(0.25))

convmodel.add(Conv1D(32, kernel_size=2, activation='elu', padding='same'))
convmodel.add(Conv1D(32, kernel_size=2, activation='elu', padding='same'))
convmodel.add(Dropout(0.25))

convmodel.add(Flatten())

convmodel.add(Dense(256, activation='tanh'))
convmodel.add(Dropout(0.3))

convmodel.add(Dense(2, activation='softmax'))

convmodel.compile(loss='categorical_crossentropy',
              optimizer=Adam(lr=0.0001, decay=1e-6),
              metrics=['accuracy'])
model.fit(X_train, Y_train,  #size of x_train is (66000,100,100) 
          batch_size=128,
          shuffle=True,
          epochs=10,
          validation_data=(X_test, Y_test),
          callbacks=[EarlyStopping(min_delta=0.00025, patience=2)])


person sudheer naidu    schedule 21.06.2019    source источник
comment
Пробовали ли вы использовать model.fit_generator?   -  person Chris    schedule 21.06.2019
comment
Возможный дубликат Использовать генератор для Keras model.fit_generator   -  person Chris    schedule 21.06.2019