Я провожу небольшой эксперимент в сети VGG с keras. Набор данных, который я использую, - это набор данных цветов с 5 классами, включая розу, подсолнечник, одуванчик, тюльпан и ромашку.
Есть кое-что, чего я не мог понять: когда я использовал небольшую сеть CNN (не VGG, в приведенном ниже коде), она быстро сходилась и достигла точности проверки около 75% всего за 8 эпох.
Затем я переключился на сеть VGG (закомментированная область в коде). Потери и точность сети просто не изменились, выводится что-то вроде:
Эпоха 1/50 402/401 [==============================] - 199 с 495 мс / шаг - потеря: 13.3214 - соотв. : 0.1713 - val_loss: 13.0144 - val_acc: 0.1926
Эпоха 2/50 402/401 [==============================] - 190 с 473 мс / шаг - потеря: 13,3473 - в соотв. : 0.1719 - val_loss: 13.0144 - val_acc: 0.1926
Эпоха 3/50 402/401 [==============================] - 204 с 508 мс / шаг - потеря: 13,3423 - в соотв. : 0.1722 - val_loss: 13.0144 - val_acc: 0.1926
Эпоха 4/50 402/401 [==============================] - 190 с 472 мс / шаг - потеря: 13,3522 - в соотв. : 0.1716 - val_loss: 13.0144 - val_acc: 0.1926
Эпоха 5/50 402/401 [==============================] - 189 с 471 мс / шаг - потеря: 13,3364 - в соотв. : 0.1726 - val_loss: 13.0144 - val_acc: 0.1926
Эпоха 6/50 402/401 [==============================] - 189 с 471 мс / шаг - потеря: 13,3453 - в соотв. : 0.1720 - val_loss: 13.0144 - val_acc: 0.1926 Эпоха 7/50
Эпоха 7/50 402/401 [==============================] - 189 с 471 мс / шаг - потеря: 13,3503 - в соотв. : 0.1717 - val_loss: 13.0144 - val_acc: 0.1926
PS: Я провел этот эксперимент с другими наборами данных и фреймворками (набор данных place365 с tenorflow и slim). Результат такой же. Я изучил статью VGG (Симонян и Зиссерман), в ней говорится, что обучение такой глубокой сети, как VGG, состоит из нескольких этапов, например, от этапа A до этапа E с различными сетевыми структурами. Я не уверен, что мне нужно обучать свою сеть VGG так же, как это описано в статье VGG. И другие онлайн-курсы не упоминали об этом сложном тренировочном процессе. У кого-нибудь есть идеи?
Мой код:
from keras.preprocessing.image import ImageDataGenerator
from keras.models import Sequential
from keras.layers import Conv2D, MaxPooling2D
from keras.layers import Activation, Dropout, Flatten, Dense
from keras import backend as K
# dimensions of our images.
img_width, img_height = 224, 224
train_data_dir = './data/train'
validation_data_dir = './data/val'
nb_train_samples = 3213
nb_validation_samples = 457
epochs = 50
batch_size = 8
if K.image_data_format() == 'channels_first':
input_shape = (3, img_width, img_height)
else:
input_shape = (img_width, img_height, 3)
# random cnn model:
model = Sequential()
model.add(Conv2D(32, (3, 3), input_shape=input_shape))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Conv2D(32, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Conv2D(64, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Flatten())
model.add(Dense(64))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(5))
model.add(Activation('softmax'))
# vgg model:
'''model = Sequential([
Conv2D(64, (3, 3), input_shape=input_shape, padding='same',
activation='relu'),
Conv2D(64, (3, 3), activation='relu', padding='same'),
MaxPooling2D(pool_size=(2, 2), strides=(2, 2)),
Conv2D(128, (3, 3), activation='relu', padding='same'),
Conv2D(128, (3, 3), activation='relu', padding='same',),
MaxPooling2D(pool_size=(2, 2), strides=(2, 2)),
Conv2D(256, (3, 3), activation='relu', padding='same',),
Conv2D(256, (3, 3), activation='relu', padding='same',),
Conv2D(256, (3, 3), activation='relu', padding='same',),
MaxPooling2D(pool_size=(2, 2), strides=(2, 2)),
Conv2D(512, (3, 3), activation='relu', padding='same',),
Conv2D(512, (3, 3), activation='relu', padding='same',),
Conv2D(512, (3, 3), activation='relu', padding='same',),
MaxPooling2D(pool_size=(2, 2), strides=(2, 2)),
Conv2D(512, (3, 3), activation='relu', padding='same',),
Conv2D(512, (3, 3), activation='relu', padding='same',),
Conv2D(512, (3, 3), activation='relu', padding='same',),
MaxPooling2D(pool_size=(2, 2), strides=(2, 2)),
Flatten(),
Dense(256, activation='relu'),
Dense(256, activation='relu'),
Dense(5, activation='softmax')
])'''
model.compile(loss='categorical_crossentropy',
optimizer='rmsprop',
metrics=['accuracy'])
train_datagen = ImageDataGenerator(
rescale=1. / 255,
shear_range=0.2,
zoom_range=0.2,
horizontal_flip=True)
test_datagen = ImageDataGenerator(rescale=1. / 255)
train_generator = train_datagen.flow_from_directory(
train_data_dir,
target_size=(img_width, img_height),
batch_size=batch_size,
class_mode='categorical')
validation_generator = test_datagen.flow_from_directory(
validation_data_dir,
target_size=(img_width, img_height),
batch_size=batch_size,
class_mode='categorical')
model.fit_generator(
train_generator,
steps_per_epoch=nb_train_samples // batch_size,
epochs=epochs,
validation_data=validation_generator,
validation_steps=nb_validation_samples // batch_size)
model.save_weights('flowers.h5')