обучение vgg на наборе данных цветов с помощью keras, потеря проверки не меняется

Я провожу небольшой эксперимент в сети VGG с keras. Набор данных, который я использую, - это набор данных цветов с 5 классами, включая розу, подсолнечник, одуванчик, тюльпан и ромашку.

Есть кое-что, чего я не мог понять: когда я использовал небольшую сеть CNN (не VGG, в приведенном ниже коде), она быстро сходилась и достигла точности проверки около 75% всего за 8 эпох.

Затем я переключился на сеть VGG (закомментированная область в коде). Потери и точность сети просто не изменились, выводится что-то вроде:

Эпоха 1/50 402/401 [==============================] - 199 с 495 мс / шаг - потеря: 13.3214 - соотв. : 0.1713 - val_loss: 13.0144 - val_acc: 0.1926

Эпоха 2/50 402/401 [==============================] - 190 с 473 мс / шаг - потеря: 13,3473 - в соотв. : 0.1719 - val_loss: 13.0144 - val_acc: 0.1926

Эпоха 3/50 402/401 [==============================] - 204 с 508 мс / шаг - потеря: 13,3423 - в соотв. : 0.1722 - val_loss: 13.0144 - val_acc: 0.1926

Эпоха 4/50 402/401 [==============================] - 190 с 472 мс / шаг - потеря: 13,3522 - в соотв. : 0.1716 - val_loss: 13.0144 - val_acc: 0.1926

Эпоха 5/50 402/401 [==============================] - 189 с 471 мс / шаг - потеря: 13,3364 - в соотв. : 0.1726 - val_loss: 13.0144 - val_acc: 0.1926

Эпоха 6/50 402/401 [==============================] - 189 с 471 мс / шаг - потеря: 13,3453 - в соотв. : 0.1720 - val_loss: 13.0144 - val_acc: 0.1926 Эпоха 7/50

Эпоха 7/50 402/401 [==============================] - 189 с 471 мс / шаг - потеря: 13,3503 - в соотв. : 0.1717 - val_loss: 13.0144 - val_acc: 0.1926

PS: Я провел этот эксперимент с другими наборами данных и фреймворками (набор данных place365 с tenorflow и slim). Результат такой же. Я изучил статью VGG (Симонян и Зиссерман), в ней говорится, что обучение такой глубокой сети, как VGG, состоит из нескольких этапов, например, от этапа A до этапа E с различными сетевыми структурами. Я не уверен, что мне нужно обучать свою сеть VGG так же, как это описано в статье VGG. И другие онлайн-курсы не упоминали об этом сложном тренировочном процессе. У кого-нибудь есть идеи?

Мой код:

from keras.preprocessing.image import ImageDataGenerator
from keras.models import Sequential
from keras.layers import Conv2D, MaxPooling2D
from keras.layers import Activation, Dropout, Flatten, Dense
from keras import backend as K


# dimensions of our images.
img_width, img_height = 224, 224

train_data_dir = './data/train'
validation_data_dir = './data/val'
nb_train_samples = 3213
nb_validation_samples = 457
epochs = 50
batch_size = 8

if K.image_data_format() == 'channels_first':
    input_shape = (3, img_width, img_height)
else:
    input_shape = (img_width, img_height, 3)

# random cnn model: 
model = Sequential()
model.add(Conv2D(32, (3, 3), input_shape=input_shape))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(32, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(64, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Flatten())
model.add(Dense(64))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(5))
model.add(Activation('softmax'))

# vgg model:
'''model = Sequential([
    Conv2D(64, (3, 3), input_shape=input_shape, padding='same',
           activation='relu'),
    Conv2D(64, (3, 3), activation='relu', padding='same'),
    MaxPooling2D(pool_size=(2, 2), strides=(2, 2)),
    Conv2D(128, (3, 3), activation='relu', padding='same'),
    Conv2D(128, (3, 3), activation='relu', padding='same',),
    MaxPooling2D(pool_size=(2, 2), strides=(2, 2)),
    Conv2D(256, (3, 3), activation='relu', padding='same',),
    Conv2D(256, (3, 3), activation='relu', padding='same',),
    Conv2D(256, (3, 3), activation='relu', padding='same',),
    MaxPooling2D(pool_size=(2, 2), strides=(2, 2)),
    Conv2D(512, (3, 3), activation='relu', padding='same',),
    Conv2D(512, (3, 3), activation='relu', padding='same',),
    Conv2D(512, (3, 3), activation='relu', padding='same',),
    MaxPooling2D(pool_size=(2, 2), strides=(2, 2)),
    Conv2D(512, (3, 3), activation='relu', padding='same',),
    Conv2D(512, (3, 3), activation='relu', padding='same',),
    Conv2D(512, (3, 3), activation='relu', padding='same',),
    MaxPooling2D(pool_size=(2, 2), strides=(2, 2)),
    Flatten(),
    Dense(256, activation='relu'),
    Dense(256, activation='relu'),
    Dense(5, activation='softmax')
])'''


model.compile(loss='categorical_crossentropy',
              optimizer='rmsprop',
              metrics=['accuracy'])

train_datagen = ImageDataGenerator(
    rescale=1. / 255,
    shear_range=0.2,
    zoom_range=0.2,
    horizontal_flip=True)

test_datagen = ImageDataGenerator(rescale=1. / 255)

train_generator = train_datagen.flow_from_directory(
    train_data_dir,
    target_size=(img_width, img_height),
    batch_size=batch_size,
    class_mode='categorical')

validation_generator = test_datagen.flow_from_directory(
    validation_data_dir,
    target_size=(img_width, img_height),
    batch_size=batch_size,
    class_mode='categorical')

model.fit_generator(
    train_generator,
    steps_per_epoch=nb_train_samples // batch_size,
    epochs=epochs,
    validation_data=validation_generator,
    validation_steps=nb_validation_samples // batch_size)

model.save_weights('flowers.h5')

person xiangxiao    schedule 27.11.2017    source источник


Ответы (1)


Проблема решена, я изменил скорость обучения на 0,0001. Сейчас он начинает учиться. Кажется, что 0,001 - это недостаточно.

person xiangxiao    schedule 28.11.2017