人工智能实战：识别分类货船与游轮

实验环境：TENSORFLOW2.0+PYCHARM+CUDA 实验过程：模型1 实验初期我们最开始首先设计了简单的图片分类模型。该模型分为以下几个模块： Mymodel_001.h5是训练集训练得到的模型 Testing.py是测试模型准确度的程序 Training.py是训练模型的程序 训练集，验证集和测试集则为以下几个文件夹： test_set 是测试集 training_set是训练集 validation_set是验证集 具体设计如下： 分类的数据主要是分为有船和无船两类，所以三个数据集分别有两个子集： Non-ship代表没有船 Ship则代表有船 （这些图片都是利用谷歌浏览器的插件： Fatkun,从谷歌图片和百度图片上面下载的。） 收集好数据集后，接下来的工作是设计神经网络的模型。由于第一次亲手设计，我们只使用了几个隐藏层： 该模型仅有三个隐藏层和池化层交接组成，再连接一个512的全连接层后，输出一个由sigmoid激活的浮点数。 这个浮点数越接近1则有船的机率越大，越接近0则更小。 数据集和理论模型完成后，接下来就是代码实现。 代码实现： 编程全程使用python程序语言。最开始是导入设计所需要的各个模块：

import tensorflow as tf from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Conv2D, Flatten, Dropout, MaxPooling2D from tensorflow.keras.preprocessing.image import ImageDataGenerator import os import matplotlib.pyplot as plt import glob

首先以文件夹的形式导入数据集：

trainingDir = r'D:\project_material\shipReco\training_set\\'# 训练集路径 validationDir = r'D:\project_material\shipReco\validation_set\\'# 验证集路径 trainShipDir = os.path.join(trainingDir, 'ships')# 训练集子集船的路径 trainNonShipDir = os.path.join(trainingDir, 'non-ships')#训练集子集无船的路径 num_ship_tr = len(os.listdir(trainShipDir))# 训练集船的数量 num_non_ship_tr = len(os.listdir(trainNonShipDir))# 训练集无船的数量 val_ShipDir = os.path.join(validationDir, 'ships')# 验证集子集船的路径 val_NonShipDir = os.path.join(validationDir, 'non-ships')# 验证集子集无船的路径 num_ship_val = len(os.listdir(val_ShipDir))# 验证集船的数量 num_non_ship_val = len(os.listdir(val_NonShipDir))# 验证集无船的数量

导入文件后，定义全局超参数：

batch_size = 48 # 每次循环的图片数 epochs = 20 # 总共训练几个循环 IMG_HEIGHT = 170 # 模型输入图像高度 IMG_WIDTH = 170 # 模型输入图像宽度

ImageDataGenerator生成训练集图片：

image_gen_train = ImageDataGenerator(rescale=1./255, rotation_range=15, width_shift_range=.10,height_shift_range=.10, fill_mode='nearest', horizontal_flip=True, zoom_range=0.5) # 生成训练数据 image_gen_val = ImageDataGenerator(rescale=1./255,fill_mode='nearest',) # 生成验证数据

利用flow_from_directory的方法扩充数据集：

image_gen_train = ImageDataGenerator(rescale=1./255, rotation_range=15, width_shift_range=.10,height_shift_range=.10,fill_mode='nearest', horizontal_flip=True, zoom_range=0.5) # 生成训练数据 val_data_gen = image_gen_val.flow_from_directory(batch_size=batch_size, directory=validationDir,target_size=(IMG_HEIGHT, IMG_WIDTH), class_mode='binary') # 生成验证数据

接下来则是定义先前设计的模型，使用了tensorflow.keras.layers中封装好的层：

model = Sequential([ Conv2D(16, 3, padding='same', activation='relu', input_shape=(IMG_HEIGHT, IMG_WIDTH ,3)), MaxPooling2D(), Conv2D(32, 3, padding='same', activation='relu'), MaxPooling2D(), Conv2D(64, 3, padding='same', activation='relu'), MaxPooling2D(), Flatten(), Dense(512, activation='relu'), Dense(1, activation='sigmoid') ]) model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])

定义完模型后，使用fit_generator()训练模型：

total_train = num_ship_tr + num_non_ship_tr # 训练总数 total_val = num_ship_val + num_non_ship_val # 验证总数 history = model.fit_generator( train_data_gen, steps_per_epoch=total_train // batch_size, # 每步的训练的数据数 epochs=epochs, validation_data=val_data_gen, validation_steps=total_val // batch_size # 每步的验证的数据数 ) model.save('my_model_001.h5') #保存训练好的模型

到这里模型就可以训练了，但是为了获得直观的图像，导入matplotlib模块画出拟合过程：

acc = history.history['accuracy'] val_acc = history.history['val_accuracy'] loss = history.history['loss'] val_loss = history.history['val_loss'] epochs_range = range(epochs) plt.figure(figsize=(8, 8)) plt.subplot(1, 2, 1) plt.plot(epochs_range, acc, label='Training Accuracy') plt.plot(epochs_range, val_acc, label='Validation Accuracy') plt.legend(loc='lower right') plt.title('Training and Validation Accuracy') plt.subplot(1, 2, 2) plt.plot(epochs_range, loss, label='Training Loss') plt.plot(epochs_range, val_loss, label='Validation Loss') plt.legend(loc='upper right') plt.title('Training and Validation Loss') plt.show()

接下来是测试集的代码：

IMG_HEIGHT = 170 IMG_WIDTH = 170 testDir = r'D:\project_material\shipReco\test_set\\'[:-1] testShipDir = os.path.join(testDir, r'ships\\'[:-1]) testNonShipDir = os.path.join(testDir, r'non-ships\\'[:-1])

使用imageDataGenerator会打乱顺序，需要定义一个函数将测试集的图片张量化：

def collectImg(directory): imgMatrix = [] file_names = os.listdir(directory) # imgMatrix用来存放转换的图片（三位张量） # files_names读取directory中的文件 for i in file_names: # 循环文件名 file_path = os.path.join(directory, i) # 合并路径名和文件名 if file_path[-3:] == "txt": # 跳过txt文件 continue if file_path[-3:] == "gif": # 跳过gif文件 continue img = cv2.imread(file_path) # 用Opencv读取图片 img = img/255 # 将图片数据1/255化 img = cv2.resize(img, (IMG_HEIGHT, IMG_WIDTH)) # 重调整图片大小 imgMatrix.append(img.tolist()) # 连接到图片张量上

接下来导入模型测试：

wholeN = 0 wholeS = 0 model = tf.keras.models.load_model('my_model_001.h5') # 读取模型文件 imgS = collectImg(testShipDir) # 调用先前的函数 转化有船的测试集 imgS_array = np.array(imgS) # np矩阵化 predictionShip = model.predict(imgS_array) # 使用模型估计 imgN = collectImg(testNonShipDir) # 转化无船的模型 imgN_array = np.array(imgN) # np矩阵化 predictionNon = model.predict(imgN_array) # 使用模型估计 for each in predictionShip: # 计算正确率： wholeS = wholeS + 1 - each accS = 1 - wholeS / len(predictionShip) for each in predictionNon: wholeN = wholeN + each accN = 1 - wholeN / len(predictionNon)

最后输出：

print("For images with ships the accuracy is:",accS) print("For images with no ships the accuracy is:",accN) print("The accuracy for whole testing set is:",1 - (wholeS + wholeN)/(len(predictionShip)+len(predictionNon)))

训练完毕后输出如下图像： 如图可知训练集准确率大概在84%左右，验证集大概在80%以上。 训练集损失大概有0.3左右，验证集则在0.4左右 最后利用测试模块测试的结果是： 测试集的最终准确率是70.4%。