阅读量:1
使用的系统是windows，找到的解压命令很多都linux系统中的，为了能在windows系统下使用，因此下载Git这个软件，在其中的Git Bash中使用以下命令，因为Git Bash集成了很多linux的命令，方便我们的使用。
ImageNet 中目前共有 14,197,122 幅图像，总共分为 21,841 个类别（synsets），通常我们所说的 ImageNet 数据集其实是指 ISLVRC2012 比赛用的子数据集，其中 train 有 1,281,167 张照片和标签，共 1000 类，大概每类 1300 张图片，val 有 50,000 副图像，每类 50 个数据，test 有 100,000 副图片，每类 100 个数据。
比赛分为三个场景：图像分类（CLS）、目标定位（LOC）和目标检测（DET）。CLS：2010-2014 比赛中独立任务，2015 年与 LOC 合并，使用 top5。LOC：从 2011 年开始，2015 年与 CLS 合并为 CLS-LOC，单目标定位任务的数据与 CLS 任务包含相同的照片，照片数据手动标注图像是否存在 1000 个物体类别之一的实例，每张图片包含一个 gt 标签，该类别的每个实例都标注了边界框 bounding box，比赛中 IoU>0.5。
1.数据集下载：（一个大佬的链接）
- 训练集：ILSVRC2012_img_train.tar.gz，提取码：yoos；
- 验证集：ILSVRC2012_img_val.tar.gz，提取码：yl8m；
- 测试集：ILSVRC2012_img_test.tar.gz，提取码：jumt；
- 任务 1&2 的 devkit：ILSVRC2012_devkit_t12.tar，提取码：dw6i；
2. 数据解压
我们会得到训练集与验证集的两个压缩包，分别是 ILSVRC2012_img_train.tar 和 ILSVRC2012_img_val.tar。
数据集布局要求是：
/path/to/imagenet/ train/ class1/ img1.jpeg class2/ img2.jpeg val/ class1/ img3.jpeg class2/ img4.jpeg 首先创建两个用于放训练集和测试集的文件夹，然后解压：
（1）解压训练集
右键对训练集选择Git Bash Here
三行命令逐行输入进Git Bash Here窗口中：
mkdir train && mv ILSVRC2012_img_train.tar train/ && cd train tar -xvf ILSVRC2012_img_train.tar && rm -f ILSVRC2012_img_train.tar find . -name "*.tar" | while read NAME ; do mkdir -p "${NAME%.tar}"; tar -xvf "${NAME}" -C "${NAME%.tar}"; rm -f "${NAME}"; done cd .. 结果如下：
（2）解压测试集
wget https://raw.githubusercontent.com/soumith/imagenetloader.torch/master/valprep.sh mkdir val && tar -xvf ILSVRC2012_img_val.tar -C val && mv valprep.sh val && cd val && bash valprep.sh 下载的valprep.sh文件在外网（valprep.sh文件中保存的就是图片按类生成文件夹的布局），或者可以直接迅雷链接，将下载后的文件放入和验证集压缩包同一文件夹下，这样直接在Git Bash Here窗口使用第二个命令就可以完成解压。（也是一个大佬的链接）
链接：https://pan.xunlei.com/s/VMkus56ePQ4LMJUIXheBkhXSA1 提取码：k9ej或者利用python解压测试集：
【点击下载验证集标签】
对于训练集，不同类别的数据躺在不同的文件夹里，用起来很方便（同一文件夹的视为一类）。但是验证集没有对应的标签，需要额外处理。
验证集的标签在 Development kit （文件名为 ILSVRC2012_devkit_t12.tar.gz）中的ILSVRC2012_devkit_t12\data\ILSVRC2012_validation_ground_truth.txt 中：
在映射关系储存在和txt文件同目录下的 meta.mat 文件中。我们希望验证集的文件结构长得和训练集一样，即 :
/val /n01440764 images /n01443537 images 解压完压缩包后：新建python文件：
from scipy import io import os import shutil def move_valimg(val_dir='./val', devkit_dir='./ILSVRC2012_devkit_t12'): """ move valimg to correspongding folders. val_id(start from 1) -> ILSVRC_ID(start from 1) -> WIND organize like: /val /n01440764 images /n01443537 images ..... """ # load synset, val ground truth and val images list synset = io.loadmat(os.path.join(devkit_dir, 'data', 'meta.mat')) ground_truth = open(os.path.join(devkit_dir, 'data', 'ILSVRC2012_validation_ground_truth.txt')) lines = ground_truth.readlines() labels = [int(line[:-1]) for line in lines] root, _, filenames = next(os.walk(val_dir)) for filename in filenames: # val image name -> ILSVRC ID -> WIND val_id = int(filename.split('.')[0].split('_')[-1]) ILSVRC_ID = labels[val_id-1] WIND = synset['synsets'][ILSVRC_ID-1][0][1][0] print("val_id:%d, ILSVRC_ID:%d, WIND:%s" % (val_id, ILSVRC_ID, WIND)) # move val images output_dir = os.path.join(root, WIND) if os.path.isdir(output_dir): pass else: os.mkdir(output_dir) shutil.move(os.path.join(root, filename), os.path.join(output_dir, filename)) if __name__ == '__main__': move_valimg() 3. 预处理Crop & Resize
数据集在扔给网络模型做训练前还需要统一尺寸处理，一方面是 CNN 需要统一尺寸的输入，另一方面是可以有数据增强的效果。一般来说有 crop 和 resize 两个过程。
其中 crop 的方法有 single crop 和 multiple crops 两种：
- single crop：先将图像 resize 到某个尺度，例如：256 x N（短边为256），然后 centercrop 成 224x224 作为模型的输入；
- multiple crops 的具体形式有多种，可自行指定，比如：1）10 crops：取（左上，左下，右上，右下，正中）以及它们的水平翻转，这 10 个 crops 作为 CNN 输入，最终取平均预测结果；2）144 crops：首先将图像 resize 到 4 个尺度：256xN，320xN，384xN，480xN，然后每个尺度上去取“最左”，“正中”，“最右”这 3 个位置的正方形区域，对每个正方形区域，取上述的 10 个 224x224 的 crops，则得到 4x3x10=120 个 crops，再对上述正方形区域直接 resize 到 224x224，以及做水平翻转，则又得到 4x3x2=24 个 crops，总共加起来就是 144 个 crops，输入到网络最后取平均预测结果
4. 用Pytorch加载
使用 torchvision.datasets.ImageFolder() 就可以直接加载处理好的数据集啦！
-
def load_ImageNet(ImageNet_PATH, batch_size=64, workers=3, pin_memory=True): traindir = os.path.join(ImageNet_PATH, 'ILSVRC2012_img_train') valdir = os.path.join(ImageNet_PATH, 'ILSVRC2012_img_val') print('traindir = ',traindir) print('valdir = ',valdir) normalizer = transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) train_dataset = datasets.ImageFolder( traindir, transforms.Compose([ transforms.RandomResizedCrop(224), transforms.RandomHorizontalFlip(), transforms.ToTensor(), normalizer ]) ) val_dataset = datasets.ImageFolder( valdir, transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), normalizer ]) ) print('train_dataset = ',len(train_dataset)) print('val_dataset = ',len(val_dataset)) train_loader = torch.utils.data.DataLoader( train_dataset, batch_size=batch_size, shuffle=True, num_workers=workers, pin_memory=pin_memory, sampler=None ) val_loader = torch.utils.data.DataLoader( val_dataset, batch_size=batch_size, shuffle=False, num_workers=workers, pin_memory=pin_memory ) return train_loader, val_loader, train_dataset, val_dataset
