 |
А.В. Гайер, А.В. Шешкус, Ю.С. Чернышова "Аугментация обучающей выборки «на лету» для обучения нейронных сетей" |
 |
Аннотация. В работе исследуется аугментация «на лету» – метод увеличения репрезентативности обучающей выборки прямо во время обучения искусственных нейронных сетей. Рассматриваются наиболее частые преобразования с сохранением меток, которые будут полезны в большинстве практических задач. Ввиду ограничений существующих систем для аугментации «на лету», среди которых добавление новых преобразований и увеличение времени обучения, была разработана собственная система аугментации. Проведены эксперименты на датасете MNIST с разработанной системой аугментации «на лету», которые продемонстрировали эффективность ее работы – на архитектуре SimpleNet(310K) удалось превзойти актуальный лучший результат, уменьшив ошибку распознавания с 0.28 до 0.25%. Ключевые слова: машинное обучение, искусственные нейронные сети, «онлайн» аугментация, аугментация «на лету». Стр. 150-157. DOI: 10.14357/20790279180517 Полная версия статьи в формате pdf. Литература 1. Полевой Д.В. Актуальные задачи создания систем массового ввода с использованием оптического распознавания для преобразования сложно структурированных бумажных документов в гибридных информационных системах // Системный анализ и информационные технологии. Тр. четвертой междунар. конф. (Абзаково, Россия, 17-23 августа 2011 г.): в 2 т. Т.2. Челябинск: Изд-во Челяб. гос. ун-та, 2011. С. 192-195.
2. Bulatov K. Smart IDReader: Document Recognition in Video Stream / K. Bulatov, V. V. Arlazarov, T. Chernov, O. Slavin and D. Nikolaev // 2017 14th IAPR International Conference on Document Analysis and Recognition (ICDAR), Kyoto, 2017, pp. 39-44. doi: 10.1109/ICDAR.2017.347.
3. The mnist database of handwritten digits [Электронный ресурс]. URL: http://yann.lecun.com/exdb/mnist (дата обращения 15.06.2018).
4. The CIFAR-10 dataset [Электронный ресурс]. URL: https://www.cs.toronto.edu/~kriz/cifar.html (дата обращения 15.06.2018).
5. Russakovsky O. ImageNet large scale visual recognition challenge / O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein, A. Berg, L. Fei-Fei // International Journal of Computer Vision. – 2015. – Vol. 115, Issue 3. – P. 211-252.
6. Ronneberger O. U-Net: Convolutional Networks for Biomedical Image Segmentation / Ronneberger O., Fischer P., Brox T. // In: Navab N., Hornegger J., Wells W., Frangi A. (eds) Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015. MICCAI 2015. Lecture Notes in Computer Science, vol 9351. Springer, Cham.
7. Weiss G. The Effect of Class Distribution on Classifier Learning: An Empirical Study / Weiss G., Provost F. // Technical Report ML-TR-44, Department of Computer Science, Rutgers University. August 2, 2001.
8. Krizhevsky A. Learning multiple layers of features from tiny images. Master’s thesis. Department of Computer Science. University of Toronto. 2009. 60 p.
9. Zhang H. Mixup: Beyond Empirical Risk Minimization / Zhang H., Ciss M., Dauphin Y., Lopez D. // ArXiv e-prints [Электронный ресурс] – ArXiv:1710.09412 – 2017 – URL: https://arxiv.org/abs/1710.09412 (дата обращения 15.06.2018).
10. Zagoruyko S. Learning to Compare Image Patches via Convolutional Neural Networks / Zagoruyko S., Komodakis N. // The IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2015.
11. Fawzi A. Adaptive data augmentation for image classification / Fawzi A., Samulowitz H., Turaga D., Frossard P. // Image Processing (ICIP), 2016 IEEE
International Conference on. 2016. С. 3688-3692.
12. Емельянов С.О. Методы аугментации обучающих выборок в задачах классификации изображений / Емельянов С.О., Иванова А.А., Швец Е.А., Николаев Д.П. // Сенсорные системы. 2018. Т. 32. № 3 (в печати).
13. Арлазаров В.В. Анализ особенностей использования стационарных и мобильных малоразмерных цифровых видео камер для распознавания документов / Арлазаров В.В., Жуковский А.Е., Кривцов В.Е., Николаев Д.П., Полевой Д.В. // Информационные технологии и вычислительные системы, №3. 2014. С. 71-81.
14. Chernyshova Y. Generation method of synthetic training data for mobile OCR system / Chernyshova Y. Gayer A. Sheshkus A. // Proc. SPIE 10696, Tenth International Conference on Machine Vision (ICMV 2017), 106962G (13 April 2018); doi: 10.1117/12.2310119
15. Goodfellow I. Generative adversarial nets / I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, Y. Bengio // Proceedings of the 27th International Conference on Neural Information Processing Systems. – 2014. – Vol. 2. – P. 2672-2680.
16. Perez L. The Effectiveness of Data Augmentation in Image Classification using Deep Learning / Perez L., Wang J. // ArXiv e-prints [Электронный ресурс] – ArXiv:1712.04621 – 2017 – URL: https://arxiv.org/abs/1712.04621 (дата обращения 01.06.2018).
17. Announcing NVIDIA DALI and NVIDIA nvJPEG [Электронный ресурс]. URL: https:// news.developer.nvidia.com/ announcing-nvidiadali-and-nvidia-nvjpeg/ (дата обращения 19.06.2018).
18. Bloice D. Augmentor: An Image Augmentation Library for Machine Learning / Bloice D., Stocker C., Holzinger A. // ArXiv e-prints [Электронный ресурс] – ArXiv:1712.04621 – 2017 – URL: https://arxiv.org/abs/1712.04621 (дата обращения 15.06.2018).
19. Hasanpour S.H. Let’s keep it simple, Using simple architectures to outperform deeper and more complex architectures / Hasanpour S. H., Rouhani M., Mohsen F., Sabokrou M. // ArXiv e-prints [Электронный ресурс] – ArXiv:1608.06037 – 2016 – URL: https://arxiv.org/abs/1608.06037
(дата обращения 25.05.2018).
|
