ОПТИМАЛЬНОЕ РАВНОМЕРНОЕ КВАНТОВАНИЕ ПАРАМЕТРОВ СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ
Аннотация
Современные архитектуры сверточных нейронных сетей обеспечивают высокую точность при решении большого круга задач. Как правило, это достигается за счет значительного увеличения их вычислительной сложности и представления параметров сети в числах с плавающей точкой одинарной точности. Однако в силу ограниченности ресурсов применение сетей во встраиваемых системах и мобильных приложениях в режиме реального времени является проблематичным. Одним из способов решения этой проблемы является уменьшение разрядности данных и использование целочисленной арифметики. Переход к целочисленной арифметике осуществляется путем квантования параметров сети. Выполняя квантование, необходимо обеспечить минимальные потери точности распознавания. В статье предлагается использовать оптимальный равномерный квантователь с адаптивным шагом. Шаг квантователя зависит от функции распределения квантуемых параметров. Это позволяет уменьшить влияние ошибки квантования на точность распознавания сетей. В статье приводятся подходы к улучшению качества квантования. Предложенный метод квантования оценивается на выборке CIFAR-10. Показано, что оптимальный равномерный квантователь на выборке CIFAR-10 при 8-битном представлении параметров сети позволяет достичь точности исходной обученной сети.
Об авторах
Д. С. Колесников
АО «Научно-производственный центр “ЭЛВИС”»
Россия
Россия
инженер
124498, Москва, Зеленоград, проезд № 4922, д. 4, стр. 2
Д. А. Кузнецов
АО «Научно-производственный центр “ЭЛВИС”»
Россия
Россия
начальник отдела НТО-3
124498, Москва, Зеленоград, проезд № 4922, д. 4, стр. 2
Список литературы
1. Krizhevsky A., Sutskever I., Hinton G. E. ImageNet classification with deep convolutional neural networks. NIPS, 2012, pp. 1–9.
2. Deng L., Hinton G. E., Kingsbury B. New types of deep neural network learning for speech recognition and related applications: an overview. IEEE International Conference on Acoustic, Speech and Signal Processing, 2013, pp. 8599–8603.
3. Zeiler M. D., Fergus R. Visualizing and understanding convolutional neural networks. ECCV, 2014, pp. 818–833.
4. Simonyan K., Zisserman A. Very deep convolutional networks for large-scale image recognition. In ArXiv, 2014, p. 14.
5. Szegedy C., Liu W., Jia Y., Sermanet P., Reed S., Anguelov D., Erhan D., Vanhoucke V., Rabinovich A. Going deeper with convolutions. In ArXiv, 2014, p. 12.
6. Sermanet P., Eigen D., Zhang X., Mathieu M., Fergus R., LeCun Y. OverFeat: Integrated recognition, localization and detection using convolutional networks. In ArXiv, 2013, p. 16.
7. Girshick R., Donahue J., Darrell T., Malik J. Rich feature hierarchies for accurate object detection and semantic segmentation. In ArXiv, 2014, p. 21.
8. Vanhoucke V., Senior A., Mao M. Z. Improving the speed of neural networks on CPUs. NIPS, 2011, p. 8.
9. Rastegari M., Ordonez V., Redmon J., Farhadi A. XNOR-Net: ImageNet classification using binary convolutional neural networks. In ArXiv, 2016, p. 17.
10. Yun Q. S., Huifang S. Image and Video Compression for Multimedia Engineering: Fundamentals, Algorithms, and Standards. CRC Press, 2008.
11. Lin D. D., Talathi S. S., Annapureddy V. S. Fixed point quantization of deep convolutional networks. In ArXiv, 2015, p. 10.
12. Паттерсон Д., Хеннеси Дж. Архитектура компьютера и проектирование компьютерных систем. Классика Computer Science. 4-е изд. СПб.: Питер, 2012. 784 с.
Для цитирования:
Колесников Д.С., Кузнецов Д.А. ОПТИМАЛЬНОЕ РАВНОМЕРНОЕ КВАНТОВАНИЕ ПАРАМЕТРОВ СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ. Вопросы радиоэлектроники. 2018;(8):99-103. https://doi.org/10.21778/2218-5453-2018-8-99-103
For citation:
Kolesnikov D.S., Kuznetsov D.A. OPTIMAL UNIFORM QUANTIZATION OF PARAMETERS OF CONVOLUTIONAL NEURAL NETWORKS. Issues of radio electronics. 2018;(8):99-103. (In Russ.) https://doi.org/10.21778/2218-5453-2018-8-99-103
Просмотров: 30
Послать статью по эл. почте 