Это демонстрация «LeNet 1», первой сверточной сети, которая могла распознавать рукописные цифры с хорошей скоростью и точностью.

Он был разработан в начале 1989 года в отделе исследований адаптивных систем, возглавляемом Ларри Джекелем, в Bell Labs в Холмделе, штат Нью-Джерси.

Эта демонстрация «в реальном времени» работала на карте DSP, установленной в ПК 486 с видеокамерой и картой захвата кадров. Карта DSP имела чип AT&T DSP32C, который был первым 32-битным DSP с плавающей запятой и мог достигать 12,5 миллионов операций умножения-накопления в секунду.

Сеть обучалась с использованием среды SN (симулятор нейронной сети на основе Lisp, предшественник Lush, который сам является своего рода предком Torch7, а также предком PyTorch).

Мы написали что-то вроде «компилятора» на SN, который создавал автономный фрагмент кода C, который мог запускать сеть. Сетевые веса были литералами массива внутри исходного кода C.

Архитектура сети представляла собой ConvNet с двумя слоями свертки 5x5 с шагом 2 и двумя полносвязными слоями сверху. Не было отдельного слоя пула (это было слишком дорого).

Он имел 9760 параметров и 64 660 соединений.

Вскоре после того, как эта демонстрация была собрана, мы начали работать с группой разработчиков и группой по продуктам в NCR (в то время дочерняя компания AT&T). Вскоре NCR развернула банкоматы, которые могли считывать числовые суммы на чеках, сначала в Европе, а затем в США. ConvNet работал на плате DSP32C, установленной в ПК внутри банкомата. Позже NCR развернула аналогичную систему в больших машинах для считывания чеков, которые банки используют в своих операционных офисах. В какой-то момент в конце 90-х эти машины обрабатывали от 10 до 20% всех чеков в США.

Сеть, показанная в этой демонстрации, описана в нашей статье NIPS 1989 года «Распознавание рукописных цифр с помощью сети с обратным распространением».