От видеокарт к искусственному интеллекту: путь Nvidia

Разработчик графических процессоров наделил машины разумом.

Сотрудник издания Forbes Аарон Тилли рассказал о возникновении Nvidia и о том, как компания перешла от производства графических усилителей к разработке и распространению «умных» чипов.

Редакция DTF публикует перевод материала.

В апреле 1993 года молодые электротехники Крис Малаховски, Кёртис Прэм и Дженсен Хуанг обедали в забегаловке Denny’s. Они оживлённо болтали, и под омлет и горячий кофе решили основать Nvidia — одну из самых крупных компаний-разработчиков графических ускорителей, процессоров и чипсетов.

Тогда восточная часть Сан-Хосе, штат Калифорния, переживала не самые лучшие времена. В районе процветало беззаконие, и следы от пуль были видны не только на стенах закусочной, где проходил судьбоносный обед, но даже на стёклах стоявших неподалёку патрульных машин.

Кто бы мог подумать, что трое кофеманов смогут основать в этом бандитском районе компанию, у которой будут все шансы стать преемником Intel в мире вычислительной техники.

«Тогда у нас не было возможности раскрутиться, но мы не сомневались, что она появится, — вспоминает Малаховски. — Каждые полгода японцы наблюдают у своих берегов гигантские волны и предупреждают об их приближении калифорнийских сёрферов. Подобно жителям страны восходящего солнца, мы знали: грядёт волна, способная омыть весь рынок компьютерного оборудования, и именно нам суждено её оседлать».

GPU или графические процессоры — это устройства, обеспечивающие быструю визуализацию моделей. В то время игры, использующие трёхмерную графику, как раз набирали популярность. Пророчество друзей сбылось.

Через некоторое время после основания компании рынок сбыта её продукции действительно возник. И хотя с того дня прошло много лет, торговые марки вроде GeForce GTX до сих пор приносят Крису и его товарищам миллионы долларов.

Не секрет, что главным источником дохода Nvidia были и остаются геймеры. Прибыль компании от продажи графических процессоров за третий квартал финансового 2017 года составила 1,24 миллиарда долларов, что на 63% больше, чем год назад.

Однако фирма стала предметом пристального внимания The Wall Street Journal вовсе не по этой причине. На самом деле газету заинтересовал вклад Nvidia в развитие концепции искусственного интеллекта.

Как выяснилось, эта технология не только помогает компьютеру визуализировать вещи вроде инопланетных пейзажей и красочных взрывов. Она также является краеугольным камнем так называемого «глубокого обучения», делающего поведение машины более похожим на человеческое.

Никто не удивился, когда гиганты информационного рынка и другие крупные фирмы положили глаз на чипсеты Nvidia.

Google, Microsoft, Facebook и Amazon, например, ежегодно скупают их, стремясь максимально повысить быстродействие своих компьютеров. Массачусетская больница общего профиля использует продукцию компании в томографах. Tesla Motors объявила, что теперь каждая производимая ею машина будет оснащена автопилотом на основе технологии Nvidia.

Наконец, чипы этой компании активно используются в гарнитурах виртуальной реальности от HTC и Oculus.

«В те дни спрос на продукцию нашей компании побил все рекорды», — признался Хуанг во время интервью, проходившего в главном офисе в Санта Клара, штат Калифорния.

На момент написания этой статьи было зарегистрировано около трёх тысяч предприятий, внедривших процессоры фирмы в собственные устройства. Сотни приложений по анализу рынка, онлайн-торговле, а также целые армии дронов уже обзавелись искусственным интеллектом. Кто-то даже создал «умную» микроволновую печь.

«Помните, какой в девяностых был спрос на Microsoft Windows? А как насчёт успеха iPhone в конце 2000-х? — интересуется Марк Андриссен, один из основателей Andreessen Horowitz. — Нечто подобное наблюдается и сегодня. Технология абсолютного большинства компаний, в развитие которых мы вкладываем деньги, в той или иной мере основана на чипах Nvidia. Если бы я возглавлял хедж-фонд, то пожертвовал бы все средства на развитие фирмы Хуанга».

В течение последних месяцев доля Nvidia на рынке цифровых технологий удвоилась. По состоянию на декабрь 2016 года капитализация компании составила 50 миллиардов долларов, а прибыль на каждую акцию увеличилась более чем в 40 раз. Такого индустрия ещё не видела.

Эти показатели принесли Хуангу целых 2,4 миллиарда долларов. На момент написания статьи он один пожинал плоды труда компании. Малаховски уже не оказывает на её деятельность такого влияния, как раньше. Прэм и вовсе покинул фирму в 2003 году.

Благодаря своей колоссальной доле на рынке Nvidia до сих пор является самым успешным предприятием полупроводниковой промышленности по версии Just 100.

Эта система оценки была создана в сотрудничестве с фирмой Just Capital, основанной миллиардером и филантропом Полом Тюдором Джонсом II.

Суть Just 100 проста: среди пятидесяти тысяч граждан Америки ежегодно проводится опрос на тему «Каковы взаимоотношения той или иной фирмы с её сотрудниками, клиентами и акционерами?»

К причинам, по которым Nvidia заняла такое почётное место, относятся высокая зарплата, продолжительные отпуска, свободный рабочий график и программы по снятию стресса.

Компания планирует добиться ещё большего расположения граждан, увеличив долю женщин и представителей меньшинств среди сотрудников.

«Для меня фирмы подобны живым организмам, — признаётся Хуанг. — Годы, проведённые в индустрии, помогли мне понять: корпоративная культура — это ДНК предприятия, его главная составляющая. Без неё оно не смогло бы нормально функционировать».

Сооснователь и CEO компании всегда знал, что GPU были способны на большее, чем просто визуализация компьютерной графики. В то же время он не предполагал, что его процессоры вызовут такой интерес к искусственному интеллекту.

Идея нейронных сетей, предполагающая глубокое обучение дронов и вычислительных машин, обсуждалась ещё с шестидесятых годов.

Но несмотря на вклад учёных и академиков в её развитие, оно шло медленно из-за недостатка данных, необходимых для задания нужных алгоритмов, а также низкой мощности компьютеров.

Возникновение интернета помогло решить первую проблему. Благодаря всемирной паутине гигабайты информации ежесекундно перемещаются из одного места в другое. Однако с недостатком мощности разработчикам того времени справиться не удалось.

В 2006 году Nvidia выпустила CUDA — инструментарий, позволяющий программистам без проблем писать алгоритмы для графических процессоров. Он существенно увеличил вычислительную производительность GPU компании. Благодаря ему визуализация теней и отражений, имитация эффектов освещения и прозрачности происходит гораздо быстрее.

До этого задание алгоритма GPU было довольно проблематичным. Программистам приходилось пользоваться машинным кодом, писать на котором крайне неудобно.

CUDA открыл кодерам доступ к высокоуровневым языкам Java и C++, во много раз облегчающим процесс «тренировки» вычислительных машин.

«Компьютер, работающий по алгоритму глубинного обучения, подобен мозгу, — объясняет Хуанг. — Он действует эффективно, а также без проблем поддаётся обучению. Одна беда: для этого требуется огромное количество быстрых вычислений. Но, учитывая мощность наших GPU, об этой проблеме вполне можно забыть».

В 2010 году состоялась встреча Эндрю Энджи, доцента Стэнфордского университета, с CEO компании Alphabet Ларри Пейджем и профессором компьютерных наук Себастьяном Труном, тогда возглавлявшим подразделение Google X.

Они обсуждали возможное влияние искусственного интеллекта на будущее полупроводниковой индустрии. Во время этой беседы Энджи признался, что два года назад написал на эту тему целый доклад, но никто не воспринял его всерьёз.

«Народ тогда мало интересовался глубоким обучением, — вздыхает он. — Все предпочитали возиться с громоздкими алгоритмами».

Трун, в своё время разработавший одно из первых в истории транспортных средств с автопилотом, вспомнил, как они с Энджи уговорили Пейджа присоединиться к их исследованиям природы искусственного интеллекта и возможностей его применения на практике.

В качестве подопытного кролика друзья выбрали сеть Google, в которой происходило рекордно высокое количество компьютерных вычислений. Возникновение крупнейшей в мире искусственной нейронной сети на базе технологий именно этой компании было вполне закономерно.

Так родилась программа Google Brain, отвечающая за функционирование созданных компанией поисковика и систем распознавания изображений и голоса.

Пока Трун и остальные работали над этим проектом, на территории Торонтского университета также проходило освоение глубокого машинного обучения.

В 2012 году студент Алекс Крижевский провёл эксперимент. Он загрузил 1,2 миллиона изображений в большую нейронную сеть, работающую от двух игровых чипсетов Nvidia GeForce. Система смогла опознать 85% объектов. Для сравнения, средний результат подобных процессов год назад составлял 75%.

Этот опыт принёс Крижевскому победу в соревновании ImageNet по написанию самого лучшего ПО для распознавания изображений. Студент удостоился похвал как однокурсников, так и преподавателей.

Слух о раскрывшемся потенциале искусственного интеллекта быстро разлетелся по миру. Учёные Microsoft, Facebook и Amazon последовали примеру Труна и его товарищей, начав активное изучение алгоритмов глубокого обучения.

В переходе Nvidia к распространению и популяризации мыслящих машин важную роль сыграли её основатели, в корне изменившие экосистему существующего ПО с помощью CUDA.

«Компания уже давно трудится в этом направлении, — признаётся Ян Бак, ответственный за разработку CUDA. — Не будет преувеличением сказать, что наш долгий и упорный труд приносит плоды, и что все мы с большим удовольствием их пожинаем, особенно Жень-Сунь».

Благодаря глубокому обучению Nvidia удалось значительно увеличить мощность своей вычислительной техники. DGX-1, «первый в мире компактный суперкомпьютер с искусственным интеллектом», оснащён не одним, а восемью недавно разработанными чипами Tesla P100, и обладает производительностью в 170 терафлопс, то есть как у 250 традиционных вычислительных систем.

Стремясь разделить успех компании со всем миром, Хуанг посетил офис OpenAI и лично вручил Илону Маску первый экземпляр своей машины.

Основатель Nvidia всегда отличался любовью к соперничеству. Когда ему исполнилось десять, родители иммигрировали в США. Молодому тайваньцу пришлось провести несколько лет в кентукийском интернате для трудных подростков.

Условия существования там были тяжёлые. Дети часто дрались друг с другом. В результате одной такой разборки сосед Хуанга по комнате получил несколько серьёзных травм.

Чтобы не сойти с ума, будущий электротехник начал играть в пинг-понг. Через пять лет он принял участие в чемпионате США по настольному теннису и занял там третье место.

В старшей школе Хуанг заинтересовался компьютерами, что и вдохновило его поступить на факультет информационных технологий Орегонского университета. Там он познакомился с Лори, своей будущей женой.

Закончив обучение, они переехали в Силиконовую долину. По прибытии туда Жень-Сунь устроился на работу дизайнером микропроцессоров для AMD — компании-конкурента Intel.

В 1992 году он окончил Стэнфордский университет, получив степень магистра электротехники.

Работая в LSI Corp., Хуанг и познакомился с Малаховски и Прэмом, тогда сотрудничавшими с Sun Microsystems. Их объединила любовь к графическим процессорам. Уже в те годы друзья помышляли открыть компанию, целью которой было бы реализовать потенциал GPU и построить на этом бизнес.

Релиз NV1, первого чипсета Nvidia, состоялся в 1995 году. На его разработку ушло около десяти миллионов долларов, выделенных фондами Sequoia Capital и Sutter Hill Ventures.

К сожалению, попытки сделать NV1 многофункциональным провалились, а потому товар не заинтересовал потенциальных потребителей. Молодая компания оказалась на грани банкротства, и Хуангу пришлось уволить большую часть сотрудников.

Выпущенный в 1997 году RIVA 128 помог фирме обрести второе дыхание. Этот чипсет работал в четыре раза быстрее как своих предшественников, так и соперников.

Успех RIVA 128 привёл к появлению аналогичных товаров у конкурентов, но они не задержались на рынке надолго. Из семидесяти компаний-разработчиков GPU, до конца девяностых дожили только Nvidia и AMD.

Фирма Хуанга вполне заслужила высокое место, которого она удостоилась в рейтинге Just 100. Этот CEO заботится о своих подчинённых, а потому в 2015 году провёл среди сотрудниц опрос, призванный выявить, что им нравится во внутренней политике компании, чем они недовольны и какие трудности испытывают. Абсолютное большинство пожаловалось на отсутствие оплаты отпусков по беременности и родам.

Ответные действия со стороны Жень-Суня не заставили себя ждать. Он объявил, что теперь каждая мать, работающая в Nvidia, имеет право на полностью оплачиваемые тридцать недель отпуска (двадцать две сразу после родов, восемь — в любое удобное для них время).

По словам Хуанга, сотрудники компании относятся к её целям с большим энтузиазмом. Они преданы своему делу, особенно теперь, когда речь зашла об искусственном интеллекте и глубоком обучении.

«Ваша работа должна приносить пользу обществу, — заявляет Жень-Сунь. — Цель нашей фирмы — помочь людям. Сегодня мы разрабатываем и распространяем думающие машины. Кто знает, может, завтра наши сотрудники найдут лекарство от рака. Было бы здорово, не так ли?»

Успех Nvidia не остался незамеченным. Теперь каждая фирма, специализирующаяся на разработке графических процессоров, устремилась к изучению ИИ. Это касается как лидеров рынка, так и относительно молодых компаний.

Более того, распространение идеи искусственного интеллекта вдохновило фирму, до этого никогда не занимавшуюся производством GPU, на смену деятельности. Google, постоянный клиент Nvidia, стала её конкурентом.

На прошедшей в мае ежегодной конференции она представила публике чип Tensor Processor Unit, созданный специально для программы глубокого обучения TensorFlow. По словам компании, цель проекта — улучшить работу поисковой системы и приложения Google Maps.

Сотрудники Microsoft, до этого также покупавшей технологии у Nvidia, тоже занялись производством чипов, но уже для своих центров обработки данных. В результате родилась «Программируемая пользователем вентильная матрица», или ППВМ, используемая в приложениях с искусственным интеллектом.

Достижения Nvidia в полупроводниковой промышленности повергли Intel, до этого занимавшую прочные позиции на рынке, в ужас. Компания уже упустила свой шанс заработать на популярности смартфонов, уступив, например, Snapdragon, а потому поклялась, что с глубоким обучением этого не повторится.

Недостаток «родных» думающих машин Intel компенсировала приобретением фирм-производителей чипов. Nervana была куплена в августе 2016 года. Через месяц та же участь постигла и Movidius. А вот в июне 2015 года компании досталась Altera, специализирующаяся на разработке ППВМ.

Оборудование центров обработки данных — главная «дойная корова» Intel. Фирма обладает практически стопроцентной монополией на эти технологии. Процессоры Nvidia не способны заменить их.

Тем не менее, лидер рынка не удовлетворён своим положением. Компания хочет, чтобы все покупали только её продукцию.

Intel объявила, что в 2017 году выпустит процессор Xeon Phi, предназначенный для глубокого обучения компьютеров. По словам CEO, технологии купленной в августе Nervana помогут компании не только наладить производство думающих машин, но и стократно увеличить их производительность.

Хотя Nvidia уже давно обошла все остальные фирмы по качеству технологий, расслабляться её команда не намерена. Она видит, что конкуренты набирают силу и что противостояние в сфере полупроводниковой промышленности только начинается.

«Как мне кажется, Nvidia готова к борьбе за свои права в этой индустрии. Но я не стал бы преждевременно делать все ставки на Хуанга и его команду, — признаётся Джон Педди, ведущий обозреватель рынка технологий. — У них слишком много противников».

«За искусственным интеллектом будущее, — утверждает Хуанг. — Когда-нибудь наша платформа для автоматических расчётов станет самой лучшей на рынке, и тогда все будут покупать у нас. Наши GPU будут в каждом офисе».

Хотя CEO Nvidia и уверен в своих силах, он не лишён осторожности. Этому его научил бестселлер «Выживают только параноики», автором которого является никто иной, как Эндрю Гроув — основатель Intel.