Микрофон беспроводных наушников превратил кожу головы в датчик жестов
Инженеры из США и Китая создали прототип беспроводных наушников, которыми можно управлять жестами, прикасаясь или проводя пальцев по коже в области уха. Для распознавания жестов используются данные с микрофона, поэтому эту возможность можно добавлять в уже выпускаемые наушники с помощью программного обновления.
Синь И (Xin Yi) из Университета Цинхуа вместе со своими коллегами решил создать метод распознавания жестов по коже, основанный на уже применяемом на практике аппаратном обеспечении — микрофонах в беспроводных наушниках. Они использовали серийные беспроводные наушники Samsung Gear IconX, подключенные по Bluetooth к ноутбуку для обработки данных.
При работающем алгоритме наушники постоянно передают звук с микрофона на компьютер для обработки. На первом этапе со звуком работает трехслойная полносвязная нейросеть, которая анализирует 180-миллисекундные отрезки звука и определяет, есть ли на них какой-либо жест. Если жест не обнаружен, этот отрезок отсекается, а если обнаружен, то он передается на другой алгоритм. Перед вторым этапом звук преобразуется в мел-спектрограмму, а затем передается сверточной нейросети DenseNet, предварительно обученной на датасете ImageNet, а затем дообученной на датасете авторов. Эта нейросеть работает в качестве классификатора, который выдает итоговый результат — тип совершенного пользователем жеста.
Изначально авторы придумали 27 жестов, задействующих разные области кожи в области ушей и типы взаимодействий с ней, например, прикосновения и проведение пальцем. После небольшого исследования на добровольцах они сократили список до восьми: шесть одинарных и двойных прикосновений, а также проведение пальцем по ушной раковине и за ухом. Разработчики выбрали их по тому, насколько удобными и социально приемлемыми они показались добровольцам, а также по тому, насколько четко они различимы на спектрограмме.
Разработчики проверили точность работы алгоритма на 18 пользователях, обучив наушники на их данных. Результаты показали, что точность классификации жестов составляет 95,3 процента.
В качестве применений авторы предложили использовать алгоритм так же, как сегодня применяются жесты в наушниках с сенсорной поверхностью или акселерометром: управление музыкой, звонками и уведомлениями.