Инновационные технологии постоянно находят новые применения, в том числе и в помощи людям с ограниченными возможностями. Исследовательская группа из Университета Цинхуа в Китае нашла способ помочь людям, которые не могут говорить из-за повреждения голосовых связок.

Общение без звука

Большую часть информации человек передаёт отнюдь не в визуальной форме, а при помощи звука. Устная речь – основа коммуникации между людьми, поэтому отсутствие возможности хоть что-то сказать может сделать человека совершенно беспомощным, особенно если дело касается критических ситуаций. Конечно, учёными предпринимаются попытки хоть как-то помочь тем, кто по каким-либо причинам утратил способность говорить, и в этом направлении уже были сделаны большие успехи. К примеру, одним из наиболее распространённых помощников в общении являются мобильные телефоны. Специальное приложение может синтезировать речь, используя в качестве источника для неё обычный текст. Пользователь набирает его вручную, а синтетический голос «общается» за него.

Поскольку такой способ общения нельзя назвать быстрым и удобным, предпринимаются и другие попытки, в некоторых из них используются передовые технологии и даже искусственный интеллект. Например, суть одного из подобных проектов сводится к распознаванию движения губ и переводу их в обычные слова. Правда, техническая реализация оказалась не очень хорошей: достаточно тяжёлое и громоздкое устройство вместе с камерой постоянно висит на шее в виде кулона и наблюдает за человеком, отслеживая его беззвучную речь. Очередной разработкой похвастались китайские учёные из Университета Цинхуа, они создали датчики, которые умеют распознавать мимику.

Чтение мимики

Пользуясь одними только глазами и обладая соответствующими познаниями, человек может распознавать эмоции и читать по губам, но научить это же делать машину, не используя неудобных и громоздких камер, представляется невыполнимой задачей. Китайские специалисты решили использовать для этого несколько датчиков, прикреплённых к разным участкам лица – в районе губ, скул и подбородка. Для датчиков использовали эластомер и тончайшие углеродные нановолокна, деформация которых измерялась при помощи электрических импульсов. Для первого слоя на тонкую полоску эластомера волокна уложили продольно, сделав его таким образом чрезвычайно чувствительным к деформации. С его помощью можно уловить мельчайшие движения кожи, но при большом растяжении точность измерений очень сильно падает. Поэтому добавили второй слой, где нановолокна расположены хаотично. При этом чувствительность падает, но точность измерений сохраняется неизменной при максимальной деформации.

Для обработки полученных с датчиков данных использовали контроллер на базе открытой платформы Arduino и программное обеспечение с искусственным интеллектом. ИИ для этих целей обучали отдельно, чтобы он мог распознавать мимику, связывать её с артикуляцией и озвучивать слова через динамик. Как показали проведённые испытания, искусственный интеллект смог с высокой точностью определить беззвучно произнесённые фразы, анализируя движения мышц и кожи во время разговора. Устройство также имеет и побочную способность: как выяснилось, оно также может распознавать выражение лица. По словам учёных, над проектом придётся ещё много работать, чтобы он смог приносить реальную пользу. Вполне вероятно, что в недалёком будущем появятся маски, способные читать по губам и говорить за человека.

Понравилась эта новость? Подпишись на нас в соцсетях!