Как работают технологии звукового зрения?
Звуковая система vOICe — уникальная технология, позволяющая преобразовать звук в картинку для слепого человека. Благодаря непрерывному сканированию пространства с помощью камеры и специальной программы видимые изображения кодируются в звуковой сигнал. Мозг незрячего преобразует полученный звук в черно-белые картинки.
По данным медицинской статистики, в мире на сегодняшний день насчитывается 40 миллионов слепых людей и 124 миллиона слабовидящих. При этом количество людей с проблемами зрения растет с неумолимой прогрессией. Такие факторы, как ухудшающаяся экология, повсеместное времяпровождение с гаджетами оказывают негативное влияние на качество зрения. Цифры поистине впечатляют: 30-40% населения Европы и США нужны очки или линзы, а в некоторых азиатских странах это количество достигает 90%. Самый распространенный дефект зрения — близорукость.
Каждый день незрячие люди сталкиваются с трудностями в самых обычных бытовых делах. То, что нормальный человек делает не задумываясь, для инвалида по зрению составляет огромную трудность. Даже простое домашнее дело, связанное с бытовыми приборами или инструментами, нередко может закончиться травмой. О выходе на улицу и говорить не приходится — для этого слепому человеку чаще всего требуется обученная собака-поводырь или же сопровождающий. Люди, которые осуществляют уход за незрячими, также испытывают немало трудностей. Однако современные технологии и наука помогают облегчить жизнь инвалидов по зрению. Сделаем небольшой обзор по этой теме, а затем расскажем о последнем изобретении — звуковом зрении vOICe, за которым многие ученые видят большое будущее.
Как обустроен быт незрячих людей?
Один из самых важных вопросов — приготовление пищи. Для слепых людей выпускаются специальные хозяйственные приборы и приспособления: говорящие банки для крышек, особые безопасные ножи, мультиварки и хлебопечки с голосовым гидом, на плиты наносятся метки. Также существуют стикеры для маркировки различных предметов. По всей квартире можно разместить необходимые ориентиры.
В интернет-магазинах в продаже представлены говорящие рулетки, метры, специальные наборы швейных игл и многое другое — для слабовидящих и слепых, которые занимаются ручным трудом. Современные технологии позволяют им также работать за компьютером в качестве программистов, администраторов, наборщиков текстов. Это возможно благодаря специальным программам. Например, скринридер считывает все происходящее на экране, а речевой синтезатор преобразует считанное в устную речь. Таким образом адаптирован весь пакет Microsoft. Для слепых выпускается также специальная клавиатура с объемными меткам.
Многие фильмы сейчас стали озвучивать тифлокомментаторы — это специально обученные люди, которые адаптируют действие на экране для восприятия незрячими людьми. Таким образом они могут «посмотреть» кинокартины. А книги уже доступны для скачивания в аудиоформате.
Доступную среду для инвалидов по зрению стараются также организовать на улицах и в общественных пространствах. Самый простой пример — светофоры, издающие звук, когда включается зеленый свет. В Санкт-Петербурге была разработана система «Говорящий город». В небольшой прибор вшита карта города, поэтому устройство может сообщить владельцу, в какой точке города тот находится в данный момент.
«Умные» программы для незрячих
Специально разработанные программы доступны всем, у кого есть телефон на платформе Android или Apple. Их можно скачать бесплатно в онлайн-маркетах. Так, программа TapTapSee позволяет идентифицировать любой предмет: при наведении на него глазка камеры голосовой помощник озвучит то, что он видит перед собой. Be My Eyes («Будь моими глазами») — уникальная разработка, которая позволяет получить помощь в любую минуту от волонтера. Как только слепой делает запрос о помощи, звонок раздается у зрячих людей, тоже зарегистрированных в программе. С помощью видеокамеры незрячий показывает то, что ему необходимо распознать — текст на этикетке, информацию на упаковке — а волонтер помогает ему в этом. Программа Blind-droid wallet — считыватель банкнот. Если купюру поднести к глазку видеокамеры, то будет озвучен ее номинал.
Существует также множество моделей очков виртуальной реальности, в том числе знаменитые Google Glass, «виртуальные» трости и другие приспособления, призванные облегчить быт и жизнедеятельность инвалидов по зрению. Однако суррогатное звуковое зрение — принципиально новая разработка, за которой создатели видят большое будущее.
Система vOICe — звуковое зрение. Что это такое?
Технология vOICe — это инновационное решение, позволяющее обеспечить видение посредством различных звуков. Она не основана на принципе эхолокации и ультразвука, а считывает кодировку визуальной информации с видеокамеры. В тандеме с адаптированными программами незрячие люди при помощи смартфона, оснащенного камерой, могут «слышать» живое изображение окружающей среды. Видеокамера vOICe непрерывно сканирует окружающее пространство и преобразует окружающие предметы в кодированный звуковой сигнал. Мозг же переводит его в черно-белую картинку — это и есть суррогатное зрение.
Процесс сканирования осуществляется слева направо, а видимая камерой картинка озвучивается сразу же. Если незрячий будет использовать только камеру в режиме «сканер», то набор звуков окажется минимальным. С целью расширения информационных возможностей нужен следующий комплект для зрения звукового: видеоочки с передатчиком wi-fi и мини-компьютером, которые присоединяются по радиоканалу. Для воспроизведения звука применяются стереонаушники.
Какие возможности дает суррогатное зрение?
Система vOICe была разработана голландцем Питером Мейером, специалистом отдела исследований отдела компании Philips. Вот что заявил он на презентации данного проекта: «Наша цель — помочь незрячим людям обрести большую самостоятельность, возможность передвигаться и заботиться о себе, используя технологию vOICe. Все предметы вокруг наделены своим уникальным звуком. С ее помощью возможно идентифицировать объекты окружающего пространства».
Качество изображения, его глубина и детализация по мере привыкания к vOICe совершенствуются в довольно быстрой степени, хотя механизм трансформации пока не может преобразовать в звук быстро движущиеся предметы или распознать мелкий текст. Совершенствование программы зависит от дальнейших разработок. Под этот проект открыто несколько краудфандинговых площадок — он вызвал большой интерес среди многих людей в мире, в том числе и в России.
Как переводится визуальная картинка в звуковую?
Для передачи изображения в мозг пользователя применяются звуки различной длительности и высоты. Например, яркий фрагмент картинки звучит как короткий и сильный высокочастотный сигнал, а встроенный определитель называет цвет предмета. При этом звук раздается с той стороны, с которой расположен яркий объект. Горизонтальная линия обозначается длинным тоном, вертикальная — отрывистым. Если повышается тональность соседних звуком, то это означает препятствие, и чем выше тон — тем выше преграда.
Программное обеспечение непрерывно преобразует видимые картинки от камеры в череду звуков. Такой метод позволяет озвучить почти любое трехмерное изображение. Вся картинка озвучивается за секунду, при этом ее содержание ежесекундно обновляется. Звуковые сигналы на слух представляют визуальную информацию, получаемую сканированием пространства слева направо. Повышением тона обозначаются преграды, а повышением тональности — яркость.
Главная цель технологии «vOICe — звуковое зрение» заключается в обеспечении альтернативы только лишь визуальной информации, под которую изначально ориентирован человек. Поскольку проблема потери зрения становится остро актуальной, то такие аналоговые методы получают все большее распространение. Подобными разработками занимаются в крупных научных лабораториях во всем мире. Конечная цель исследований — получить комплекс адаптивных звуков, передающий в человеческий мозг зрительную информацию.
На первый взгляд, технология кажется труднодоступной, особенно тем, кто мало имеет отношения к физике. Однако сами незрячие пользователи, прошедшие тренинг и применяющие систему некоторое время, с восторгом отзываются о ней. Они считают, что процесс сродни обучению иностранному языку или восприятию на слух азбуки Морзе. Сначала непонятно ничего и кажется, что постичь это невозможно. Но по мере возрастания опыта и «пополнения словарного запаса» — моментального понимания на слух звуков разной тональности и частоты — четкая визуальная картинка начинает восприниматься практически на автомате, без длительного сопоставления и осмысления услышанных сигналов.
Что поможет лучше изучить систему звукового зрения?
В этом разделе мы приведем отзыв одной из первых участниц, освоивших программу vOICe. Она написала своеобразное наставление всем, кто только будет постигать систему. Это мини-напутствие очень четко дает понять, на что следует обращать внимание в процессе обучения.
«У меня была самая первая установка, мне пришлось пройти несколько этапов, каждый из которых был связан с пробами и ошибками. В результате я выявила шесть основных факторов, которые важны при пользовании этой технологией.
Во-первых, состояние и положение камеры: ее размещение, фокус, освещенность. От этих факторов зависит более четкое и полное преобразование звуков. Например, если фокус нечеткий, изображение размыто, то его трудно интерпретировать — звук может быть передан неверно. При слабом освещении ограничен звуковой обзор, поэтому пользоваться ей лучше в дневное время.
Второй важный фактор — микрофон. На его креплении имеется выключатель. Я почти всегда оставляла его в рабочем положении, и иногда мое дыхание или посторонние звуки оказывались похожи на команды и изменяли программу. Оказалось, надо включать микрофон только на время, чтобы отдать голосовую команду.
Третий момент — рабочий процесс, связанный с ноутбуком. Если удалять все ненужные программы и запускать только vOICe, то это делает его работу значительно эргономичнее. Важно, чтобы он не перегревался во время работы.
Четвертое — не надо пытаться сразу понять данную систему. Это действительно нереально сначала. При первых попытках использования я просто играла с ней, как в крестики-нолики. Затем постепенно стали на автомате распознаваться звуки — они складывались у меня в изображение почти сразу. А ведь изначально я думала над каждым, вспоминая, что он должен означать. Постепенно высокие и низкие тональности, быстрые и отрывистые звуки стали казаться непрерывной звуковой волной, в которой я видела картинку. Очень помогают упражнения, которые входят в тренинг.
Пятый момент, о котором я хочу сказать, — важность постоянных тренировок. Даже если обучение идет не так быстро, как хотелось бы, путь к успеху в этом случае только один: регулярные ежедневные тренинги. Полезно будет повторять одно и то же действие, например, подъем по лестнице. При этом будут повторяться одни и те же звуки, и постепенно мозг так привыкнет к этой ассоциации, что ступени и правда будут видны, как на экране, только в черно-белом изображении. При этом мозг машинально дает телу сигнал совершить нужные действия, то есть поднять ноги, чтобы совершить подъем по ступеням. Именно это будет происходить через некоторое время после постоянных тренировок с vOICe.
Таким образом, мы пришли к шестому фактору. Это время. Только по прошествии времени, и никак иначе, мозг научится автоматически реагировать на звуковую волну и машинально выполнять нужные действия: открывать дверь, обходить препятствие, спускаться или подниматься по ступеням».
Продвижение системы звукового зрения vOICe в России
Команда российских энтузиастов во главе с Данилой Медведевым запустила краудфандинговую площадку по сбору средств на создание пяти усовершенствованных прототипов vOICe для дальнейшей передачи их слепым людям с целью полного тестирования. Команда обещает психологическую поддержку и возможность обучения для всестороннего раскрытия потенциала системы. Также в планах энтузиастов — продвижение проекта на уровне государственной социальной программы с целью вовлечения инвалидов по зрению в нормальную жизнь общества.
Система «vOICe — звуковое зрение» — это реальный шанс для слепых и слабовидящих людей научиться вести почти полноценную жизнь без посторонней помощи. Они научатся самостоятельно передвигаться, ощущать окружающее пространство, видеть звуковое «изображение» того, что происходит вокруг. За данной технологией разработчики видят большое будущее.