Sony Патенты Внутриигровой переводчик жестового языка

Sony подала заявку на патент, чтобы обеспечить лучшую доступность игр для глухих геймеров. Патент показывает, как определенные языки жестов можно перевести на другой внутриигровой язык.

Патент Sony: разработка переводчика с американского языка жестов на японский язык жестов для видеоигр

Планируется использовать VR-оборудование и работать через облачные игры

Sony подала заявку на патент, чтобы добавить в видеоигры сурдоперевод в реальном времени. Патент под названием «Интерпретация языка жестов в виртуальных средах» демонстрирует технологию, которая может переводить американский язык жестов (ASL) на японский язык жестов (JSL), понятный носителям японского языка.

Sony заявляет, что ее цель — создать систему, которая поможет глухим игрокам, переводя язык жестов в реальном времени во время внутриигровых разговоров. Технология, описанная в патенте, позволит виртуальным индикаторам или аватарам, отображаемым на экране, общаться на языке жестов в реальном времени. Система сначала переведет жесты на одном языке в текст, затем преобразует текст на другой указанный язык и, наконец, переведет полученные данные в жесты на другом языке.

Sony описывает в патенте: «Варианты настоящего изобретения относятся к способам и системам для захвата языка жестов одного пользователя (например, японца) и перевода языка жестов другому пользователю (например, говорящему по-английски). . Поскольку языки жестов различаются в зависимости от географического происхождения, языки жестов не являются универсальными. Это требует надлежащего захвата языка жестов одного пользователя, понимания его родного языка и создания его родного языка жестов в качестве вывода для другого пользователя».

Sony описала способ реализации системы с использованием устройств VR или головных дисплеев (HMD). Sony подробно описывает: «В некоторых вариантах реализации HMD подключается к пользовательскому устройству, такому как персональный компьютер, игровая консоль или другое вычислительное устройство, через проводное или беспроводное соединение. В некоторых вариантах реализации пользовательское устройство отображает графику, отображаемую через HMD, предоставьте пользователям захватывающий опыт просмотра в виртуальной среде ».

Sony также предложила, чтобы одно пользовательское устройство могло беспрепятственно взаимодействовать с другим пользовательским устройством на игровом сервере через сеть. В Sony заявили: «В некоторых вариантах реализации игровой сервер выполняет общий сеанс видеоигры, поддерживает каноническое состояние видеоигры и ее виртуальной среды, а пользовательское устройство синхронизируется с ними относительно состояния виртуальной среды».

Благодаря этой настройке пользователи могут обмениваться информацией и взаимодействовать друг с другом в одной виртуальной среде (например, игре) в общей сети или на сервере. Sony также заявила, что в некоторых реализациях системы игровой сервер может быть частью облачной игровой системы, которая «рендерит и передает потоковое видео» между каждым пользовательским устройством.