Proyectos @es

Nokia : Multimodalidad y Interfaz mediante voz del usuario

Nokia contrató a los expertos en software Eureka Time para trabajar en un proyecto de I+D para investigar la creación de teléfonos sensibles al contexto.

Esta investigación multimodalidad incluía construcción de texto y capacidad de voz.

Trabajamos en múltiples tareas para hacer los teléfonos más sensibles al contexto, usando C++, QT framework y native APIs.

Añadimos el converso texto-voz (TTS) a los teléfonos, desarrollando una interfaz de voz de usuario que respondía a entradas de audio del usuario.

 

Además de TTS también desarrollamos la funcionalidad STT (Texto a Voz), permitiendo al teléfono capturar y responder la entrada de texto del usuario.

El sistema STT primero empleó ASR local para intentar determinar lo que se decía.

Si el ASR local no acertaba, se utilizaba un segundo texto a voz remoto (STT remoto) y la transmisión de audio se enviaba a un servidor en la nube para su análisis.

Estas funciones TTS y STT eran parte de un gran proyecto multimodal, cuyo objetivo era crear teléfonos Nokia sensibles al contexto.

El trabajo que entregamos podía identificar varios contextos en los que el teléfono estaba siendo usado (en otras palabras, lo que el usuario estaba haciendo con el teléfono).

Para conseguir esto, usamos todos los sensores del teléfono y todas las cámaras del teléfono. Usando la cámara, podríamos determinar si el usuario estaba mirando al teléfono o no.

Nokia-IT-multimodalidad

 

Usando información de los sensores, podíamos decidir si emplear la interfaz mediante voz del usuario (voz UI). Por ejemplo, si el teléfono estaba en movimiento pero el usuario no estaba mirando al teléfono, el usuario podría estar conduciendo, y la voz UI involucrada con salida de tacto.

 

El objetivo de desarrollar teléfonos sensibles al contexto era hacer la interactuación con el teléfono más fácil y más intuitiva.

 

Nuestro equipo también trabajó con Nokia en varias aplicaciones de sus teléfonos en otras ocasiones, incluyendo escribiendo la aplicación de la galería y la aplicación de los contactos.

Eureka Time es una agencia digital con sede en Paris, Francia y Barcelona, España. Trabajamos con marcas de todo el mundo para ayudarlas a conseguir sus objetivos digitales.

Nuestros equipos de expertos pueden ayudar a tu empresa con:

 

  • Desarrollo tecnológico (creando páginas web, aplicaciones móviles, plataformas, etc.).
  • Campañas digitales, contenido y medios
  • Estrategias de influencia y programas promocionales (community management, relaciones públicas, etc.).

Para saber más sobre cómo podemos ayudarle o ayudar a su empresa con nuestros servicios, contáctenos.

Leer más sobre los proyectos de desarrollo tecnológico de Eureka Time aquí.