Microsoft le da a Copilot voz y visión en su mayor rediseño hasta el momento

Microsoft está presentando hoy una gran revisión de su experiencia Copilot, agregando capacidades de voz y visión para transformarlo en un asistente de inteligencia artificial más personalizado. Como revelé exclusivamente en mi Bloc boletín de la semana pasada, las nuevas capacidades de Copilot incluyen un modo de presentador de noticias virtual para leerle los titulares, la capacidad de Copilot para ver lo que está mirando y una función de voz que le permite hablar con Copilot de forma natural, muy parecida a OpenAI. Modo de voz avanzado.

Copilot se está rediseñando en dispositivos móviles, web y la aplicación dedicada de Windows para convertirlo en una experiencia de usuario más basada en tarjetas y que se parece mucho al trabajo que Inflection AI ha realizado con su asistente de IA personalizado Pi. Microsoft contrató a un grupo de personas de Inflection AI a principios de este año, incluido el cofundador de Google DeepMind, Mustafa Suleyman, quien ahora es director ejecutivo de Microsoft AI. Este es el primer gran cambio de Suleyman en Copilot desde que se hizo cargo del lado del consumidor del asistente de IA.

“En Microsoft AI, estamos creando un compañero de IA para todos”, dice Suleyman en una carta abierta hoy. “Realmente creo que podemos crear una era tecnológica más tranquila, más útil y solidaria, muy diferente a todo lo que hayamos visto antes”.

Copilot ahora no se parece a nada que haya visto antes en Microsoft, con una interfaz que se aleja mucho de lo que existe ahora. Es mucho más cálido, con una página Copilot Discover personalizada que es más útil y atractiva que un mensaje de entrada de texto para un chatbot. Microsoft está personalizando toda esta página de inicio de Copilot en función de su historial de conversaciones y, con el tiempo, incluirá búsquedas útiles, consejos e información relevante.

Microsoft dividió su versión para consumidores de Copilot para el equipo de Suleyman a principios de este año, y claramente le permitió a la compañía experimentar más con la personalidad y la personalización. “Lo que hemos aprendido del equipo Pi y del [Inflection AI] La gente que vino es que siempre han prestado atención a los detalles de las necesidades de los clientes”, dice Yusuf Mehdi, vicepresidente ejecutivo y director de marketing de consumo de Microsoft, en una entrevista con El borde. “La forma en que escuchan y lo que han aprendido de estas largas conversaciones en esa investigación ciertamente ha influido en lo que hemos hecho aquí”.

Más allá de la apariencia de este nuevo Copilot, Microsoft también está intensificando su trabajo en su visión de un compañero de IA para todos al agregar capacidades de voz que son muy similares a las que OpenAI ha introducido en ChatGPT. Ahora puedes chatear con el asistente de IA, hacerle preguntas e interrumpirlo como lo harías durante una conversación con un amigo o colega. Copilot ahora tiene cuatro opciones de voz para elegir, y le recomendamos que elija una cuando utilice por primera vez esta experiencia Copilot actualizada.

“Estamos haciendo una gran apuesta por la voz”, afirma Mehdi. “Cuando lo usas de la forma en que lo hemos diseñado, realmente comienzas a dejarte llevar y a tener conversaciones. Luego ves los destellos de hacia dónde vamos a llegar a largo plazo, con una visión en la que la IA realmente puede ayudarte y ver lo que ves si así lo deseas”.

Copilot Vision es la segunda gran apuesta de Microsoft con este rediseño, que permite al asistente de IA ver lo que ves en la página web que estás viendo. Puede hacerle preguntas sobre el texto, las imágenes y el contenido que está viendo y, combinado con las nuevas funciones de Copilot Voice, responderá de forma natural. Puede utilizar esta función mientras compra en la web para encontrar recomendaciones de productos, lo que permitirá a Copilot ayudarle a encontrar diferentes opciones.

Las sesiones de Copilot Vision son voluntarias y efímeras, y Microsoft dice que ninguno de los contenidos con los que interactúa Copilot Vision se almacena ni se utiliza para capacitación. Esta nueva experiencia no funcionará en todos los sitios web todavía porque Microsoft ha impuesto restricciones a los tipos de sitios web con los que trabaja Copilot Vision. “Estamos comenzando con una lista limitada de sitios web populares para ayudar a garantizar que sea una experiencia segura para todos”, dice el equipo de Copilot. Durante la vista previa, Copilot Vision tampoco funcionará en contenido confidencial y de pago.

A pesar de las exenciones de responsabilidad, Microsoft claramente tiene una visión a largo plazo para estas nuevas funciones de voz y visión en Copilot. Una demostración muestra el uso de Copilot Vision para mirar fotografías de antiguas recetas escritas a mano, lo que ayuda a explicar qué es la comida y ofrece consejos sobre cuánto tiempo lleva preparar la receta. Microsoft demostró una experiencia de asistencia similar para juegos de Xbox a principios de este año, mostrando cómo Copilot podría ayudarte a navegar. minecraft.

Esta siguiente fase de Copilot también incluye Copilot Daily, un resumen en audio de noticias y clima que Copilot lee en voz alta como si fuera un presentador de CNN. Está diseñado como un clip corto que puedes escuchar por las mañanas y solo utiliza contenido de proveedores de noticias y clima que han autorizado a Copilot a usar su contenido. Microsoft está trabajando con ReutersAxel Springer, Hearst y el Tiempos financieros Inicialmente, con planes de agregar más fuentes con el tiempo.

Copilot también puede manejar preguntas más complejas gracias a los últimos modelos de OpenAI. Think Deeper es una nueva característica de Copilot que permite que el asistente se tome más tiempo para responder, lo que le permite proporcionar respuestas paso a paso a preguntas complejas. Está diseñado para funcionar mejor cuando intentas comparar dos opciones una al lado de la otra, como, por ejemplo, “¿Debería mudarme a Nueva York o San Francisco?”

Think Deeper aún se encuentra en una etapa temprana de desarrollo y Microsoft lo está colocando en Copilot Labs, una nueva forma de probar funciones experimentales que la compañía aún está desarrollando. Copilot Vision también será parte de la función Labs inicialmente y los participantes podrán brindar comentarios sobre las experiencias. Es evidente que Microsoft está actuando con cuidado con Copilot Vision después de la reacción violenta en torno a sus problemas iniciales de seguridad y privacidad de Recall. Microsoft reveló la semana pasada que Recall ha sido revisado con opciones mejoradas de seguridad y privacidad, e incluso podrás desinstalar completamente la función o no activarla en primer lugar.

Esta experiencia Copilot actualizada estará disponible hoy en las aplicaciones móviles de iOS y Android, en la web en copilot.microsoft.com y a través de la aplicación Copilot para Windows. Copilot Voice estará disponible inicialmente en inglés en Australia, Canadá, Nueva Zelanda, el Reino Unido y EE. UU., antes de expandirse a más regiones e idiomas en el futuro. Copilot Daily está limitado a EE. UU. y el Reino Unido antes de expandirse a otros lugares, y Copilot Vision estará limitado a una cantidad de suscriptores de Copilot Pro en EE. UU.

Si, como yo, se pregunta hacia dónde se dirige Copilot a continuación, el nuevo CEO de IA de Microsoft tiene grandes ideas. “Con el tiempo, se adaptará a tus gestos y desarrollará capacidades basadas en tus preferencias y necesidades. No estamos creando una herramienta estática sino estableciendo una interacción dinámica, emergente y en evolución”, dice Suleyman. “Te acompañará a esa cita con el médico, tomando notas y haciendo un seguimiento en el momento adecuado. Compartirá la carga de planificar y preparar la fiesta de cumpleaños de su hijo. Y estará ahí al final del día para ayudarte a pensar en una decisión de vida complicada”.

Matricularse en Bloc de Tom Warren, un boletín semanal que descubre los secretos y la estrategia detrás de las apuestas de Microsoft que definieron una era en inteligencia artificial, juegos e informática. Suscríbete para recibir las últimas novedades directamente en tu bandeja de entrada.

Aceptamos tarjeta de crédito, Apple Pay y Google Pay.