por qué tabi funciona con Mistral AI

La historia detrás de tabi y los seis modelos de Mistral que lo impulsan.

Por Nikhil Bhima, fundador de tabi y embajador de Mistral AI

Como embajador de Mistral AI, quería mostrar más de lo que puede hacer Mistral.

La mayoría de lo que Mistral muestra al mundo está pensado para empresas: flujos de trabajo, automatización, ajuste fino, modelos abiertos para desarrolladores. Todo útil, pero en gran parte invisible para el resto. Así que seguía volviendo a una pregunta. ¿Cómo serían estos modelos en una app que la gente usa todos los días?

Al revisar los modelos, me decidí por la voz. Mistral tiene modelos que te escuchan mientras hablas, escriben por ti y responden, incluso con una copia de tu propia voz. Cada uno era bueno por sí solo. No había visto a nadie que los uniera todos en una sola app para el uso diario.

Así que empecé a crear tabi, una app de voz para Mac. Iba a ser una semana divertida de desarrollo. Me enganché y desde entonces la he mejorado cada día.

El nombre viene de tabby, el gato atigrado. Quería un nombre que pudieras llamar, no un nombre de software, y «hey tabi» simplemente funcionó.

Más que dictado

No empecé con una lista de funciones. Primero leí qué podían hacer los modelos y luego construí las funciones a partir de eso. Como Mistral podía escuchar, escribir y hablar, tabi se convirtió en algo más que una app de dictado: escribe por ti, reescribe lo que seleccionas, responde cuando preguntas y te lee en voz alta.

voxtral-small-transcribe-3-0Te escucha por partes mientras sigues hablandoDictado

mistral-medium-2604Convierte el habla en texto, responde, reescribe, contestaLimpieza, preguntas

voxtral-mini-tts-3-0Lee el texto en voz alta, con una voz predefinida o una copia de la tuyaLeer en voz alta

voxtral-mini-2602Verifica que una toma corta contenga habla, escucha de nuevo un nombre dicho solo y cronometra las palabras que lee ListenDictado, Listen

voxtral-small-2507Aprende cómo pronuncias una palabra que le enseñasDiccionario

mistral-ocr-4-1Lee las palabras de un PDF escaneado o una fotoListen

DictadoMantén pulsada una tecla, habla y las palabras aparecen donde está el cursorVoxtralMedium

LimpiezaElimina los «eh» y los errores al empezar, y cada app puede tener su propio estilo de escrituraMedium

Cincuenta y seis idiomasHabla en un idioma y escribe en otroVoxtralMedium

PreguntaMantén pulsada fn y Control, pregunta y la respuesta aparece donde está el cursorMedium

Edición por vozSelecciona texto, di qué cambiar y la reescritura lo reemplazaVoxtralMedium

RespuestaDi más o menos lo que quieres y la respuesta se escribe por tiVoxtralMedium

Leer en voz altaSelecciona cualquier cosa y escúchala con una voz realVoxtral TTS

Tu propia vozLee en voz alta con una copia de tu propia vozVoxtral TTS

Di lo tuyoDi un nombre una vez y se leerá en voz alta como tú lo pronunciasVoxtralVoxtral TTS

ListenAbre un PDF, un libro o una foto y escúchalo, palabra por palabraOCRVoxtral TTS

Treinta y siete idiomasEscucha un documento en otro idiomaMediumVoxtral TTS

¿Por qué solo Mistral?

Podría haber mezclado: el reconocimiento de voz de una empresa, la escritura de otra y la voz de una tercera. Así se construyen la mayoría de apps como esta. Yo elegí una sola.

Confianza. tabi guarda lo mínimo posible. La grabación se elimina una vez convertida en texto, tu historial nunca sale de tu Mac y no hay cuentas. Pero tu voz tiene que llegar a un modelo para convertirse en palabras. Así que la verdadera decisión era a qué empresa confiarle ese momento. Para mí fue Mistral, y creo que para mucha gente también.

Europa. Mistral es una empresa francesa y guarda los datos en la UE, bajo la ley europea. Es uno de los pocos laboratorios de su tamaño fuera de Estados Unidos y China, y mucha gente quiere una opción europea para algo con lo que habla todos los días.

Abierto. Mistral publica sus modelos de voz, algo que la mayoría de laboratorios no hacen. Su modelo de transcripción en tiempo real es Apache 2.0, libre para que cualquiera lo use. El primero que habla fue publicado bajo una licencia no comercial, y tabi usa sus voces a través del servicio de pago de Mistral.

Precio. Los precios de Mistral son lo suficientemente bajos como para que el dictado en tabi pueda ser gratuito e ilimitado, sin necesidad de cuenta.

A dónde va realmente tu voz

Escribe mientras sigues hablando.

tabi envía tu voz a medida que la dices, y en una toma larga, cada cuarenta palabras terminadas se procesan mientras tú sigues. Cuando sueltas la tecla, la mayor parte del texto ya está escrito.

tabi envía tus palabras para que se escuchen en cada pausa mientras sigues hablando, y el procesamiento ocurre sobre la marcha, así que queda poco por hacer cuando sueltas la tecla. El tiempo de espera crece mucho más lento que lo que dices.

Qué sigue

tabi está disponible en Mac por ahora. Luego vendrá Windows, después iPhone y luego Android. Mejora con cada versión, y aquí escribiré sobre los cambios importantes.

Si quieres probarlo, tabi es gratis para descargar en Mac.

Preguntas

¿Qué modelos de IA usa tabi?

Seis, todos de Mistral. voxtral-small-transcribe-3-0 convierte tu voz en texto, por partes mientras sigues hablando, mistral-medium-2604 ordena el resultado y responde lo que preguntes, voxtral-mini-tts-3-0 lee el texto en voz alta y mistral-ocr-4-1 lee PDF escaneados y fotos para Listen. voxtral-mini-2602 verifica que una toma corta contenga voz, la escucha una segunda vez para que un nombre dicho solo se mantenga en tus letras, y sincroniza las palabras que lee Listen, y voxtral-small-2507 escucha cómo pronuncias una palabra que enseñas al Diccionario.

¿Por qué tabi usa Mistral?

Su creador, un Mistral AI Ambassador, construyó tabi desde el principio con los modelos de voz de Mistral. Sigue con Mistral por confianza: tabi no guarda nada, y Mistral mantiene los datos en la UE bajo la ley europea. Publica sus modelos de voz de forma abierta, su modelo de transcripción en tiempo real bajo Apache 2.0, y sus precios permiten que la dictación sea gratuita e ilimitada.

¿tabi está hecho por Mistral AI?

No. tabi lo ha creado Nikhil Bhima, un Mistral AI Ambassador, como su propio proyecto. Mistral no lo construye, posee ni respalda. Funciona con los modelos de Mistral a través de la API de Mistral.

¿A dónde envía tabi tu voz?

A Mistral, y a ningún otro sitio, a través de un pequeño servidor que ejecuta tabi, que reenvía el audio y no guarda nada. La grabación se elimina en cuanto se convierte en texto, y tu historial permanece en tu Mac. La página de privacidad tiene los detalles.

¿Qué tan rápido es el dictado de tabi?

La mayor parte del texto se escribe mientras sigues hablando, así que aparece instantes después de soltar la tecla, y una toma larga solo espera un poco más.

Más información en la página de preguntas, o mira qué hace tabi.