pourquoi tabi fonctionne avec Mistral AI

L’histoire de tabi, et les six modèles Mistral qui l’animent.

Par Nikhil Bhima, fondateur de tabi et ambassadeur Mistral AI

En tant qu’ambassadeur Mistral AI, je voulais montrer davantage ce que Mistral peut faire.

La plupart de ce que Mistral présente au monde est conçu pour les entreprises : workflows, automatisation, fine-tuning, modèles ouverts pour les développeurs. Tout cela est utile, mais reste invisible pour la plupart des gens. Alors je me suis posé une question. À quoi ressembleraient ces modèles dans une appli que les gens utilisent tous les jours ?

En explorant les modèles, je me suis arrêté sur la voix. Mistral dispose de modèles qui vous écoutent quand vous parlez, écrivent pour vous et vous répondent, même avec une copie de votre propre voix. Chacun était performant seul. Je n’avais jamais vu quelqu’un les regrouper dans une seule appli pour le grand public.

J’ai donc commencé à développer tabi, une appli vocale pour Mac. Cela devait être une semaine de développement amusante. J’ai accroché, et je l’améliore chaque jour depuis.

Le nom vient de tabby, le chat rayé. Je voulais un nom que l’on puisse appeler, pas un nom de logiciel, et « hey tabi » sonnait juste.

Plus qu’une dictée

Je ne suis pas parti d’une liste de fonctionnalités. J’ai d’abord lu ce que les modèles pouvaient faire, puis j’ai construit les fonctionnalités à partir de là. Comme Mistral pouvait écouter, écrire et parler, tabi est devenu plus qu’une appli de dictée : il écrit pour vous, reformule ce que vous sélectionnez, répond à vos questions et vous lit du texte.

voxtral-small-transcribe-3-0Vous écoute par segments pendant que vous parlez encoreDictée

mistral-medium-2604Transforme la parole en texte, répond, reformule, répondNettoyage, demandes

voxtral-mini-tts-3-0Lit le texte à voix haute, avec une voix prédéfinie ou une copie de la vôtreLecture à voix haute

voxtral-mini-2602Vérifie qu’une prise courte contient bien de la parole, réécoute un nom dit seul et chronomètre les mots lus par ListenDictée, Listen

voxtral-small-2507Écoute comment vous prononcez un mot que vous lui apprenezDictionnaire

mistral-ocr-4-1Lit les mots sur un PDF scanné ou une photoListen

DictéeMaintenez une touche, parlez et les mots apparaissent là où se trouve votre curseurVoxtralMedium

NettoyageLes euh et les faux départs disparaissent, et chaque app peut avoir son propre style d’écritureMedium

Cinquante-six languesParlez dans une langue et écrivez dans une autreVoxtralMedium

DemandezMaintenez fn et Contrôle, demandez, et la réponse s’affiche à l’emplacement du curseurMedium

Édition vocaleSélectionnez du texte, dites ce que vous voulez changer et la réécriture le remplaceVoxtralMedium

RéponseDites à peu près ce que vous voulez dire et la réponse est écrite pour vousVoxtralMedium

Lecture à voix hauteSélectionnez n’importe quoi et écoutez-le avec une voix naturelleVoxtral TTS

Votre propre voixLisez à voix haute avec une copie de votre propre voixVoxtral TTS

Dites-le à votre façonDites un nom une fois et il sera lu à voix haute comme vous le prononcezVoxtralVoxtral TTS

ListenOuvrez un PDF, un livre ou une photo et écoutez-le, mot à motOCRVoxtral TTS

Trente-sept languesÉcoutez un document dans une autre langueMediumVoxtral TTS

Pourquoi uniquement Mistral

J’aurais pu mélanger : la reconnaissance vocale d’une entreprise, la rédaction d’une autre, la voix d’une troisième. C’est comme ça que la plupart des apps de ce type sont conçues. J’ai choisi une seule.

Confiance. tabi conserve le moins possible. L’enregistrement est supprimé une fois transformé en texte, votre historique ne quitte jamais votre Mac, et il n’y a pas de comptes. Mais votre voix doit tout de même atteindre un modèle pour devenir du texte. Le vrai choix était donc de savoir à quelle entreprise confier ce moment. Pour moi, c’était Mistral, et je pense que c’est le cas pour beaucoup.

Europe. Mistral est une entreprise française, et elle conserve les données dans l’UE, sous la juridiction européenne. C’est l’un des rares laboratoires de cette envergure en dehors des États-Unis et de la Chine, et beaucoup veulent une option européenne pour quelque chose à qui ils parlent tous les jours.

Ouverture. Mistral publie ses modèles de reconnaissance vocale, ce que la plupart des laboratoires ne font pas. Son modèle de transcription en temps réel est Apache 2.0, libre d’utilisation pour tous. Le premier qui parle en retour a été publié sous une licence non commerciale, et tabi utilise ses voix via le service payant de Mistral.

Prix. Les tarifs de Mistral sont suffisamment bas pour que la dictée dans tabi puisse être gratuite et illimitée, sans compte.

Où va réellement votre voix

tabi écrit pendant que vous parlez encore.

tabi envoie votre voix au fur et à mesure que vous parlez, et sur une longue dictée, toutes les quarante mots environ sont envoyés pour être retouchés pendant que vous continuez. Quand vous relâchez la touche, la plupart de votre texte est déjà écrit.

tabi envoie vos mots pour être entendus à chaque pause pendant que vous parlez encore, et la retouche se fait en cours de route, il reste donc peu à faire quand vous relâchez la touche. L’attente grandit bien moins vite que ce que vous dites.

Et après

tabi est disponible sur Mac pour l’instant. Windows suivra, puis iPhone, puis Android. Il s’améliore à chaque mise à jour, et je parlerai des grandes évolutions ici.

Si vous voulez l’essayer, tabi est gratuit à télécharger pour Mac.

Questions

Quels modèles d’IA tabi utilise-t-il ?

Six, tous de Mistral. voxtral-small-transcribe-3-0 transforme votre voix en texte, par morceaux pendant que vous parlez, mistral-medium-2604 nettoie le résultat et répond à vos questions, voxtral-mini-tts-3-0 lit le texte à voix haute, et mistral-ocr-4-1 lit les PDF et photos scannés pour Listen. voxtral-mini-2602 vérifie qu’une prise courte contient bien de la parole, l’écoute une seconde fois pour qu’un nom prononcé seul reste dans vos propres lettres, et chronomètre les mots que Listen lit, et voxtral-small-2507 écoute comment vous prononcez un mot que vous enseignez au Dictionnaire.

Pourquoi tabi utilise-t-il Mistral ?

Son créateur, ambassadeur Mistral AI, a construit tabi avec les modèles vocaux de Mistral dès le départ. Il reste sur Mistral par confiance : tabi ne conserve rien, et Mistral stocke les données dans l’UE sous la loi européenne. Il publie ses modèles de parole en open source, son modèle de transcription en temps réel sous licence Apache 2.0, et ses tarifs permettent une dictée gratuite et illimitée.

tabi est-il développé par Mistral AI ?

Non. tabi est développé par Nikhil Bhima, ambassadeur Mistral AI, dans le cadre de son propre projet. Mistral ne le construit pas, ne le possède pas et ne l’approuve pas. Il fonctionne avec les modèles de Mistral via l’API de Mistral.

Où tabi envoie-t-il votre voix ?

À Mistral, et nulle part ailleurs, via un petit serveur que tabi exécute et qui transmet l’audio sans en conserver de copie. L’enregistrement est supprimé dès qu’il est transformé en texte, et votre historique reste sur votre Mac. La page de confidentialité donne plus de détails.

À quelle vitesse tabi dicte-t-il ?

La plupart du texte est écrit pendant que vous parlez encore, il apparaît donc quelques instants après avoir relâché la touche, et une longue dictée n’attend que peu de temps de plus.

Plus d’informations sur la page des questions, ou consultez ce que fait tabi.