perché tabi usa Mistral AI

La storia dietro tabi e i sei modelli Mistral che lo alimentano.

Di Nikhil Bhima, fondatore di tabi e Mistral AI Ambassador

Come Mistral AI Ambassador, volevo mostrare di più ciò che Mistral può fare.

La maggior parte di ciò che Mistral mostra al mondo è pensato per le aziende: workflow, automazione, fine-tuning, modelli aperti per gli sviluppatori. Tutto utile, ma per lo più invisibile a tutti gli altri. Quindi continuavo a tornare a una domanda. Come apparirebbero questi modelli in un’app che la gente usa ogni giorno?

Esplorando i modelli, mi sono concentrato sulla voce. Mistral ha modelli che ti ascoltano mentre parli, scrivono per te e rispondono, persino con una copia della tua stessa voce. Ognuno era valido da solo. Non avevo visto nessuno che li avesse messi tutti insieme in un’unica app per le persone comuni.

Così ho iniziato a costruire tabi, un’app vocale per Mac. Doveva essere un progetto divertente di una settimana. Mi sono appassionato e da allora la sto migliorando ogni giorno.

Il nome viene da tabby, il gatto tigrato. Volevo un nome che potessi chiamare, non un nome da software, e «hey tabi» funzionava semplicemente.

Più di un dettato

Non sono partito da una lista di funzioni. Ho letto prima cosa potevano fare i modelli e ho costruito le funzioni da lì. Poiché Mistral poteva ascoltare, scrivere e parlare, tabi è diventato più di un’app di dettato: scrive per te, riscrive ciò che selezioni, risponde quando chiedi e legge per te.

voxtral-small-transcribe-3-0Ti sente, un pezzo alla volta mentre parli ancoraDetta

mistral-medium-2604Trasforma il parlato in testo, risponde, riscrive, replichePulizia, richieste

voxtral-mini-tts-3-0Legge il testo ad alta voce, con una voce preimpostata o una copia della tuaLeggi ad alta voce

voxtral-mini-2602Verifica che una breve registrazione contenga davvero la voce, riascolta un nome detto da solo e sincronizza le parole che Listen leggeDetta, Listen

voxtral-small-2507Impara come pronunci una parola che gli insegniDizionario

mistral-ocr-4-1Legge le parole da un PDF scansionato o una fotoListen

DettaTieni premuto un tasto, parla e le parole appaiono dove si trova il cursoreVoxtralMedium

PuliziaElimina i suoni di riempimento e i falsi avvii, e ogni app può avere il suo stile di scritturaMedium

Cinquanta sei lingueParla in una lingua e scrivi in un'altraVoxtralMedium

ChiediTieni premuto fn e Control, chiedi e la risposta appare dove si trova il cursoreMedium

Modifica vocaleSeleziona il testo, di' cosa cambiare e la riscrittura lo sostituisceVoxtralMedium

RispondiDi' più o meno quello che intendi e la risposta viene scritta per teVoxtralMedium

Leggi ad alta voceSeleziona qualsiasi cosa e sentila con una voce realeVoxtral TTS

La tua voceLeggi ad alta voce con una copia della tua voceVoxtral TTS

Dillo a modo tuoDi' un nome una volta e verrà letto ad alta voce come lo dici tuVoxtralVoxtral TTS

ListenApri un PDF, un libro o una foto e sentilo, parola per parolaOCRVoxtral TTS

Trentasette lingueAscolta un documento in un'altra linguaMediumVoxtral TTS

Perché solo Mistral

Avrei potuto mescolare: il riconoscimento vocale di una, la scrittura di un'altra, la voce di una terza. È così che si costruiscono la maggior parte delle app di questo tipo. Io ho scelto una sola.

Fiducia. tabi trattiene il meno possibile. La registrazione viene eliminata non appena diventa testo, la cronologia non esce mai dal tuo Mac e non ci sono account. Ma la tua voce deve comunque arrivare a un modello per diventare parole. Quindi la vera scelta era a quale azienda affidare quel momento. Per me è stata Mistral, e credo lo sia per molte persone.

Europa. Mistral è un'azienda francese e conserva i dati nell'UE, sotto la legge europea. È uno dei pochi laboratori di queste dimensioni fuori dagli Stati Uniti e dalla Cina, e in molti vogliono un'opzione europea per qualcosa con cui parlano ogni giorno.

Aperto. Mistral pubblica i suoi modelli di riconoscimento vocale, cosa che la maggior parte dei laboratori non fa. Il suo modello di trascrizione in tempo reale è Apache 2.0, libero per chiunque voglia usarlo. Il primo modello che risponde è stato pubblicato con una licenza non commerciale, e tabi usa le sue voci tramite il servizio a pagamento di Mistral.

Prezzo. I prezzi di Mistral sono abbastanza bassi da permettere a tabi di offrire il dettato gratis e illimitato, senza account.

Dove va davvero la tua voce

Scrive mentre parli

tabi invia la tua voce mentre parli e, in una registrazione lunga, ogni quaranta parole circa vengono inviate per essere sistemate mentre continui. Quando rilasci il tasto, la maggior parte del testo è già scritto.

tabi invia le tue parole per essere ascoltate a ogni pausa mentre parli ancora, e la sistemazione avviene lungo il percorso, così quando rilasci il tasto c’è poco da fare. L’attesa cresce molto più lentamente di quanto parli.

Cosa viene dopo

tabi è su Mac per ora. Poi Windows, poi iPhone, poi Android. Migliora con ogni aggiornamento e scriverò qui delle novità più grandi.

Se vuoi provarlo, tabi è gratuito da scaricare per Mac.

Domande

Quali modelli AI usa tabi?

Sei, tutti di Mistral. voxtral-small-transcribe-3-0 trasforma la tua voce in testo, un pezzo alla volta mentre parli ancora, mistral-medium-2604 sistema il risultato e risponde a quello che chiedi, voxtral-mini-tts-3-0 legge il testo ad alta voce e mistral-ocr-4-1 legge PDF e foto scansionati per Listen. voxtral-mini-2602 verifica che una registrazione breve contenga davvero la voce, la ascolta una seconda volta così un nome detto da solo rimane nelle tue lettere, e sincronizza le parole che Listen legge, e voxtral-small-2507 sente come pronunci una parola che insegni al Dizionario.

Perché tabi usa Mistral?

Il suo fondatore, un Mistral AI Ambassador, ha costruito tabi sui modelli vocali di Mistral fin dall’inizio. Rimane su Mistral per affidabilità: tabi non conserva nulla, e Mistral trattiene i dati nell’UE secondo la legge europea. Pubblica i modelli vocali apertamente, il suo modello di trascrizione in tempo reale sotto licenza Apache 2.0, e i suoi prezzi permettono la dettatura gratuita e illimitata.

tabi è fatto da Mistral AI?

No. tabi è sviluppato da Nikhil Bhima, un Mistral AI Ambassador, come suo progetto personale. Mistral non lo costruisce, possiede o promuove. Funziona con i modelli di Mistral tramite l’API di Mistral.

Dove invia tabi la tua voce?

A Mistral, e da nessuna altra parte, tramite un piccolo server che tabi esegue e che inoltra l’audio senza conservarlo. La registrazione viene eliminata non appena diventa testo, e la cronologia rimane sul tuo Mac. La pagina sulla privacy contiene i dettagli.

Quanto è veloce la dettatura di tabi?

La maggior parte del testo viene scritto mentre parli ancora, così appare pochi istanti dopo che rilasci il tasto, e una registrazione lunga aspetta solo un po’ di più.

Altre informazioni nella pagina delle domande, o vedi cosa fa tabi.