tabi Downloaden

waarom tabi op Mistral AI draait

Het verhaal achter tabi, en de zes Mistral-modellen die het aandrijven.

Door Nikhil Bhima, oprichter van tabi en Mistral AI Ambassador

Het app-icoon en woordmerk van tabi naast de pixel-M en naam van Mistral AI

Als Mistral AI Ambassador wilde ik laten zien wat Mistral allemaal kan.

Het meeste wat Mistral aan de wereld laat zien, is bedoeld voor bedrijven: workflows, automatisering, fine-tuning, open modellen voor ontwikkelaars. Allemaal nuttig, en voor de meeste mensen onzichtbaar. Dus bleef ik terugkomen op één vraag. Hoe zouden deze modellen eruitzien in een app die mensen elke dag gebruiken?

Toen ik door de modellen ging, kwam ik uit bij spraak. Mistral heeft modellen die naar je luisteren terwijl je praat, voor je schrijven en terugpraten, zelfs in een kopie van je eigen stem. Elk model was op zich al goed. Ik had nog niemand gezien die ze allemaal in één app voor gewone mensen had gecombineerd.

Dus begon ik met bouwen aan tabi, een spraakapp voor de Mac. Het moest een leuke week bouwen worden. Ik raakte verslaafd en verbeter het sindsdien elke dag.

De naam komt van tabby, de gestreepte kat. Ik wilde een naam die je kon roepen, geen softwarenaam, en “hey tabi” voelde gewoon goed.

Alles wat tabi met je stem doet, wordt doorgestuurd naar Mistral, en naar niemand anders. tabi is mijn eigen project. Mistral bouwt het niet, bezit het niet en steunt het niet.

Meer dan dicteren

Ik begon niet met een lijst functies. Ik las eerst wat de modellen konden, en bouwde de functies daaromheen. Omdat Mistral kon luisteren, schrijven en praten, werd tabi meer dan een dicteerapp: het schrijft voor je, herschrijft wat je selecteert, beantwoordt je vragen en leest voor.

voxtral-small-transcribe-3-0Luistert naar je, stukje bij beetje terwijl je nog aan het praten bentDictatie
mistral-medium-2604Zet spraak om in tekst, antwoordt, herschrijft, reageertOpschonen, vragen
voxtral-mini-tts-3-0Leest tekst voor, met een vooraf ingestelde stem of een kopie van die van jouVoorlezen
voxtral-mini-2602Controleert of een korte opname echt spraak bevatte, luistert opnieuw naar een alleen gezegde naam en meet de timing van de woorden die Listen voorleestDictatie, Listen
voxtral-small-2507Luistert hoe jij een woord uitlegtWoordenboek
mistral-ocr-4-1Leest de woorden van een gescand PDF-bestand of een fotoListen
Vier van de zes behoren tot dezelfde familie. Voxtral luistert en spreekt, Medium doet het schrijfwerk en OCR leest de pagina.
DictatieHoud een toets ingedrukt, praat en de woorden verschijnen waar je cursor staatVoxtralMedium
OpschonenDe eh’s en valse starts verdwijnen en elke app kan zijn eigen schrijfstijl hebbenMedium
Zesenvijftig talenPraat in de ene taal en schrijf in de andereVoxtralMedium
VraagHoud fn en Control ingedrukt, vraag, en het antwoord verschijnt waar je cursor staatMedium
SpraakbewerkenSelecteer tekst, zeg wat je wilt aanpassen en de herschreven versie vervangt hetVoxtralMedium
AntwoordenZeg globaal wat je bedoelt en het antwoord wordt voor je geschrevenVoxtralMedium
VoorlezenSelecteer iets en hoor het in een echte stemVoxtral TTS
Je eigen stemLaat voorlezen in een kopie van je eigen stemVoxtral TTS
Zeg het op jouw manierZeg een naam één keer en die wordt voorgelezen zoals jij het zegtVoxtralVoxtral TTS
ListenOpen een PDF, een boek of een foto en hoor het woord voor woordOCRVoxtral TTS
Zevenendertig talenHoor een document in een andere taalMediumVoxtral TTS
Elke functie die tabi heeft. Niets op deze lijst draait ergens anders dan op Mistral.

Waarom alleen Mistral

Ik had alles door elkaar kunnen gebruiken: spraak van het ene bedrijf, tekst van het andere, de stem van een derde. Zo werken de meeste apps zoals deze. Ik koos voor één.

de gebruikelijke opzet

spraak naar tekst, één bedrijf
de tekst, een ander
de stem, een derde

Drie contracten, drie privacybeleid, drie plekken waar je stem is opgeslagen.

tabi

Mistral, voor alle zes

Één lab achter elk woord, en één privacybeleid om te lezen.

Vertrouwen. tabi bewaart zo min mogelijk. De opname wordt weggegooid zodra die tekst is, je geschiedenis verlaat je Mac nooit en er zijn geen accounts. Maar je stem moet wel bij een model komen om woorden te worden. Dus de echte keuze was: welk bedrijf vertrouw je met dat moment. Voor mij was dat Mistral, en ik denk dat dat voor veel mensen geldt.

Europa. Mistral is een Frans bedrijf en bewaart gegevens in de EU, onder Europees recht. Het is een van de weinige labs van deze omvang buiten de Verenigde Staten en China, en veel mensen willen een Europese optie voor iets waar ze elke dag mee praten.

Open. Mistral publiceert zijn spraakmodellen, wat de meeste labs niet doen. Het model voor realtime transcriptie is Apache 2.0, gratis voor iedereen om te gebruiken. Het eerste model dat terugpraat is gepubliceerd onder een niet-commerciële licentie, en tabi gebruikt de stemmen via de betaalde dienst van Mistral.

Prijs. De prijzen van Mistral zijn laag genoeg dat dicteren in tabi gratis en onbeperkt kan, zonder account.

Waar je stem echt naartoe gaat

  1. Je Mac

    Je stem verlaat je Mac in kleine stukjes terwijl je nog aan het praten bent. Een kopie wacht in één privébestand, zodat een verbrokkelde verbinding niets kwijtraakt, en wordt verwijderd zodra het tekst is. Je geschiedenis blijft hier en wordt nooit geüpload.

  2. Een kleine server die tabi draait

    Deze geeft het geluid door en bewaart niets. Hij bestaat zodat de sleutel van tabi naar Mistral nooit in de kopie van de app op je Mac zit. Het is ook de reden dat tabi geen account nodig heeft: er is niets om in te loggen.

  3. Mistral, in de EU

    Hier wordt je stem tekst en tekst wordt stem. Mistral bewaart wat het verwerkt voor dertig dagen om misbruik te detecteren, en verwijdert het daarna. Hoewel Mistral zijn nieuwste stemmodellen een preview noemt, staan in de voorwaarden dat het de verwerkte gegevens mag gebruiken om zijn modellen te trainen.

  4. Je cursor

    De woorden verschijnen in de app waarin je al bezig was. Niets van die woorden gaat ergens anders naartoe.

Het schrijft terwijl je nog aan het praten bent.

tabi stuurt je stem door terwijl je praat, en bij een lange opname worden elke veertig woorden of zo opgestuurd om op te schonen terwijl jij doorgaat. Tegen de tijd dat je de toets loslaat, is het grootste deel van je tekst al geschreven.

tabi stuurt je woorden door om te worden beluisterd bij elke pauze terwijl je nog aan het praten bent, en het opschonen gebeurt onderweg, zodat er weinig meer te doen is als je de toets loslaat. De wachttijd groeit veel langzamer dan hoeveel je zegt.

Wat komt er hierna

tabi is voorlopig alleen voor de Mac. Windows komt daarna, dan iPhone, dan Android. Het wordt met elke update beter, en ik schrijf hier over de grote veranderingen.

Als je het wilt proberen, is tabi gratis te downloaden voor de Mac.

Vragen

Welke AI-modellen gebruikt tabi?

Zes, allemaal van Mistral. voxtral-small-transcribe-3-0 zet je spraak om in tekst, stukje bij beetje terwijl je nog aan het praten bent, mistral-medium-2604 maakt de tekst netjes en beantwoordt wat je vraagt, voxtral-mini-tts-3-0 leest tekst voor en mistral-ocr-4-1 leest gescande PDF’s en foto’s voor Listen. voxtral-mini-2602 controleert of een korte opname echt spraak bevat, luistert nog een keer zodat een naam die alleen wordt gezegd in je eigen letters blijft, en meet de tijd van de woorden die Listen voorleest, en voxtral-small-2507 hoort hoe jij een woord uitspreekt dat je aan het Woordenboek leert.

Waarom gebruikt tabi Mistral?

De maker, een Mistral AI Ambassador, heeft tabi vanaf het begin gebouwd op de spraakmodellen van Mistral. Het blijft bij Mistral voor vertrouwen: tabi bewaart zelf niets, en Mistral bewaart gegevens in de EU onder Europees recht. Het publiceert spraakmodellen openlijk, het realtime transcriptiemodel onder Apache 2.0, en de prijzen maken dictatie gratis en onbeperkt.

Is tabi gemaakt door Mistral AI?

Nee. tabi is gebouwd door Nikhil Bhima, een Mistral AI Ambassador, als zijn eigen project. Mistral bouwt, bezit of endorse het niet. Het draait op de modellen van Mistral via de API van Mistral.

Waar stuurt tabi je stem naartoe?

Naar Mistral, en nergens anders, via een kleine server die tabi draait en die het geluid doorstuurt en niets bewaart. De opname wordt direct weggegooid zodra het tekst is, en je geschiedenis blijft op je Mac. Op de privacy-pagina vind je de details.

Hoe snel is de dictatie van tabi?

Het grootste deel van de tekst wordt geschreven terwijl je nog aan het praten bent, dus het verschijnt een paar momenten na het loslaten van de toets, en bij een lange opname wacht je maar iets langer.

Meer op de vragenpagina, of bekijk wat tabi kan.

Alle berichten