warum tabi auf Mistral AI läuft.

Die Geschichte hinter tabi und die sechs Mistral-Modelle, die es antreiben.

Von Nikhil Bhima, Gründer von tabi und Mistral AI Ambassador

Als Mistral AI Ambassador wollte ich zeigen, was Mistral noch alles kann.

Das meiste, was Mistral der Welt zeigt, ist für Unternehmen: Workflows, Automatisierung, Fine-Tuning, offene Modelle für Entwickler. Alles nützlich, aber für die meisten unsichtbar. Also blieb ich bei einer Frage hängen. Wie würden diese Modelle in einer App aussehen, die Menschen täglich nutzen?

Als ich die Modelle durchging, landete ich bei Sprache. Mistral hat Modelle, die dir zuhören, während du sprichst, für dich schreiben und sogar in einer Kopie deiner eigenen Stimme antworten. Jedes war für sich gut. Ich hatte noch keine App gesehen, die all das in einer App für den Alltag vereint.

Also begann ich, tabi zu bauen, eine Voice-App für den Mac. Es sollte eine lustige Woche Bauen werden. Ich war sofort gefesselt und habe es seitdem jeden Tag besser gemacht.

Der Name kommt von tabby, der getigerten Katze. Ich wollte einen Namen, den man rufen kann, keinen Softwarenamen, und „hey tabi“ klang einfach richtig.

Mehr als Diktieren

Ich habe nicht mit einer Feature-Liste angefangen. Ich habe zuerst gelesen, was die Modelle können, und dann die Funktionen daraus gebaut. Weil Mistral zuhören, schreiben und sprechen kann, wurde tabi mehr als eine Diktier-App: Es schreibt für dich, formuliert um, was du auswählst, antwortet auf Fragen und liest dir vor.

voxtral-small-transcribe-3-0Hört dir zu, Stück für Stück, während du noch sprichstDiktat

mistral-medium-2604Verwandelt Sprache in Text, antwortet, formuliert um, antwortetBereinigung, Fragen

voxtral-mini-tts-3-0Liest Text vor, mit einer voreingestellten Stimme oder einer Kopie deinerVorlesen

voxtral-mini-2602Prüft, ob eine kurze Aufnahme wirklich Sprache enthält, hört einen allein genannten Namen nochmal und misst die Zeit, die Listen zum Vorlesen brauchtDiktat, Listen

voxtral-small-2507Hört, wie du ein Wort aussprichst, das du ihm beibringstWörterbuch

mistral-ocr-4-1Liest Wörter von einem gescannten PDF oder einem Foto abListen

DiktatHalte eine Taste gedrückt, sprich und die Wörter landen dort, wo dein Cursor istVoxtralMedium

BereinigungDie Ähs und falschen Starts verschwinden und jede App kann ihren eigenen Schreibstil habenMedium

Sechsundfünfzig SprachenSprich in einer Sprache und schreibe in einer anderenVoxtralMedium

FragHalte fn und Control gedrückt, frag und die Antwort landet an deinem CursorMedium

SprachbearbeitungMarkiere Text, sag, was sich ändern soll, und die Überarbeitung ersetzt ihnVoxtralMedium

AntwortenSag ungefähr, was du meinst, und die Antwort wird für dich geschriebenVoxtralMedium

VorlesenMarkiere etwas und höre es in einer echten StimmeVoxtral TTS

Deine eigene StimmeLies mit einer Kopie deiner eigenen Stimme vorVoxtral TTS

Sag es auf deine WeiseSag einen Namen einmal und er wird so vorgelesen, wie du ihn aussprichstVoxtralVoxtral TTS

ListenÖffne ein PDF, ein Buch oder ein Foto und höre es Wort für WortOCRVoxtral TTS

Siebenunddreißig SprachenHöre ein Dokument in einer anderen SpracheMediumVoxtral TTS

Warum nur Mistral

Ich hätte auch kombinieren können: Spracherkennung von einem Anbieter, Textgenerierung von einem anderen, die Stimme von einem dritten. So funktionieren die meisten Apps dieser Art. Ich habe mich für einen entschieden.

Vertrauen. tabi speichert so wenig wie möglich. Die Aufnahme wird gelöscht, sobald sie zu Text wird, dein Verlauf verlässt deinen Mac nie und es gibt keine Konten. Aber deine Stimme muss trotzdem ein Modell erreichen, um zu Text zu werden. Die eigentliche Entscheidung war also, welchem Unternehmen ich diesen Moment anvertraue. Für mich war das Mistral, und ich denke, für viele andere auch.

Europa. Mistral ist ein französisches Unternehmen und speichert Daten in der EU, unter europäischem Recht. Es ist eines der wenigen Labore dieser Größe außerhalb der USA und Chinas, und viele Menschen möchten eine europäische Option für etwas, mit dem sie täglich sprechen.

Offen. Mistral veröffentlicht seine Sprachmodelle, was die meisten Labore nicht tun. Sein Echtzeit-Transkriptionsmodell ist Apache 2.0, frei für jeden nutzbar. Das erste, das zurückspricht, wurde unter einer nicht-kommerziellen Lizenz veröffentlicht, und tabi nutzt seine Stimmen über den kostenpflichtigen Dienst von Mistral.

Preis. Mistrals Preise sind niedrig genug, dass Diktieren in tabi kostenlos und unbegrenzt sein kann, ohne Konto.

Wohin deine Stimme tatsächlich geht

Es schreibt, während du noch sprichst.

tabi sendet deine Stimme, während du sprichst, und bei längeren Aufnahmen werden etwa alle vierzig fertigen Wörter verschickt, um aufgeräumt zu werden, während du weitersprichst. Bis du die Taste loslässt, ist der Großteil deines Textes schon da.

tabi schickt deine Wörter bei jeder Pause, während du noch sprichst, und das Aufräumen passiert unterwegs, sodass kaum noch etwas übrig bleibt, wenn du die Taste loslässt. Die Wartezeit wächst viel langsamer als das, was du sagst.

Was kommt als Nächstes

tabi gibt es für den Mac. Als Nächstes kommen Windows, dann iPhone, dann Android. Mit jedem Update wird es besser, und ich schreibe hier über die großen Änderungen.

Wenn du es ausprobieren möchtest, ist tabi kostenlos für den Mac.

Fragen

Welche KI-Modelle nutzt tabi?

Sechs, alle von Mistral. voxtral-small-transcribe-3-0 verwandelt deine Sprache in Text, Stück für Stück, während du noch sprichst, mistral-medium-2604 bereinigt das Ergebnis und beantwortet deine Fragen, voxtral-mini-tts-3-0 liest Text vor und mistral-ocr-4-1 liest gescannte PDFs und Fotos für Listen. voxtral-mini-2602 prüft, ob eine kurze Aufnahme wirklich Sprache enthält, hört sie ein zweites Mal, damit ein allein genannter Name in deinen eigenen Buchstaben bleibt, und zeit die Wörter, die Listen vorliest, und voxtral-small-2507 hört, wie du ein Wort aussprichst, das du dem Wörterbuch beibringst.

Warum nutzt tabi Mistral?

Sein Gründer, ein Mistral AI Ambassador, hat tabi von Anfang an auf den Sprachmodellen von Mistral aufgebaut. Es bleibt bei Mistral, weil es Vertrauen schafft: tabi speichert selbst nichts, und Mistral speichert Daten in der EU nach europäischem Recht. Es veröffentlicht Sprachmodelle offen, sein Echtzeit-Transkriptionsmodell unter Apache 2.0, und seine Preise ermöglichen kostenlose und unbegrenzte Diktate.

Wird tabi von Mistral AI entwickelt?

Nein. tabi wird von Nikhil Bhima, einem Mistral AI Ambassador, als eigenes Projekt entwickelt. Mistral entwickelt, besitzt oder unterstützt es nicht. Es läuft auf den Modellen von Mistral über die Mistral-API.

Wohin sendet tabi deine Stimme?

An Mistral und nirgendwohin sonst, über einen kleinen Server, den tabi betreibt, der das Audio weiterleitet und nichts davon speichert. Die Aufnahme wird sofort gelöscht, sobald sie zu Text wird, und dein Verlauf bleibt auf deinem Mac. Auf der Datenschutzseite findest du die Details.

Wie schnell ist tabis Diktat?

Der Großteil des Textes wird geschrieben, während du noch sprichst, sodass er kurz nach dem Loslassen der Taste da ist, und bei längeren Aufnahmen dauert es nur wenig länger.

Mehr auf der Fragen-Seite oder sieh dir an, was tabi kann.