Dlaczego tabi działa na Mistral AI

Historia powstania tabi i sześciu modeli Mistral, które je napędzają.

Autor: Nikhil Bhima, założyciel tabi i ambasador Mistral AI

Jako ambasador Mistral AI chciałem pokazać więcej z tego, co potrafi Mistral.

Większość tego, co Mistral pokazuje światu, jest przeznaczona dla firm: przepływy pracy, automatyzacja, dostrajanie modeli, otwarte modele dla deweloperów. Wszystko przydatne, ale głównie niewidoczne dla zwykłych użytkowników. Wracałem więc ciągle do jednego pytania. Jak wyglądałyby te modele w aplikacji, z której korzysta się codziennie?

Przeglądając modele, zatrzymałem się na głosie. Mistral ma modele, które słyszą cię, gdy mówisz, piszą za ciebie i mówią do ciebie, nawet kopią twojego własnego głosu. Każdy z nich był dobry sam w sobie. Nie widziałem nikogo, kto połączyłby je wszystkie w jednej aplikacji dla zwykłych ludzi.

Więc zacząłem budować tabi, aplikację głosową na Maca. Miało to być zabawne zajęcie na tydzień. Zafascynowałem się tym i od tamtej pory codziennie ją ulepszam.

Nazwa pochodzi od tabby, pręgowanego kota. Chciałem imienia, które można zawołać, a nie typowej nazwy programu, i „hey tabi” po prostu pasowało.

Więcej niż dyktowanie

Nie zaczynałem od listy funkcji. Najpierw sprawdziłem, co potrafią modele, i na tej podstawie zbudowałem funkcje. Ponieważ Mistral potrafi słuchać, pisać i mówić, tabi stało się czymś więcej niż aplikacją do dyktowania: pisze za ciebie, przerabia zaznaczony tekst, odpowiada na pytania i czyta na głos.

voxtral-small-transcribe-3-0Słucha cię, fragment po fragmencie, nawet gdy jeszcze mówiszDyktowanie

mistral-medium-2604Zamienia mowę w tekst, odpowiada, przerabia, pisze odpowiedziPoprawianie, Zapytaj

voxtral-mini-tts-3-0Czyta tekst na głos, gotowym głosem albo kopią twojegoCzytanie na głos

voxtral-mini-2602Sprawdza, czy krótkie nagranie naprawdę zawierało mowę, słucha go ponownie, gdy padło samo imię, i ustala czas każdego słowa czytanego w ListenDyktowanie, Listen

voxtral-small-2507Słucha, jak wymawiasz słowo, którego go uczyszSłownik

mistral-ocr-4-1Czyta tekst ze zeskanowanego PDF-a lub zdjęciaListen

DyktowaniePrzytrzymaj klawisz, mów, a słowa pojawiają się tam, gdzie jest kursorVoxtralMedium

PoprawianieZnikają „eee” i urwane początki zdań, a każda aplikacja może mieć własny styl pisaniaMedium

Pięćdziesiąt sześć językówMów w jednym języku, a pisz w innymVoxtralMedium

ZapytajPrzytrzymaj fn i Control, zadaj pytanie, a odpowiedź pojawi się tam, gdzie masz kursorMedium

Edycja głosowaZaznacz tekst, powiedz, co zmienić, a przeróbka go zastąpiVoxtralMedium

OdpowiedźPowiedz mniej więcej, co masz na myśli, a odpowiedź zostanie napisana za ciebieVoxtralMedium

Czytanie na głosZaznacz dowolny tekst, a przeczyta go prawdziwy głosVoxtral TTS

Twój własny głosCzytanie na głos kopią twojego własnego głosuVoxtral TTS

Powiedz to po swojemuPowiedz raz imię, a odtąd będzie odczytywane tak, jak ty je wymawiaszVoxtralVoxtral TTS

ListenOtwórz PDF, książkę lub zdjęcie i posłuchaj, słowo po słowieOCRVoxtral TTS

Trzydzieści siedem językówPosłuchaj dokumentu w innym językuMediumVoxtral TTS

Dlaczego tylko Mistral

Mogłem połączyć różne usługi: mowę od jednej firmy, pisanie od drugiej, głos od trzeciej. Tak buduje się większość takich aplikacji. Ja wybrałem jedną.

Zaufanie. tabi przechowuje jak najmniej. Nagranie jest usuwane, gdy staje się tekstem, twoja historia nigdy nie opuszcza twojego Maca i nie ma żadnych kont. Ale twój głos i tak musi dotrzeć do modelu, by stać się słowami. Prawdziwy wybór polegał więc na tym, której firmie powierzyć ten moment. Dla mnie to Mistral i myślę, że dla wielu osób też.

Europa. Mistral to francuska firma, która przechowuje dane w UE, zgodnie z europejskim prawem. To jedno z nielicznych laboratoriów AI tej wielkości poza Stanami Zjednoczonymi i Chinami, a wiele osób chce europejskiej opcji dla czegoś, z czym rozmawia każdego dnia.

Otwartość. Mistral publikuje swoje modele mowy, czego większość laboratoriów AI nie robi. Jego model transkrypcji w czasie rzeczywistym jest na licencji Apache 2.0 i każdy może go używać za darmo. Pierwszy model, który mówi, ukazał się na licencji niekomercyjnej, a tabi korzysta z jego głosów przez płatną usługę Mistral.

Cena. Ceny Mistral są na tyle niskie, że dyktowanie w tabi może być darmowe i nieograniczone, bez konta.

Dokąd trafia twój głos

Pisze, gdy jeszcze mówisz

tabi wysyła twój głos w miarę mówienia, a przy dłuższym nagraniu co mniej więcej czterdzieści gotowych słów trafia do uporządkowania, podczas gdy ty mówisz dalej. Kiedy puszczasz klawisz, większość tekstu jest już napisana.

tabi przy każdej pauzie wysyła twoje słowa do rozpoznania, zanim jeszcze skończysz mówić, a porządkowanie odbywa się po drodze, więc gdy puścisz klawisz, niewiele zostaje do zrobienia. Czas oczekiwania rośnie dużo wolniej niż ilość tego, co mówisz.

Co dalej

tabi działa na razie na Macu. Następny będzie Windows, potem iPhone, a potem Android. Z każdą wersją działa coraz lepiej, a o dużych zmianach napiszę tutaj.

Jeśli chcesz spróbować, tabi jest darmowe do pobrania na Maca.

Pytania

Jakich modeli AI używa tabi?

Sześć, wszystkie od Mistral. voxtral-small-transcribe-3-0 zamienia twoją mowę w tekst, fragment po fragmencie, gdy jeszcze mówisz, mistral-medium-2604 porządkuje wynik i odpowiada na twoje pytania, voxtral-mini-tts-3-0 czyta tekst na głos, a mistral-ocr-4-1 odczytuje zeskanowane PDF-y i zdjęcia dla Listen. voxtral-mini-2602 sprawdza, czy krótkie nagranie naprawdę zawierało mowę, słucha go drugi raz, żeby samo imię zostało zapisane w twoim alfabecie, i ustala czas każdego słowa czytanego w Listen, a voxtral-small-2507 słucha, jak wymawiasz słowo, które dodajesz do Słownika.

Dlaczego tabi używa Mistral?

Jego twórca, ambasador Mistral AI, od początku budował tabi na modelach głosowych Mistral. tabi zostaje przy Mistral ze względu na zaufanie: samo niczego nie przechowuje, a Mistral trzyma dane w UE zgodnie z europejskim prawem. Mistral otwarcie publikuje modele mowy, w tym model transkrypcji w czasie rzeczywistym na licencji Apache 2.0, a jego ceny pozwalają, by dyktowanie było darmowe i bez limitów.

Czy tabi zostało stworzone przez Mistral AI?

Nie. tabi zostało stworzone przez Nikhila Bhimę, ambasadora Mistral AI, jako jego własny projekt. Mistral go nie tworzy, nie jest jego właścicielem ani go nie popiera. tabi działa na modelach Mistral przez API Mistral.

Dokąd tabi wysyła twój głos?

Do Mistral i nigdzie indziej, przez mały serwer tabi, który przesyła dźwięk dalej i niczego nie zachowuje. Nagranie jest usuwane w chwili, gdy staje się tekstem, a twoja historia zostaje na twoim Macu. Szczegóły znajdziesz na stronie o prywatności.

Jak szybko działa dyktowanie w tabi?

Większość tekstu jest pisana, gdy jeszcze mówisz, więc pojawia się chwilę po puszczeniu klawisza, a dłuższa wypowiedź czeka tylko trochę dłużej.

Więcej na stronie pytań lub zobacz, co potrafi tabi.