Почему tabi работает на Mistral AI
История создания tabi и шесть моделей Mistral, которые её обеспечивают.
От Nikhil Bhima, основателя tabi и посланника Mistral AI
Как посланник Mistral AI, я хотел показать больше того, на что способна Mistral.
Большая часть того, что Mistral демонстрирует миру, предназначена для компаний: рабочие процессы, автоматизация, дообучение, открытые модели для разработчиков. Всё это полезно, но в основном невидимо для остальных. Поэтому я всё время возвращался к одному вопросу. Как бы выглядели эти модели в приложении, которым люди пользуются каждый день?
Изучая модели, я остановился на голосе. У Mistral есть модели, которые слушают вас во время разговора, пишут за вас и отвечают голосом, даже копируя ваш собственный. Каждая из них хороша сама по себе. Но я не видел приложений, которые объединяли бы всё это для обычных пользователей.
И я стал делать tabi, голосовое приложение для Mac. Планировал провести веселую неделю за разработкой. Затянуло, и с тех пор я улучшаю его каждый день.
Название происходит от tabby, полосатого кота. Я хотел имя, которое можно крикнуть, а не название программы, и «hey tabi» просто сработало.
Всё, что tabi делает с вашим голосом, передаётся только Mistral, и никому больше. tabi — мой собственный проект. Mistral не создаёт, не владеет и не поддерживает его.
Больше, чем диктовка
Я не начинал с списка функций. Сначала я изучил, что умеют модели, и на их основе создал функции. Поскольку Mistral могла слушать, писать и говорить, tabi стала больше, чем приложением для диктовки: она пишет за вас, переписывает выделенный текст, отвечает на вопросы и читает вслух.
voxtral-small-transcribe-3-0Слушает вас по частям, пока вы ещё говоритеДиктовка
mistral-medium-2604Преобразует речь в текст, отвечает, переписывает, отвечает за васОчистка, вопросыvoxtral-mini-tts-3-0Озвучивает текст заданным голосом или копией вашегоЧтение вслухvoxtral-mini-2602Проверяет, что в записи действительно была речь, слушает имя, сказанное отдельно, и синхронизирует слова в экране ListenДиктовка, Listenvoxtral-small-2507Запоминает, как вы произносите слово, которое его учитеСловарь
mistral-ocr-4-1Считывает текст с отсканированного PDF или фотоListenVoxtralMediumMediumVoxtralMediumMediumVoxtralMediumVoxtralMediumVoxtral TTSVoxtral TTSVoxtralVoxtral TTSOCRVoxtral TTSMediumVoxtral TTSПочему только Mistral
Мог бы смешать: распознавание от одной компании, текст от другой, голос от третьей. Так обычно делают. Я выбрал одну.
привычная схема
Три договора, три политики конфиденциальности, три места, где побывал ваш голос.
tabi
Одна лаборатория за каждым словом и одна политика конфиденциальности для чтения.
Доверьтесь. tabi хранит как можно меньше. Аудио удаляется, как только превращается в текст, история не покидает ваш Mac, и аккаунтов нет. Но ваш голос всё равно должен дойти до модели, чтобы стать словами. Поэтому реальный выбор: какой компании доверять в этот момент. Для меня это Mistral, и я думаю, что для многих людей тоже.
Европа. Mistral — французская компания, и она хранит данные в ЕС, в соответствии с европейским законодательством. Это одна из немногих лабораторий такого масштаба за пределами США и Китая, и многим хочется европейскую альтернативу для того, с кем они общаются каждый день.
Открытость. Mistral публикует свои речевые модели, чего не делают большинство лабораторий. Её модель для расшифровки в реальном времени распределена по лицензии Apache 2.0, и её может использовать кто угодно. Первая модель, которая отвечает голосом, была опубликована под некоммерческой лицензией, а tabi использует её голоса через платный сервис Mistral.
Цена. Цены Mistral достаточно низкие, чтобы диктовка в tabi могла быть бесплатной и безлимитной, без аккаунтов.
Куда на самом деле уходит ваш голос
Ваш Mac
Ваш голос уходит небольшими частями, пока вы ещё говорите. Копия хранится в одном приватном файле, чтобы при обрыве соединения ничего не потерялось, и удаляется, как только становится текстом. Ваша история остаётся здесь и никогда не загружается.
Небольшой сервер, который запускает tabi
Он передаёт аудио дальше и не хранит его. Он нужен, чтобы ключ tabi к Mistral не хранился внутри копии приложения на вашем Mac. Именно поэтому tabi не требует аккаунта: нечему логиниться.
Mistral, в ЕС
Здесь ваш голос превращается в текст, а текст — в речь. Mistral хранит обработанные данные в течение тридцати дней, чтобы выявлять злоупотребления, а затем удаляет их. Хотя Mistral называет свои новые голосовые модели предварительными, её условия позволяют использовать обработанные данные для обучения моделей.
Ваш курсор
Слова появляются в том приложении, где вы уже работаете. Никуда больше они не уходят.
Текст пишется, пока вы ещё говорите.
tabi отправляет ваш голос по мере произношения, а в длинных фразах каждые сорок слов отправляются на обработку, пока вы продолжаете. К тому времени, как вы отпустите клавишу, большая часть текста уже готова.
tabi отправляет ваши слова на распознавание при каждой паузе, пока вы говорите, и правка происходит по ходу дела, поэтому к моменту, как вы отпустите клавишу, остаётся сделать совсем немного. Ожидание растёт намного медленнее, чем количество сказанного.
Что дальше
Пока tabi доступно только на Mac. Следующий шаг — Windows, затем iPhone, затем Android. С каждым релизом приложение становится лучше, и я буду писать о важных изменениях здесь.
Если хотите попробовать, tabi можно скачать бесплатно для Mac.
Вопросы
Какие модели ИИ использует tabi?
Шесть моделей от Mistral. voxtral-small-transcribe-3-0 превращает вашу речь в текст по частям, пока вы ещё говорите, mistral-medium-2604 приводит результат в порядок и отвечает на вопросы, voxtral-mini-tts-3-0 читает текст вслух, а mistral-ocr-4-1 распознаёт отсканированные PDF и фото для экрана Listen. voxtral-mini-2602 проверяет, что в короткой записи действительно есть речь, прослушивает её ещё раз, чтобы имя, сказанное отдельно, осталось в вашем алфавите, и замеряет время для слов, которые читает Listen, а voxtral-small-2507 распознаёт, как вы произносите слово, которое добавляете в Словарь.
Почему tabi использует Mistral?
Его создатель, посол Mistral AI, построил tabi на голосовых моделях Mistral с самого начала. Оно остаётся на Mistral ради доверия: tabi ничего не хранит, а Mistral хранит данные в ЕС в соответствии с европейским законодательством. Компания публикует речевые модели открыто, модель транскрибирования в реальном времени — под лицензией Apache 2.0, а цены позволяют сделать диктовку бесплатной и безлимитной.
tabi сделан Mistral AI?
Нет. tabi создал Нихиль Бхима, посол Mistral AI, как свой собственный проект. Mistral не разрабатывает, не владеет и не поддерживает его. tabi работает на моделях Mistral через API Mistral.
Куда tabi отправляет ваш голос?
Только в Mistral, и никуда больше, через небольшой сервер, который запускает tabi и пересылает аудио, не сохраняя его. Запись удаляется, как только превращается в текст, а история остаётся на вашем Mac. Подробности на странице приватности.
Насколько быстрая диктовка в tabi?
Большая часть текста пишется, пока вы ещё говорите, поэтому он появляется через несколько секунд после того, как вы отпустите клавишу, а длинная фраза ждёт совсем немного дольше.
Больше на странице вопросов или посмотрите что умеет tabi.
Все записи