Что умеет tabi, кроме диктовки
Неделя моего реального использования и что происходит под капотом.
От Nikhil Bhima, основателя tabi
tabi — это голосовое приложение для Mac. Удерживайте fn, говорите, и слова появляются там, где курсор. Удерживайте Control, и оно ответит, перепишет или напишет ответ.
Его называют приложением для диктовки. Справедливо, с этого всё начинается. Вот всё остальное, для чего я его использую каждый день.
Неделя подсчётов
Большая часть моих текстов теперь начинается с разговора
tabi считает, что делает на моём Mac. Вот мои цифры за неделю с 20 сентября.
Голосовой ввод
Писать голосом
Удерживайте fn, говорите, отпустите. То, что я сказал, появляется так, будто я напечатал: «э-э» и повторения убраны, знаки препинания расставлены, список стал списком.
Большая часть работы происходит, пока я ещё говорю: короткое предложение появляется через секунды после того, как я отпустил клавишу, а даже минутная речь ждёт совсем недолго.
ну да четверг нет в пятницу подходит э я принесу сборку и мы можем вроде пройтись по ней вместе
Да, пятница подходит. Я принесу сборку, и мы можем пройтись по ней вместе.
Удерживайте fn и говорите
- Ваш голос
Voxtral Smallслушает, пока вы говорите
Mistral Mediumприводит в порядок по ходу- Ваш курсор
Стили
Каждое приложение пишет по-своему
Приложение в фокусе выбирает стиль. В письме приветствие и подпись на отдельных строках, в Slack знаки препинания легче, в сообщении остаются свободными. Стиль меняет только регистр, знаки препинания и оформление, но не ваши слова.
MailПривет, Sam,
В пятницу подходит. Я принесу сборку. До встречи.
Nikhil
SlackПривет, Сэм, подходит пятница, я принесу сборку, до встречи
Нихил
Сообщенияпривет сэм! подходит пятница, я принесу сборку, до встречи
нихил
Подсказки
Длинные подсказки, сказанные полностью
Хорошая подсказка для чата с ИИ требует полной картины: для кого, что у меня уже есть, что исключить. Раньше я сокращал, когда печатал. Теперь просто говорю.
Работает так же в чате браузера или в инструменте для кода в терминале, где имена файлов, флаги и пути выводятся точно так, как я их произнёс.
Я представляю tabi на митапе в субботу, десять минут, в основном разработчики. Помоги разделить на три части: что он делает, как он сделан и живая демонстрация. Оставь демонстрацию на конец и не упоминай цены.
удерживайте fn и говорите всё подряд
56 языков
Скажи на одном языке, напиши на другом
tabi слышит пятьдесят шесть языков и распознаёт тот, на который вы переключаетесь. Можно также указать, на каком языке писать, чтобы, например, сказать на хинди и отправить на английском.
Давайте начнём завтрашнюю встречу немного позже, около одиннадцати.
«कल की मीटिंग थोड़ा लेट, ग्यारह बजे के आसपास शुरू करते हैं»
- Хинди
- Voxtralслышит
- Mistral Mediumпишет на английском
- Русский
Спросить
Вопросы, переписывание, ответы
Удерживайте fn и Control, когда начинаете запись, и она превращается в запрос на любом языке. Что произойдёт дальше, зависит от экрана: если ничего не выделено, tabi ответит; если выделен текст, перепишет его; если попросить ответ, напишет его на сообщение перед вами.
«как сказать до четверга на французском»
À jeudi !
Спросить
Ответ появляется там, где курсор, или в небольшом окне над значком tabi, если некуда вводить.
в общем, дело в том, что релиз будет немного позже, потому что часть с PDF нужно протестировать
«сделай короче»
Переписать
«Релиз задерживается: часть с PDF нужно протестировать». Заменяет выбранный текст.
мы всё ещё встречаемся в пятницу на демо?
Да, всё ещё в пятницу. Не могли бы вы скинуть ссылку на комнату?
«скажи да, попроси ссылку»
Ответить
Говорю примерно то, что имею в виду, и ответ пишется в поле.
- fn + Control
- Voxtral Smallслышит запрос
- Mistral Mediumделает то, что вы просили
- Ваш курсор
Читать вслух
Слушать вместо чтения
Выделите что угодно и нажмите ⌃⌘R. Настоящий голос начинает читать почти сразу в небольшом плеере, который можно поставить на паузу, пропустить или ускорить.
Я использую это, чтобы проверить, что написал. Мои уши замечают корявую фразу, которую пропускают глаза. Может даже читать голосом, похожим на мой.
Спасибо за замечания по презентации. Я переместил слайд с ценами в конец и убрал второй демо-ролик, так что теперь всё укладывается чуть меньше чем в десять минут.
- Выделенный текст
- Voxtral TTSозвучивает по мере потока
- Плеер
Listen
PDF, книги и фото, прочитанные вам
Listen — это страница в tabi для работы с длинными текстами. Я открываю PDF, файл Word, EPUB или фото страницы, и приложение читает его, выделяя каждое слово по мере произношения. Страница следует за голосом.
Может прочитать всё целиком на одном из 37 языков или сохранить как аудио для прогулки.
Глава 3. Гавань
Утром в гавани было тихо. Рыбацкие лодки низко сидели на воде, сети уже сложены. На набережной никто не был в спешке, а чайки безраздельно владели ступенями.
14- PDF или фото
Mistral OCRтолько для сканов- Mistral Mediumдля перевода
- Voxtral TTSозвучивает текст
Как это работает
Четыре дороги, все через Mistral
Всё, что описано выше, — это один из четырёх путей, и каждая остановка на них — модель Mistral.
- Голос
- Voxtral
- Medium
- Курсор
- Голос
- Voxtral
- Medium
- Ответ
- Текст
- Voxtral TTS
- Голос
- Файл
- OCR
- Medium
- Voxtral TTS
Почему это возможно
Одна лаборатория, которая слышит, пишет, говорит и читает
tabi может столько, потому что у Mistral уже были все нужные части. Voxtral слышит и говорит, Medium пишет, OCR читает страницы. Когда я захотел, чтобы tabi читала отсканированные PDF, OCR уже был на том же аккаунте, под тем же ключом, под той же политикой конфиденциальности. Не нужно добавлять новую компанию, не нужно отправлять слова в новое место.
Ваш голос отправляется только в одну компанию, а запись удаляется, как только становится текстом. Подробнее в почему tabi работает на Mistral.
Вопросы
tabi — это только приложение для диктовки?
Нет. Начинается с диктовки: удерживайте fn, говорите, и слова появляются там, где курсор, в любом приложении Mac. Та же клавиша отвечает на вопросы, переписывает выделенный текст и пишет ответы, если удерживать её вместе с Control, а tabi читает вслух текст, PDF, книги и фото.
Что я могу попросить tabi сделать?
Удерживайте fn и Control, когда начинаете запись на любом языке, и она превращается в запрос. Если ничего не выделено, tabi ответит в месте курсора. Если выделен текст, перепишет его так, как вы просили. Если попросить ответить, напишет ответ на выбранное сообщение или в чат перед вами.
tabi может озвучивать текст на Mac?
да. выделите текст в любом приложении и нажмите ⌃⌘R, и естественный голос начнёт читать почти сразу. для длинных текстов Listen читает PDF, файлы Word, EPUB и фотографии страниц, подсвечивая каждое слово по мере чтения, на 37 языках.
в каких приложениях работает tabi?
в любых приложениях Mac, где можно печатать: почта, чаты, заметки, документы, браузер и терминал. у каждого приложения может быть свой стиль письма, чтобы письмо выглядело как письмо, а сообщение в Slack оставалось лёгким.
на каком ИИ работает tabi?
только на Mistral AI. Voxtral слушает и читает вслух, Mistral Medium пишет, а Mistral OCR читает отсканированные страницы. Mistral не создаёт, не владеет и не продвигает tabi.
Больше на странице вопросов или посмотрите что умеет tabi.