tabi Baixar

por que tabi usa Mistral AI

A história por trás do tabi e os seis modelos da Mistral que o movem.

Por Nikhil Bhima, fundador do tabi e Embaixador da Mistral AI

O ícone do app tabi e a logomarca ao lado do M pixelado da Mistral AI e do nome

Como Embaixador da Mistral AI, eu queria mostrar mais do que a Mistral pode fazer.

A maior parte do que a Mistral mostra ao mundo é feita para empresas: fluxos de trabalho, automação, ajuste fino, modelos abertos para desenvolvedores. Tudo útil, e em grande parte invisível para as outras pessoas. Então eu continuei voltando a uma pergunta. Como esses modelos seriam em um app que as pessoas usam todos os dias?

Analisando os modelos, eu acabei na voz. A Mistral tem modelos que ouvem você enquanto fala, escrevem por você e falam de volta, até em uma cópia da sua própria voz. Cada um era bom por si só. Eu não tinha visto ninguém juntar todos em um único app para o público geral.

Então comecei a construir o tabi, um app de voz para o Mac. Era para ser uma semana divertida de desenvolvimento. Eu me viciei e tenho melhorado todos os dias desde então.

O nome vem de tabby, o gato listrado. Eu queria um nome que você pudesse chamar, não um nome de software, e “hey tabi” simplesmene funcionou.

Tudo o que tabi faz com a sua voz é encaminhado para a Mistral, e para ninguém mais. tabi é o meu próprio projeto. A Mistral não constrói, possui ou endossa o tabi.

Mais que ditado

Eu não comecei com uma lista de recursos. Eu li o que os modelos podiam fazer primeiro e construí os recursos a partir disso. Como a Mistral podia ouvir, escrever e falar, tabi se tornou mais que um app de ditado: ele escreve por você, reescreve o que você seleciona, responde quando você pergunta e lê para você.

voxtral-small-transcribe-3-0Ouve você, parte por parte, enquanto você ainda está falandoDitado
mistral-medium-2604Transforma fala em texto, responde, reescreve, replicaLimpeza, pedidos
voxtral-mini-tts-3-0Lê texto em voz alta, com uma voz pré-definida ou uma cópia da suaLer em voz alta
voxtral-mini-2602Verifica se uma fala curta realmente continha voz, ouve de novo um nome dito sozinho e cronometra as palavras que o Listen lêDitado, Listen
voxtral-small-2507Ouve como você diz uma palavra que ensina a eleDicionário
mistral-ocr-4-1Lê as palavras de um PDF digitalizado ou uma fotoListen
Quatro dos seis são da mesma família. Voxtral ouve e fala, Medium faz a escrita e OCR lê a página.
DitadoSegure uma tecla, fale e as palavras aparecem onde está o cursorVoxtralMedium
LimpezaOs “ahs” e começos falsos somem, e cada app pode ter seu próprio estilo de escritaMedium
Cinquenta e seis idiomasFale em um idioma e escreva em outroVoxtralMedium
PergunteSegure fn e Control, pergunte e a resposta aparece onde está o cursorMedium
Editar por vozSelecione o texto, diga o que mudar e a reescrita substituiVoxtralMedium
ResponderDiga mais ou menos o que quer e a resposta é escrita para vocêVoxtralMedium
Ler em voz altaSelecione qualquer coisa e ouça em uma voz realVoxtral TTS
Sua própria vozLeia em voz alta com uma cópia da sua vozVoxtral TTS
Diga do seu jeitoDiga um nome uma vez e ele é lido em voz alta do jeito que você dizVoxtralVoxtral TTS
ListenAbra um PDF, um livro ou uma foto e ouça, palavra por palavraOCRVoxtral TTS
Trinta e sete idiomasOuça um documento em outro idiomaMediumVoxtral TTS
Todos os recursos do tabi. Nada nesta lista roda em outro lugar que não seja o Mistral.

Por que só o Mistral

Poderia ter misturado: fala de uma empresa, escrita de outra, voz de uma terceira. É assim que a maioria dos apps como esse é feito. Eu escolhi uma só.

o formato comum

fala para texto, uma empresa
a escrita, outra
a voz, uma terceira

Três contratos, três políticas de privacidade, três lugares onde sua voz já esteve.

tabi

Mistral, para todas as seis

Um laboratório por trás de cada palavra e uma política de privacidade para ler.

Confiança. tabi guarda o mínimo possível. A gravação é descartada assim que vira texto, seu histórico nunca sai do seu Mac e não há contas. Mas sua voz ainda precisa chegar a um modelo para virar palavras. Então a escolha real foi em qual empresa confiar nesse momento. Para mim, foi a Mistral, e acho que é para muita gente.

Europa. Mistral é uma empresa francesa e mantém os dados na UE, sob a lei europeia. É um dos poucos laboratórios do seu tamanho fora dos Estados Unidos e da China, e muita gente quer uma opção europeia para algo com que conversa todos os dias.

Aberto. Mistral publica seus modelos de fala, o que a maioria dos laboratórios não faz. Seu modelo de transcrição em tempo real é Apache 2.0, livre para qualquer um usar. O primeiro que fala de volta foi publicado sob uma licença não comercial, e tabi usa suas vozes por meio do serviço pago da Mistral.

Preço. Os preços da Mistral são baixos o suficiente para que a ditado no tabi possa ser gratuito e ilimitado, sem conta.

Para onde sua voz realmente vai

  1. Seu Mac

    Sua voz sai em pedaços pequenos enquanto você ainda está falando. Uma cópia espera em um arquivo privado, para que uma conexão perdida não a perca, e é apagada assim que vira texto. Seu histórico fica aqui e nunca é enviado.

  2. Um pequeno servidor que o tabi executa

    Ele repassa o áudio e não guarda nada. Existe para que a chave do tabi para a Mistral nunca fique dentro da cópia do app no seu Mac. Também é por isso que o tabi não precisa de conta: não há nada para fazer login.

  3. Mistral, na UE

    Sua voz vira texto aqui e o texto vira fala aqui. Mistral guarda o que processou por trinta dias para detectar abusos e depois apaga. Enquanto a Mistral chama seus modelos de voz mais novos de prévia, seus termos permitem que ela use o que processam para treinar seus modelos.

  4. Seu cursor

    As palavras aparecem no app que você já estava usando. Nada delas vai para outro lugar.

Ele escreve enquanto você ainda está falando

tabi envia sua voz conforme você fala, e em uma fala longa, a cada quarenta palavras mais ou menos finalizadas, elas são enviadas para serem organizadas enquanto você continua. Quando você solta a tecla, a maior parte do texto já está escrito.

tabi envia suas palavras para serem ouvidas a cada pausa enquanto você ainda está falando, e a organização acontece ao longo do caminho, então sobra pouco a fazer quando você solta a tecla. O tempo de espera cresce bem menos do que o que você diz.

O que vem por aí

tabi está no Mac por enquanto. Windows é o próximo, depois iPhone, depois Android. Ele melhora a cada versão, e eu vou escrever sobre as grandes mudanças aqui.

Se você quiser experimentar, tabi é grátis para baixar no Mac.

Perguntas

Quais modelos de IA o tabi usa?

Seis, todos da Mistral. voxtral-small-transcribe-3-0 transforma sua fala em texto, aos poucos, enquanto você ainda está falando, mistral-medium-2604 arruma o resultado e responde o que você pergunta, voxtral-mini-tts-3-0 lê texto em voz alta e mistral-ocr-4-1 lê PDFs escaneados e fotos para o Listen. voxtral-mini-2602 verifica se uma fala curta realmente continha voz, ouve uma segunda vez para que um nome dito sozinho fique nas suas próprias letras e cronometra as palavras que o Listen lê, e voxtral-small-2507 ouve como você diz uma palavra que ensina ao Dicionário.

Por que o tabi usa a Mistral?

Seu fundador, um Mistral AI Ambassador, construiu o tabi com os modelos de voz da Mistral desde o início. Ele continua na Mistral por confiança: o tabi não guarda nada, e a Mistral mantém os dados na UE sob a lei europeia. Ela publica modelos de fala abertamente, seu modelo de transcrição em tempo real sob Apache 2.0, e seus preços permitem que a ditado seja gratuito e ilimitado.

O tabi é feito pela Mistral AI?

Não. O tabi é criado por Nikhil Bhima, um Mistral AI Ambassador, como projeto próprio. A Mistral não constrói, possui ou endossa o tabi. Ele funciona com os modelos da Mistral por meio da API da Mistral.

Para onde o tabi envia sua voz?

Para a Mistral, e para lugar nenhum mais, por meio de um pequeno servidor que o tabi executa e que encaminha o áudio sem guardar nada. A gravação é descartada no momento em que vira texto, e seu histórico fica no seu Mac. A página de privacidade tem os detalhes.

Quão rápido é o ditado do tabi?

A maior parte do texto é escrita enquanto você ainda está falando, então ele aparece instantes depois que você solta a tecla, e uma fala longa espera apenas um pouco mais.

Mais na página de perguntas, ou veja o que o tabi faz.

Todos os posts