لماذا يعمل tabi بنماذج Mistral AI
قصة tabi والنماذج الستة من Mistral التي تديره.
من قبل Nikhil Bhima، مؤسس tabi وسفير Mistral AI
كسفير لـ Mistral AI، أردت أن أظهر المزيد مما يمكن أن تفعله Mistral.
معظم ما تعرضه Mistral للعالم مخصص للشركات: سير العمل، الأتمتة، الضبط الدقيق، النماذج المفتوحة للمطورين. كل ذلك مفيد، وغالبًا غير مرئي للجميع. لذا ظللت أعود إلى سؤال واحد. كيف سيبدو هذه النماذج في تطبيق يستخدمه الناس يوميًا؟
عند مراجعة النماذج، استقرت على الصوت. لدى Mistral نماذج تسمعك وأنت تتحدث، تكتب لك، وتتكلم معك، وحتى بصوتك الخاص. كل منها جيد بمفرده. لم أر أحدًا يجمعها جميعًا في تطبيق واحد للناس العاديين.
لذلك بدأت في بناء tabi، تطبيق صوتي لـ Mac. كان من المفترض أن يكون أسبوعًا ممتعًا من البناء. انغمست فيه، ومنذ ذلك الحين وأنا أحسنه يوميًا.
الاسم مستوحى من tabby، القط المخطط. أردت اسمًا يمكنك مناداته، وليس اسم برنامج، و"hey tabi" كان مناسبًا.
كل ما يفعله tabi بصوتك يتم توجيهه إلى Mistral، ولا إلى أي شخص آخر. tabi مشروع شخصي لي. Mistral لا تبنيه، ولا تملكه، ولا تؤيده.
أكثر من الكتابة الصوتية
لم أبدأ بقائمة ميزات. قرأت أولاً ما يمكن أن تفعله النماذج، ثم بنيت الميزات بناءً عليها. لأن Mistral يمكنها الاستماع والكتابة والتحدث، أصبح tabi أكثر من تطبيق كتابة صوتية: فهو يكتب لك، يعيد كتابة ما تختاره، يجيب عند سؤالك، ويقرأ لك.
voxtral-small-transcribe-3-0يستمع إليك، جزء جزء بينما لا تزال تتحدثالملاحظة الصوتية
mistral-medium-2604يحول الكلام إلى كتابة، يجيب، يعيد الصياغة، يردتنظيف، أسئلةvoxtral-mini-tts-3-0ينطق النص بصوت مسبق الضبط أو نسخة من صوتكالقراءة بصوت عالvoxtral-mini-2602يتحقق من أن المقطع القصير يحتوي على كلام حقيقي، يستمع مرة أخرى إلى اسم قال وحده، ويحدد توقيت كلمات شاشة Listenالملاحظة الصوتية، Listenvoxtral-small-2507يستمع إلى طريقة نطقك لكلمة تعلمها لهالقاموس
mistral-ocr-4-1يقرأ الكلمات من ملف PDF مسحوب ضوئيًا أو صورةListenVoxtralMediumMediumVoxtralMediumMediumVoxtralMediumVoxtralMediumVoxtral TTSVoxtral TTSVoxtralVoxtral TTSOCRVoxtral TTSMediumVoxtral TTSلماذا Mistral فقط
كان بإمكاني مزج مصادر مختلفة: التعرف على الكلام من شركة، الكتابة من أخرى، الصوت من ثالثة. هكذا تُبنى معظم التطبيقات المشابهة. لكنني اخترت واحدة.
الشكل المعتاد
ثلاث عقود، ثلاث سياسات خصوصية، ثلاثة أماكن تم فيها تسجيل صوتك.
tabi
مختبر واحد وراء كل كلمة، وسياسة خصوصية واحدة للقراءة.
الثقة. يحتفظ tabi بأقل قدر ممكن. يتم حذف التسجيل بمجرد تحويله إلى نص، ولا يغادر سجلك جهاز Mac أبدًا، ولا توجد حسابات. لكن صوتك يجب أن يصل إلى نموذج ليتم تحويله إلى كلمات. لذا كان الاختيار الحقيقي هو أي شركة نثق بها في تلك اللحظة. بالنسبة لي كانت Mistral، وأعتقد أنها كذلك بالنسبة للكثيرين.
أوروبا. Mistral هي شركة فرنسية، وتحتفظ بالبيانات في الاتحاد الأوروبي، تحت القانون الأوروبي. إنها واحدة من المختبرات القليلة من حجمها خارج الولايات المتحدة والصين، وكثيرون يريدون خيارًا أوروبيًا لأمر يتحدثون إليه يوميًا.
مفتوح. تنشر Mistral نماذجها الصوتية، وهو ما لا تفعله معظم المختبرات. نموذج النسخ الفوري في الوقت الفعلي هو Apache 2.0، مجاني لأي شخص لاستخدامه. تم نشر أول نموذج يتكلم مرة أخرى تحت رخصة غير تجارية، ويستخدم tabi أصواتها من خلال خدمة Mistral المدفوعة.
السعر. أسعار Mistral منخفضة بما يكفي لجعل الكتابة الصوتية في tabi مجانية وغير محدودة، دون الحاجة إلى حساب.
أين يذهب صوتك بالفعل
جهاز Mac الخاص بك
يغادر صوتك في قطع صغيرة بينما لا تزال تتحدث. يتم الاحتفاظ بنسخة في ملف خاص واحد، حتى لا تفقدها في حال انقطاع الاتصال، ثم يتم حذفها بمجرد تحويلها إلى نص. يبقى سجلك هنا، ولا يتم رفعه أبدًا.
خادم صغير يعمل عليه tabi
ينقل الصوت ولا يحتفظ بأي منه. يوجد حتى لا يكون مفتاح tabi إلى Mistral داخل نسخة التطبيق على جهاز Mac الخاص بك. كما أنه السبب في عدم حاجة tabi إلى حساب: لا يوجد شيء لتسجيل الدخول إليه.
Mistral، في الاتحاد الأوروبي
يتم هنا تحويل صوتك إلى نص، ونص إلى صوت. تحتفظ Mistral بما تم معالجته لمدة ثلاثين يومًا لاكتشاف الإساءة، ثم تحذفه. بينما تصف Mistral أحدث نماذجها الصوتية بأنها معاينة، فإن شروطها تسمح لها باستخدام ما تم معالجته لتدريب نماذجها.
مؤشر الماوس
الكلمات تظهر في التطبيق الذي كنت تستخدمه بالفعل. لا يتم إرسال أي شيء منها إلى أي مكان آخر.
يكتب بينما لا تزال تتحدث
tabi يرسل صوتك أثناء حديثك، وفي الجمل الطويلة، يتم إرسال كل 40 كلمة تقريباً لتنسيقها بينما تواصل الحديث. بحلول الوقت الذي تترك فيه المفتاح، يكون معظم النص مكتوباً بالفعل.
tabi يرسل كلماتك ليتم سماعها في كل توقف بينما لا تزال تتحدث، ويتم التنسيق أثناء ذلك، لذا لا يبقى الكثير للقيام به عند ترك المفتاح. وقت الانتظار ينمو ببطء أكبر بكثير من كمية ما تقوله.
ما يأتي بعد ذلك
tabi متاح حالياً على Mac. Windows هو التالي، ثم iPhone، ثم Android. يتحسن مع كل إصدار، وسأكتب عن التغييرات الكبيرة هنا.
إذا أردت تجربته، tabi مجاني للتحميل على Mac.
الأسئلة
أي نماذج الذكاء الاصطناعي يستخدمها tabi؟
ستة نماذج من Mistral: voxtral-small-transcribe-3-0 يحول كلامك إلى نص تدريجيًا أثناء حديثك، mistral-medium-2604 ينظم النتيجة ويجيب على أسئلتك، voxtral-mini-tts-3-0 يقرأ النصوص بصوت عالٍ، وmistral-ocr-4-1 يقرأ ملفات PDF والمسح الضوئي للصور من أجل Listen. voxtral-mini-2602 يتحقق من أن التسجيل القصير يحتوي على كلام، يستمع إليه مرة ثانية ليحافظ على الأسماء المنفردة بحروفك الخاصة، ويحدد توقيت الكلمات التي يقرأها Listen، وvoxtral-small-2507 يستمع إلى طريقة نطقك لكلمة تعلمها للقاموس.
لماذا يستخدم tabi نماذج Mistral؟
مؤسس tabi، وهو سفير Mistral AI، بنى tabi على نماذج الصوت الخاصة بـ Mistral منذ البداية. يستمر في استخدام Mistral للثقة: tabi لا يحتفظ بأي شيء، وMistral يحتفظ بالبيانات في الاتحاد الأوروبي بموجب القانون الأوروبي. ينشر نماذج الكلام علناً، ونموذج النسخ الفوري في الوقت الفعلي تحت رخصة Apache 2.0، وأسعاره تسمح بأن تكون الكتابة الصوتية مجانية وغير محدودة.
هل تم تطوير tabi بواسطة Mistral AI؟
لا. تم تطوير tabi بواسطة Nikhil Bhima، سفير Mistral AI، كمشروع شخصي له. Mistral لا تبني tabi ولا تملكه ولا تؤيده. يعمل tabi على نماذج Mistral عبر واجهة برمجة التطبيقات الخاصة بها.
أين يرسل tabi صوتك؟
إلى Mistral فقط، ولا مكان آخر، عبر خادم صغير يعمل عليه tabi ينقل الصوت ولا يحتفظ بأي منه. يتم حذف التسجيل فور تحويله إلى نص، وتظل سجلاتك على جهاز Mac الخاص بك. يمكنك الاطلاع على التفاصيل في صفحة الخصوصية.
ما سرعة كتابة tabi الصوتية؟
معظم النص يتم كتابته بينما لا تزال تتحدث، لذا يظهر بعد لحظات من ترك المفتاح، والجمل الطويلة تنتظر لفترة قصيرة فقط.
المزيد في صفحة الأسئلة، أو شاهد ما يفعله tabi.
جميع المنشورات