أثناء تفكيرها، يبدو الأمر وكأنها صمّاء وعمياء. لا تستطيع إدراك أي شيء آخر مما يحدث حولها. -
يُذهلني أن معظم الوكلاء الصوتيين ما زالوا يتخذون قراراتهم بناءً على نص مكتوب.
فكل مكالمة تُحوَّل من صوت إلى نص قبل أن تصل إلى "طبقة التفكير" لدى الوكيل. وهذا التحويل يفقدك الكثير؛ فلا ينجو منه سوى الكلمات. أما التردد، وصوت "أممم"، وانخفاض نبرة الصوت في نهاية الجملة، والضوضاء الخلفية، والالتفاتة الجانبية للتحدث مع شخص آخر: كل ذلك يختفي تمامًا.
وهكذا يبدأ الوكيل بالتخمين. فيقاطع الناس في منتصف أفكارهم، وينتظر طويلاً بعد انتهائهم من الكلام، ويفوته الغضب المتخفي خلف جملة مهذبة.
أعتقد أن هذه هي أكبر فجوة في الذكاء الاصطناعي الصوتي اليوم.
هذا المقال هو رؤيتي للوضع الراهن، ويستكشف الأسئلة التالية:
- هل يمكن للوكيل اتخاذ قرارات جيدة إذا لم يسمع المكالمة قط؟
- لماذا لم تنجح شبكة النماذج اللغوية الكبيرة (LLMs) في سد هذه الفجوة؟
- لماذا لا نستخدم نماذج تحويل الصوت إلى صوت مباشرة؟
- كيف ستبدو "طبقة التفكير" التي تستمع فعليًا؟
أين يقف السوق اليوم؟
https://x.com/jordan_dearsley/status/2085602471918064064
لسنوات، توقع الكثيرون أن يصبح الصوت هو الطريقة العالمية للتفاعل مع البرمجيات. وفي عام 2026، بدأ هذا التوقع يتحقق. فالذكاء الاصطناعي يدير مليارات المكالمات التجارية سنويًا، بفضل شركات مثل @ElevenLabs و @DeepgramAI، وبفضل أكثر من 800 منتج ذكاء اصطناعي صوتي.
ولكن كما هي الحال في المرحلة المبكرة لأي موجة تقنية، تسارع الانتشار متفوقًا على الجودة. فنحو شركة واحدة من كل خمس فقط راضية جدًا عن وكلائها العاملين في بيئة الإنتاج الفعلية. لذلك تلتزم معظم الوكلاء بما هو ميسور التكلفة وموثوق: مكالمات صادرة تتبع نصًا مكتوبًا، أو طلبات واردة بسيطة بما يكفي لتوقعها.
تعمل جميع الوكلاء الصوتيين تقريبًا بنظام متسلسل: تحويل الصوت إلى نص (STT)، ثم نموذج لغوي كبير (LLM)، ثم تحويل النص إلى صوت (TTS). يحب المهندسون هذا التصميم لأنه يتيح لهم اختيار أفضل نموذج لكل مهمة، وقراءة كل خطوة وسيطة، والحفاظ على تحكم دقيق فيما يقوله الوكيل ويفعله.
وعلى الرغم من أن تقنيات STT و TTS قد قطعت شوطًا طويلًا من حيث زمن الاستجابة والتكلفة، إلا أن الجزء الضعيف يبقى طبقة التفكير.
ما الذي يتخلص منه النص المكتوب
مهمة طبقة التفكير بسيطة: معرفة الحالة التي وصلت إليها المحادثة، واختيار الإجراء الذي ينقلها إلى الحالة الصحيحة التالية: التحدث، التنفيذ، التحويل، أو مواصلة الاستماع.
يعرف الكود الخاص بك دائمًا في أي خطوة من سير العمل توجد المكالمة. لكنه لا يعرف ما الذي يحدث مع الشخص على الطرف الآخر. وهذا هو الجزء الذي يجب على طبقة التفكير قراءته في كل دور:
- هل انتهى المستخدم من الكلام، أم أنه توقف مؤقتًا فقط؟
- ما اللغة التي يتحدث بها؟
- هل هو فضولي، أم غاضب بسبب خدمة سيئة؟
- هل هذا صوت تلفاز في الخلفية، أم أطفال يلعبون؟
- هل يتحدث إليّ، أم إلى شريكه؟
- ماذا يريد: استرداد أموال، حساب جديد، التحقق من حالة طلب؟
مقطعان صوتيان لهما نفس النص المكتوب: "نعم، تفضل". أحدهما موجّه للوكيل، والآخر لشخص آخر في الغرفة. الصوت وحده هو ما يفرّق بينهما.
الأسئلة بالخط العريض أعلاه تخبرنا كيف قيل الشيء، وليس فقط ماذا قيل. فالنص المكتوب يحتفظ بالكلمات ويتخلص من النبرة، والسرعة، والصمت، وأجواء المكان.
خذ السؤال الأول كمثال. نحن جميعًا ندرك أن الشخص على وشك إنهاء كلامه قبل أن يحل الصمت: تنخفض النبرة، وتتباطأ السرعة، ويخبو الصوت تدريجيًا. النماذج التي تسمع الصوت تتعلم استخدام هذه الإشارات تحديدًا (Ekstedt & Skantze, 2022). لكن النماذج التي تقرأ النصوص المكتوبة فقط لا تستطيع ذلك، لأن التنغيم لم يُدوَّن يومًا (Rajaa, 2026).
والأمر نفسه ينطبق على السؤال الخامس. عندما اختبرت Apple ما إذا كان الكلام موجهاً لمساعدها، فإن إضافة الصوت إلى النص المكتوب قللت الأخطاء بنسبة تصل إلى 39% مقارنة باستخدام النص وحده.
أفضل القرارات تستخدم الصوت والنص معًا. وللأسف، الوكلاء اليوم يحصلون على النص فقط.
النص المكتوب فقط: 74.8% من الأدوار تمت مقاطعتها مبكرًا. مع الصوت: 7.8%. Uniphore، arXiv 2609.11066.
لماذا تصطدم شبكة النماذج اللغوية الكبيرة بجدار
اختار المهندسون الحل الأسرع لبناء "طبقة التفكير". اندفعوا نحو أسهل طريق يحقق أقصى عائد فوري: استئجار أقوى نموذج لغوي كبير متاح في ذلك الوقت وتسليمه دليلاً ضخمًا واحدًا عما يجب فعله. هذا ما حدث طوال عامي 2023 و2024.
وهناك مشكلتان في هذا النهج.
- أولاً، أدركت الفرق أن النماذج اللغوية الكبيرة غير قابلة للتوقع وبطيئة، وأنها تفقد التعليمات في المطالبات الطويلة والمكتظة.
- ثانيًا، استدعاء واحد للنموذج اللغوي ليس كافيًا لفهم عبارة ما.
لذا كانت الخطوة المنطقية التالية هي إنشاء شبكة من النماذج اللغوية الأسرع والأرخص: كل منها لمهمة مختلفة، مع مُنسِّق يديرها جميعًا. كانت العروض التجريبية مذهلة. أُعجب المشترون وبدأت الإيرادات بالتدفق.
هذه هي البنية التقنية الرائدة اليوم.
لكن في بيئة الإنتاج الفعلية، أظهرت هذه البنية ثغرتين:
- كل جزء فيها لا يزال يقرأ نفس النص المكتوب. إضافة المزيد من النماذج اللغوية لن يعيد الوقفة أو النبرة التي تخلص منها النص مسبقًا.
- الأجزاء تنتظر بعضها البعض. كل استدعاء يضيف تأخيرًا. التعرف على الدور، واتخاذ القرار بشأن ما يجب فعله، وتنفيذ المهام يستهلك ما يصل إلى 80% من وقت الاستجابة.
وكيل صوتي متسلسل: صوت المتصل ينتقل إلى تحويل الصوت لنص، ثم عدة استدعاءات لنماذج لغوية كبيرة، ثم تحويل النص لصوت. النبرة، والتوقفات، والصوت، والخلفية، والشخص المخاطَب — كلها تُفقد عند مرحلة تحويل الصوت لنص.
قامت الصناعة بتقسيم طبقة التفكير حسب المهام. بينما كان ينبغي تقسيمها حسب المدخلات: القرارات التي تحتاج إشارات صوتية يجب أن تذهب إلى نموذج مصمم للصوت أصلاً، ويجب أن يعمل النموذج اللغوي الكبير على النص فقط.
لماذا لا نتجاوز النص المكتوب تمامًا؟
بدأت نماذج تحويل الصوت إلى صوت (STS) تُظهر علامات حياة حقيقية هذا العام. وجاذبيتها واضحة: زمن استجابة أقل، وفهم أفضل للمحادثة، وعمل هندسي أقل، عبر ضغط مراحل STT و LLM و TTS في نموذج واحد.
العيب الأكبر هو نقص التحكم والبيانات الموثوقة. لا يمكنك تحديد ما سيقوله نموذج STS بدقة، واستدعاءات الأدوات وتنفيذ الأكواد لا يأتيان بشكل طبيعي لنموذج يفكر بالصوت.
أعتقد أن تقنية STS لا تزال بعيدة عن الواقع على المدى القصير. وحتى لو تسارعت وتيرتها، فستناسب أولاً حالات الاستخدام الأبسط مثل الإجابة على الأسئلة الشائعة. سيبقى المطورون متمسكين بالنظام المتسلسل، جزئيًا بحكم القصور الذاتي، وغالبًا لأنهم يحتاجون إلى ما يوفره من تحكم ومرونة.
لهذا السبب أقوم ببناء نماذج تجعل النظام المتسلسل أسهل في التحكم، وقابلًا للتطبيق من حيث التكلفة وزمن الاستجابة معًا.
الطبقة التي تستمع
أؤمن بوجود طريقة للتحكم في الوكلاء وإزالة التعقيد الزائد: نماذج اتخاذ القرار.
انظر عن كثب إلى GPT-Live وستجد محرك قرار في جوهره. عدة مرات في الثانية، يقرر ما إذا كان سيتحدث، أو يواصل الاستماع، أو يتوقف مؤقتًا، أو يقاطع، أو يستدعي أداة. النظام المتسلسل يحتاج إلى نفس المحرك، ولكن كمكون يمكنك رؤيته والتحكم فيه.
يأخذ نموذج القرار الحالة الحالية ومجموعة محدودة من الخيارات (التحدث أو الانتظار، التصعيد أو المتابعة، أي نية) ويعيد خيارًا واحدًا مع احتمالية، أسرع وأرخص بكثير من نموذج لغوي كبير. وقد فاجأت @typesafeai الجميع بمدى جودة عمل هذا النهج على النصوص.
وأنا أقترح التالي:
- نموذج القرار يستمع إلى المكالمة ويتخذ القرارات المحدودة.
- برنامجك يحتفظ بحالة سير العمل، والصلاحيات، والأدوات.
- النموذج اللغوي الكبير يفعل ما يتقنه: كتابة الرد، بمجرد اتخاذ القرار بشأن ما يجب فعله.
يأخذ نموذج القرار الصوت، والمحادثات السابقة، ومجموعة من الخيارات، ويعيد احتمالية لكل خيار: refund_status 0.91، cancel_order 0.06، escalate 0.03 (مثال).
درجة الثقة هي ما يجعل هذا النظام ناجحًا. اسأل نموذجًا لغويًا كبيرًا عن مدى تأكده، وعادة سيجيب "متأكد جدًا"، حتى عندما يكون مخطئًا (Xiong et al., 2024). أما درجات المُصنِّف فيمكن ضبطها حتى تعني حقًا ما تقوله: عندما يقول المُصنِّف إنه متأكد، فهو كذلك غالبًا (Guo et al., 2017).
تُظهر تجاربنا المبكرة مع شركاء التصميم أن 30 إلى 40% مما يفعله النموذج اللغوي الكبير داخل الوكيل هو بالضبط هذا النوع من العمل: التوجيه، الفرز، الاختيار بين خيارات محددة.
لكن نماذج القرار اليوم تعمل على النصوص أو الصور. تشير تقارير TypeSafe AI إلى أن كل نموذج، بما في ذلك Jev، يتخذ قرارات أسوأ عند إضافة نمط بيانات آخر بجانب النص، ولا يمتلك Jev دعمًا موثقًا للصوت.
لا يمكنك ببساطة إلحاق الصوت بنموذج قرار نصي. بناء نموذج يستمع يتطلب ثلاثة أشياء:
- صوت محادثات حقيقي موسوم بالقرار الصحيح في كل لحظة
- نموذج يتخذ القرار باستخدام الصوت والنص معًا
- درجات ثقة تصمد أمام اللهجات المختلفة، والضوضاء، وخطوط الهاتف السيئة.
نموذج القرار المناسب للصوت هو الذي يستمع، أي طبقة قرار مصممة للصوت أصلاً.
ما الذي يتغير عندما تستطيع طبقة القرار السمع
يمكنك فتح حالات الاستخدام التالية باستخدام نموذج قرار مصمم للصوت:
- وكلاء يمكنك تصحيح أخطائها. تصمم العديد من الفرق الآن الوكيل كرسم بياني للحالات: الترحيب، التحقق من الهوية، معالجة الاسترداد، التصعيد. وكل دور يتلخص في قرارين: في أي حالة توجد المحادثة فعليًا، وإلى أي حالة يجب أن تنتقل تاليًا؟ أخطئ في أي منهما وسينحرف مسار المكالمة بأكملها.
مع وجود نموذج قرار في كل خطوة، يصبح كل انتقال وحدة صغيرة وقابلة للتفسير: ما الذي سُمع، ما الخيارات المتاحة، ما الذي اختير، وما مدى الثقة في ذلك. وعندما تسوء مكالمة، فلن تضطر لتصحيح مطالبة ضخمة. بل ستجد الترس الواحد الذي زلّ عن مكانه وتصلح ذلك الجزء فقط.
- إجابات جاهزة قبل أن ينهي المتصل كلامه. يكشف الناس عما يريدون قبل أن يكملوا جملتهم. عبارة "أتصل بخصوص الطلب الذي قدمته الأسبوع الماضي..." هي بالفعل طلب بحث عن طلب. الوكيل الذي يعتمد على النص أولاً ينتظر توقف المستخدم، ثم ينتظر النص النهائي، ويقرر أي أداة يستدعي، وعندها فقط يستدعيها. كل خطوة تضيف إلى فترة الصمت.
جدول زمني لمتصل يقول "أتصل بخصوص طلبي من الأسبوع الماضي". الوكيل المعتمد على النص أولاً ينتظر النهاية، ثم يحول لنص، ويقرر، ويستدعي get_order. أما الموجِّه المستمع فيطلق get_order في منتصف الجملة ويرد بمجرد توقف المتصل، مما يوفر الوقت.
نموذج القرار الذي يستمع يعمل كموجِّه يسبق المكالمة. يتعرف على النية في منتصف الجملة ويطلق عملية البحث بينما المستخدم لا يزال يتحدث، فتكون تفاصيل الطلب جاهزة في اللحظة التي يتوقف فيها.
أظهر باحثون في Meta و CMU العائد من ذلك: التنبؤ باستعلامات الأدوات بالتوازي مع كلام المستخدم قلل زمن استجابة الأدوات بنسبة 20% وجعل الإجابات أكثر دقة.
- وكلاء شخصيون يشعرونك بالفورية. الوكلاء الشخصيون يسمعون الأوامر عبر الملاحظات الصوتية طوال اليوم، في المطابخ، والسيارات، والشوارع المزدحمة. ومعظم ما يسمعونه يحتاج إلى قرار سريع واحد: هل هذه مهمة، أم تذكير، أم فكرة عابرة، أم أنها ليست موجهة لي أصلًا؟
إرسال كل عبارة إلى نموذج لغوي كبير رائد أمر بطيء ومكلف. نموذج صغير يستمع يتخذ هذا القرار في جزء بسيط من الوقت، ولا يوقظ النموذج اللغوي الكبير إلا عندما يكون هناك عمل حقيقي يجب إنجازه. يشعرك الوكيل بالفورية، لأن القرار الأول لا ينتظر النموذج الكبير أبدًا.
https://x.com/signulll/status/2077444321243013306
مستقبل الذكاء الاصطناعي الصوتي
كان من المفترض أن يكون الصوت الواجهة العالمية. لكنه اليوم لا يعمل إلا عندما تكون المحادثة قابلة للتوقع.
لكن المحادثة غير المكتوبة مسبقًا ليست بلا حدود. في كل دور، التحركات المنطقية قليلة: تحدث، انتظر، اسأل، نفّذ، حوّل. ما لا يستطيع أحد كتابته مسبقًا هو الترتيب. لست بحاجة لكتابة نص المحادثة لتتحكم فيها. أنت بحاجة لاتخاذ كل قرار بشكل جيد، بناءً على ما سُمع فعليًا.
هذا هو التحول الذي أراهن عليه: قرر أولاً، ثم اطلب. نموذج مستمع يتخذ القرارات، برنامجك يحتفظ بالحالة، والنموذج اللغوي الكبير يكتب الكلمات. كل قرار مرئي، سريع، وقابل للقياس. وعندما ينجح ذلك، سيتوقف الصوت عن كونه قناة للمكالمات البسيطة ليصبح الطريقة التي يتحدث بها الناس مع البرمجيات.
أنا أبني طبقة القرار هذه في @tazolabs، وسأشارك المزيد عن نماذجنا في الأيام القليلة القادمة.
إذا كنت تبني وكلاء صوتيين، فأحب أن أسمع عن القرارات التي يواجه وكيلك صعوبة فيها اليوم. وإذا وجدت نفسك متوافقًا مع هذه الرؤية، فتعال وابنِ معنا في Tazo Labs.
ما هو القرار الوحيد الذي يخطئ فيه وكيلك الصوتي في أغلب الأحيان؟
