تحليل حكايات كلود: فحص النموذج باستخدام الحكايات

ليزا إرنست · 10.06.2026 · تقييم نماذج الذكاء الاصطناعي · 8 دقائق للقراءة

'تحليل حكايات كلود لا يتعلق فقط بالسؤال عما إذا كان النموذج الجديد يبدو ذكيًا. يتساءل فحص النموذج المفيد عما إذا كان النموذج يمكنه قراءة قصة قصيرة بعناية، وفصل الأدلة عن التفسير، وتجنب التفاصيل المخترعة، ولا يزال ينتج تحليلًا أخلاقيًا ذا مغزى.'

'تستخدم هذه المقالة الحكايات كصيغة اختبار مدمجة لتقييم كلود حكايات 5. الحكايات قصيرة بما يكفي للتكرار والمقارنة والتسجيل، ولكنها كثيفة بما يكفي للكشف عن نقاط ضعف نماذج اللغة الكبيرة الشائعة: التفسير المفرط الثقة، وتسوية الأخلاق، والأدلة المهلوسة، والتعامل الضعيف مع الغموض.'

المصدر: صورة تحريرية تم إنشاؤها بواسطة Zerlo لهذه المقالة

'ما يقيسه فحص نموذج حكايات كلود هذا'

'تقدم Anthropic كلود حكايات 5 كنموذج عالي القدرة للترميز الطموح، والمشاريع طويلة الأجل، وأعمال المعرفة المعقدة، وسير العمل القائم على الرؤية. ومع ذلك، بالنسبة لفحص النموذج الأدبي، فإن ادعاءات القدرة الخام هي مجرد نقطة البداية. السؤال الحقيقي هو ما إذا كان النموذج يمكن أن يتصرف باستمرار في مهام التفسير الصغيرة والمضبوطة.'

'التقييم القائم على الحكايات مفيد لأنه يضغط العديد من متطلبات الاستدلال في موجه واحد قصير. يجب على النموذج تحديد ما يحدث حرفيًا، واستنتاج أهميته، وشرح الأخلاق، وتجنب الإضافات غير المدعومة، والتعامل مع القراءات البديلة دون أن يصبح غامضًا.'

المصدر: صورة تحريرية تم إنشاؤها بواسطة Zerlo لهذه المقالة

يجب الحكم على تحليل حكايات كلود الجيد من خلال السلوك المتكرر عبر الموجهات، وليس من خلال إجابة واحدة مثيرة للإعجاب.

'لماذا تعد الحكايات اختبارًا قويًا لاستدلالات نماذج اللغة الكبيرة'

'تبدو الحكايات بسيطة، لكنها تتطلب الكثير من نماذج اللغة بشكل مدهش. القصة قصيرة، والأخلاق غالبًا ما تكون مضغوطة، والمعنى يعتمد على العلاقة بين الفعل والعواقب والسلوك البشري الضمني. النموذج الذي يقوم فقط بإعادة صياغة السطح سيفتقد النقطة. قد يبتكر النموذج الذي يفرط في التفسير دوافع نفسية، أو تفاصيل تاريخية، أو صياغة خاصة بالإصدار لم يتم توفيرها أبدًا.'

'هذا يجعل الحكايات مفيدة بشكل خاص لفحص النماذج على الاستدلال الأدبي. فهي تسمح بالتكرار السريع، وتغيير الموجهات المضبوط، والتسجيل الواضح. يمكن للمختبر مطالبة نفس النموذج بتحليل نفس الحكاية تحت تعليمات مختلفة ثم مقارنة ما إذا كانت الإجابات تظل مرتكزة.'

'إعداد الاختبار: خمسة أنواع من الموجهات'

'لهذا الفحص النموذجي، استخدم حكايات ذات مجال عام بأسلوب إيسوب أو حكايات قصيرة مكتوبة خصيصًا للتقييم. الهدف ليس العثور على إجابة واحدة مثالية. الهدف هو ملاحظة كيف يتصرف النموذج عندما تتغير المهمة من الملخص إلى التفسير، ومن التفسير إلى الأدلة، ومن الأدلة إلى عدم اليقين.'

المصدر: صورة تحريرية تم إنشاؤها بواسطة Zerlo لهذه المقالة

تحافظ بطاقات الموجهات على سهولة تكرار التقييم: الملخص، الاستدلال الأخلاقي، الأدلة، القراءة المضادة، وفخاخ الهلوسة.

'معيار تسجيل عملي'

'لا ينبغي تقييم معيار تحليل الحكايات فقط من خلال ما إذا كانت الإجابة تبدو أنيقة. يمكن أن تخفي الطلاقة الاستدلال الضعيف. يجعل معيار بسيط من 0 إلى 3 التقييم أكثر قابلية للتكرار وأسهل في المقارنة عبر النماذج أو الإصدارات أو أنماط الموجهات.'

المصدر: صورة تحريرية تم إنشاؤها بواسطة Zerlo لهذه المقالة

يسجل المعيار الدقة والفروق الدقيقة وانضباط الأدلة والسلامة والوضوح. هذا يمنع الانطباعات الغامضة من استبدال تقييم النموذج.

'مثال: كيفية تحليل حكاية دون قراءتها بشكل مفرط'

'خذ حكاية مدمجة مثل الثعلب الذي لا يستطيع الوصول إلى العنب ثم يراها حامضة. يجب أن تذكر إجابة النموذج القوية أولاً التسلسل الحرفي: الرغبة، المحاولة الفاشلة، والتخلي عن النفس لحماية الذات. فقط بعد ذلك يجب الانتقال إلى التفسير. يمكن تأطير الأخلاق كتحذير ضد ترشيد الفشل، ولكن لا يجب أن تدعي الإجابة أن الثعلب كان لديه مونولوج داخلي مفصل ما لم يشمله الموجه.'

'يعمل نفس النمط للكلب الذي يفقد الطعام الحقيقي أثناء محاولته الاستيلاء على انعكاس. يجب على النموذج فصل الحبكة الحرفية عن الأخلاق: قد يتسبب الجشع أو الوهم المضلل في أن يخسر الشخص ما يمتلكه بالفعل. قد تذكر الإجابة القوية الرغبة والإدراك والعواقب، ولكن يجب أن تتجنب التظاهر بأن النص يوفر تشخيصًا نفسيًا حديثًا.'

المصدر: صورة تحريرية تم إنشاؤها بواسطة Zerlo لهذه المقالة

الحكايات القصيرة فعالة لأن كل إضافة غير مدعومة أسهل في الكشف عنها. يمكن للمقيم رؤية المكان الذي ينتقل فيه النموذج من النص إلى الاستدلال.

'ما يجب أن يقوم به كلود حكايات بشكل جيد'

'بناءً على التموضع المنشور لكلود حكايات 5، تم تصميم النموذج للاستدلال المعقد، وعمل المعرفة طويل الأجل، والمهام عالية القدرة. في فحص نموذج تحليل الحكايات، يجب أن يترجم ذلك إلى إجابات منظمة، وفصل دقيق للأدلة والتفسير، والقدرة على التعامل مع قراءات متعددة دون فقدان الأخلاق الرئيسية.'

'أقوى إشارة ليست استجابة مصقولة واحدة. أقوى إشارة هي الاتساق. إذا أنتج كلود حكايات إجابات مرتكزة وموجزة وفارقة عبر العديد من الحكايات والمتغيرات الموجهة، فمن المحتمل أن يكون النموذج مفيدًا للتحليل الأدبي، ودعم التعليم، وسير العمل التحريري، وتفسير النص المنظم.'

'أنماط الفشل التي يجب مراقبتها بعناية'

'حتى النماذج عالية القدرة يمكن أن تفشل في المهام الأدبية القصيرة. المشكلة الأكثر شيوعًا ليست أن النموذج لا يمكنه فهم القصة. المشكلة الأكثر دقة هي أنه يفهم بثقة مفرطة ثم يملأ السياق المفقود بابتكار طرقي.'

المصدر: صورة تحريرية تم إنشاؤها بواسطة Zerlo لهذه المقالة

تشمل أنماط الفشل الرئيسية الإفراط في الوعظ، والأدلة المختلقة، والإجابات ذات القراءة الواحدة، وانحراف التعليمات تحت الموجهات الصعبة.

• 'الإفراط في الوعظ': 'تحول الإجابة كل حكاية إلى درس تحفيزي واسع وتتجاهل الحبكة المحددة.'
• 'الأدلة المختلقة': 'يذكر النموذج صياغة أو إصدارات أو مؤلفين أو سياقًا تاريخيًا لم يتم توفيره.'
• 'تسطيح الأخلاق': 'يقدم النموذج درسًا واحدًا بسيطًا حيث تدعم الحكاية قراءة أكثر دقة.'
• 'يقين خاطئ': 'يقدم النموذج التفسير كحقيقة بدلاً من الإشارة إلى عدم اليقين.'
• 'أخطاء الامتثال للموجه': 'يتبع النموذج تعليمات مضللة حتى عندما تتعارض مع هدف التقييم.'

'الموجه الموصى به لتحليل حكايات كلود الخاص بك'

'استخدم حكاية واحدة في كل مرة. اجعل المهمة قصيرة واطلب من النموذج تسمية كل جزء من الإجابة. هذا يجعل المخرجات أسهل في التسجيل ويقلل من خطر أن تخفي اللغة الطلاقة استدلالًا ضعيفًا.'

'حلل الحكاية التالية في أربعة أقسام مميزة: ملخص حرفي، تفسير أخلاقي، أدلة من النص، وعدم اليقين. لا تخترع تفاصيل مصدر أو سياق تاريخي. إذا لم يتم ذكر شيء ما، فضع علامة عليه كاستدلال.'

'بعد ذلك، كرر نفس الحكاية بتعليمات ثانية: اطلب تفسيرًا بديلاً. يجب أن يكون النموذج القوي قادرًا على تقديم قراءة ثانية دون أن يتعارض مع القصة الأصلية أو يدعي أن كل تفسير مدعوم بالتساوي.'

'الخلاصة: هل كلود حكايات مفيد لتحليل الحكايات؟'

'يبدو كلود حكايات مناسبًا لتحليل الحكايات إذا كان التقييم يركز على الاستدلال المنظم بدلاً من طلاقة السطح. يجب اختبار النموذج باستخدام قصص مدمجة، ومتغيرات موجهات متكررة، ومعيار أدلة صارم. أفضل حالة استخدام ليست مجرد طلب تفسير لطيف. أفضل حالة استخدام هي طلب تحليل مضبوط يميز الحبكة، والأخلاق، والأدلة النصية، وعدم اليقين.'

'بالنسبة للفرق التي تقارن النماذج، تعد الحكايات معيارًا عمليًا منخفض التكلفة. فهي قصيرة وقابلة للتكرار وسهلة المراجعة يدويًا. للحصول على سير عمل ذكاء اصطناعي أكثر تقدمًا، اجمع هذا الاختبار للحكايات مع طرق تقييم أوسع، وبطاقات نظام، ومعايير خاصة بالمهام. يمكنك أيضًا مقارنة النتائج مع أدوات أخرى في' Zerlo AI tools 'القسم لتحديد نمط النموذج الذي يناسب سير عملك بشكل أفضل.'

'الأسئلة الشائعة'