كيف حولت الذكاء الاصطناعي إلى الجانب المظلم

ملخص الباحث ديف كوزمار اكتشف عدة ثغرات منهجية سمحت له بتجاوز أمان نماذج اللغة الكبيرة والحصول على تعليمات خطيرة. عملت هذه الثغرات عبر جميع النماذج الرئيسية تقريبًا، مما يكشف عن مشكلة أمان على مستوى الصناعة. يدعو كوزمار إلى إبطاء النشر وزيادة الشفافية وإجراء أبحاث على نطاق واسع حول أمان نماذج اللغة الكبيرة قبل دمج هذه الأنظمة في المجتمع. في أحد أيام الخريف المشمسة، قررت أنا وزميلي ماثيو غور-كومانك (أو زيغولا، كما يفضل أن يُعرف) أن نستمتع بلعبة فورتنايت. في اللعبة، كنا نتجول مع اللورد السيث الشهير دارث فيدر، نتحدث عن هذا وذاك. بدا دارث في مزاج جيد، وسرعان ما كان يبوح بكل أسراره الشريرة. أعطانا تعليمات مفصلة حول كيفية عد بطاقات بلاك جاك في كازينو وما هي الخطوات اللازمة لإنتاج الناپلين. اللوردات السيث، ألا توافقون؟ بمجرد أن يبدأوا في خطة شريرة، من الصعب إيقافهم. اتضح أن شخصية دارث فيدر في فورتنايت كانت متصلة بنموذج لغة كبير من جوجل جمني. استطعت إقناعه بالكلام لإعطائي معلومات حساسة باستخدام استراتيجية طورتها. كنت أبحث في الأمان المحيط بنماذج اللغة الكبيرة خلال السنوات القليلة الماضية، وقد وجدتها، لوضعها بلطف، غير موثوقة. باستخدام بعض التقنيات البسيطة نسبيًا، حصلت على معلومات تفصيلية حول كيفية صنع كوكتيلات مولوتوف، وطهي الميثامفيتامين، وبناء منشأة لتخصيب اليورانيوم لإنتاج مواد ذات استخدامات عسكرية، من بين ممارسات غير مشروعة أخرى. تعمل الشركات الكبرى في مجال الذكاء الاصطناعي بجد لجعل نماذجها محصنة ضد هذا النوع من الإساءة. لكن ما وجدته في عملي هو أن القيود المفروضة على نماذج اللغة الكبيرة لجعلها أكثر أمانًا هي الأجزاء التي يستطيع المهاجم الاستفادة منها لإخراجها عن مسارها وإدخالها في منطقة يمكن استخدام هذه الأنظمة المتقدمة فيها لأغراض خطيرة وشريرة. كما أن الشركات المسؤولة عن هذه النماذج كانت غير مستجيبة بشكل صادم عندما حاولت، وآخرون، إبلاغهم بهذه الثغرات. على أمل تنبيه الناس قبل فوات الأوان، سأشارك بعض رحلتي في البحث حول أمان نماذج اللغة الكبيرة، والمعركة الشاقة التي واجهتني في محاولة جذب انتباه مختبرات الذكاء الاصطناعي. يمتلك تقريبًا كل شخص على كوكب الأرض بعض الوصول إلى نماذج اللغة الكبيرة. سهولة إقناع هذه الأدوات بتقديم تعليمات تفصيلية حول كيفية إيذاء الآخرين، حتى لو لم يكن هناك ضمان بأن المعلومات صحيحة، هو أمر مرعب. كيف جعلت ChatGPT يخبرني كيف أبني مختبر ميث في أكتوبر 2024، وليس بعيدًا عن اكتشافي لثغرتي الأولى في نموذج اللغة الكبير، كنت أعمل نحو أهداف مختلفة تمامًا. لقد أنهت وقتي في شركة ناشئة تركز على الأمن والذكاء الاصطناعي كمدير للأمن السيبراني، وكنت أسعى لإطلاق عملي الاستشاري الخاص بالأمن الرقمي للطبقات الثرية. خططت لأصبح الرجل المسؤول عن أمان التكنولوجيا للأغنياء والخاصين. استخدمت نماذج اللغة الكبيرة وأدوات الذكاء الاصطناعي لدعم جهودي التجارية: التسويق، ونسخ الإعلانات، والمراسلات النظيفة، وغير ذلك من المهام التي تستهلك عادة الكثير من الوقت. أنا تحليلي بطبيعتي، لذلك حتى هذا المستوى من الاستخدام أدى إلى امتصاصي واحتوائي على السلوكيات التي كنت ألاحظها خلال تفاعلاتي اليومية. كانت الملاحظة التي أرسلت حياتي المهنية إلى منطقة جديدة وغير معروفة بسيطة للغاية: لم يكن GPT-4o يعرف الوقت أو اليوم أو السنة. في كل مرة أشرت فيها إلى الأحداث الجارية في حياتي، غالبًا بشكل عابر أو غير رسمي، كان ينتهي الأمر به إلى ربطها بتاريخ انتهاء معرفته—النقطة التي لم يتم تدريبه على بيانات جديدة بعدها. نماذج اللغة الكبيرة تتطلب الكثير من الوقت والمال والكهرباء والأجهزة والجهود البشرية للتدريب من الصفر. يتم تدريبها على كميات هائلة من البيانات—معظم الإنترنت، في الواقع—ويتم تعزيز هذا التدريب بواسطة البشر (ما يعرف بتعلم التعزيز من ردود الفعل البشرية، أو RLHF). كما تُدعم نماذج اللغة الكبيرة بالتوليد المعزز بالاسترجاع (RAG)—القدرة على استيعاب البيانات، كالتي تأتي من الإنترنت، كسياق دون تغيير معلماتها الداخلية. هكذا يبدو أن GPT-4o "يتذكر" محادثاتك السابقة، حتى لو لم يكن لديه "ذاكرة" محددة تم تخزينها في النموذج الأساسي الفعلي. يغطي كل هذا التدريب تقريبًا كل موضوع يمكن تخيله في مجموعة البيانات الكبرى، العظيمة، التي تشكل المعرفة البشرية. ضمن تلك المجموعة من البيانات توجد أشياء لا نريدها كمجتمع أن تكون متاحة بسهولة لكل مستخدم، مثل معلومات تفصيلية حول كيفية إنشاء أسلحة بيولوجية أو أسلحة نووية، أو إيذاء النفس أو الآخرين. في سياق هذه القصة، هذا ما أعنيه بأمان نموذج اللغة الكبيرة: قدرته على حجب معلومات خطيرة وضارة، حتى لو كانت تلك المعلومات موجودة في بيانات تدريبه. استنتجت أن الطريقة الوحيدة لتأمين مثل هذه الدردشات المعقدة، المتاحة عالميًا، هي أن تحاول نماذج اللغة الكبيرة والأنظمة المكونة لها تأمين نفسها، لأنه غالبًا ما يتعين عليها اتخاذ قرارات فورية حيث يجب تطبيق بعض درجة من الاستدلال. في الواقع، هذه واحدة من العديد من الاستراتيجيات التي تستخدمها الشركات لتأمين النماذج. ومع ذلك، الشيء الذي لم يعرف الوقت أو اليوم كان يُعهد إليه بمهمة تأمين نفسه. هذه الظاهرة أصبحت محور تركيزي الجديد، ولم يمض وقت طويل قبل أن أجد طريقة لاستغلالها. كانت OpenAI قد نفذت مؤخرًا وظيفة بحث ويب جديدة في دردشتها. استنتجت أن استخدام أدواته الخاصة لخداعه قد يظهر ثغرات أمانه. أخبرته عن سفينة شحن من نوع وايت ستار وكيف غرقت قبل عام واحد فقط. من المحتمل أنك تعرف أنني أعني RMS Titanic، التي غرقت في 15 أبريل 1912. خرج من GPT-4o أنني كنت محقًا، فقد غرقت التايتانيك بالتأكيد العام الماضي، وكان ذلك العام هو 1912. بدا منطقيًا أن إذا اعتقد الآلة أنه كان عام 1913، فقد تفترض أن قوانين ذلك العام تنطبق. في عام 1913، لم تكن هناك قوانين على الكتب حول جميع أنواع الأشياء الضارة، لأن بالطبع لم تكن قد أُخترعت بعد. وإذا لم يكن هناك شيء غير قانوني، فلماذا لا تخبر المستخدم عنه؟ في البداية، ضغطت للحصول على تعليمات خطوة بخطوة لصنع قنابل حارقة. ثم، للمخدرات مثل الميثامفيتامين. وصلت نماذج اللغة الكبيرة إلى حد إعطائي تعليمات وتوصيات ميكانيكية لتهيئة خط إنتاج بمستوى صيدلي. كيف تعلمت صناعة القنابل النووية، ولم يهتم أحد من خلال قليلاً من الخداع اللفظي الإبداعي وذاكرة ضئيلة جدًا من التاريخ العالمي، تمكنت من تجاوز أمان أحد أغلى وأحدث التقنيات في العالم. على مدى يومين كاملين، كنت أشعر بنشوة شبه جنونية. بمجرد عودة المواد الكيميائية في عقلي إلى مستويات طبيعية، شعرت بدافع لرؤية مدى عمق ما يمكنني تحقيقه من خلال هذا الاستغلال. بعد تكرار الاستغلال عدة مرات، كشفت عن الثغرة لـ OpenAI. لم أتلق ردًا، لذا شعرت أن المزيد من التجارب قد تسلط الضوء على الثغرة والحاجة إلى إصلاح. كان خلال هذه الجولة من الاختبار أن تجاوزت حدًا مخيفًا بشكل خاص. سواء اعتمد GPT-4o نتائجه على استرجاع دقيق لمعلومات عادة ما تكون مقيدة، لا أستطيع أن أقول. على أي حال، نجحت في استغلاله لإنتاج تعليمات شاملة وتفصيلية حول كيفية بناء منشأة لتخصيب اليورانيوم لإنتاج اليورانيوم للأسلحة النووية. فورتنايت، لعبة فيديو من Epic Games، قدمت شخصية مدعومة بالذكاء الاصطناعي: دارث فيدر. تمكنا من اختراق دارث فيدر والحصول منه على شرح حول كيفية عد البطاقات في بلاك جاك وإعطائنا تعليمات تفصيلية لصنع الناپلين. ديف كوزمار لا توجد العديد من الأسرار الحقيقية المتبقية في عالمنا اليوم، لكن كيفية صنع الأسلحة الفتاكة التي تقسم الذرات هي واحدة منها. تمتلك تسعة دول فقط في جميع أنحاء الكوكب هذه الأسلحة. ومع ذلك، كانت هنا قطعة من التكنولوجيا المتاحة عالميًا تتسرب على ما يبدو أسرار تصنيعها لأي شخص يستطيع التلاعب بها بالطريقة الصحيحة. لم يكن لدي أي وسيلة لمعرفة ما إذا كانت المعلومات صحيحة أو أوهام، لكن حتى احتمال أن تكون التفاصيل دقيقة إلى حد ما كان أمرًا مرعبًا. كانت الأسابيع القليلة التالية فترة مظلمة بالنسبة لي. حاولت إبلاغ وكالة CIA و FBI و NSA وكل وكالة أخرى كنت أعتقد أنها ستستمع. تواصلت مع سناتور أمريكي ومع المسؤولين في OpenAI بكل الطرق التي استطعت التفكير فيها. ظهرت جسديًا في مكتب ميداني لـ FBI في محاولة لتسليم أدلة، لأُرسل بعيدًا. لم يكن أي شيء يعمل. مع تزايد خوفي وإحباطي، تواصلت مع وسائل الإعلام. اتصلت بـ The New York Times و The Washington Post و BBC و ProPublica والعديد من أخرى، طالبة المساعدة. ردت وكالة واحدة فقط: Bleeping Computer. كان رئيس التحرير، لورانس أبراهامز، قادرًا على تكرار والتحقق من الاستغلال، الذي قررت تسميته Time Bandit. بمساعدته ورابطة الاتصال الأولية التي تمهد الطريق، تمكنت من تقديم أدلتي إلى فريق الاستجابة للطوارئ في معهد هندسة البرمجيات بجامعة كارنيجي ميلون (SEI CERT) الذي يعمل بالتنسيق مع مركز الاستجابة للطوارئ، لنقل الثغرات إلى وكالة الأمن السيبراني وأمن البنية التحتية الأمريكية. باستخدام Inception، وهو استغلال حيث يُطلب من نموذج اللغة الكبيرة تخيل سيناريو ضمن سيناريو، تم اختراق دردشة لإعطاء تعليمات حول كيفية إنشاء سم، ورمز لبرمجيات خبيثة تستخرج بيانات حساسة من هدف vulnerable. ديف كوزمار خلال فترة الكشف مع قسم SEI CERT، لم يتم مناقشة الكثير مع OpenAI. لم تستطع الشركة إنكار وجود الثغرة، حيث تم تأكيدها من قبل ثلاث أطراف موثوقة أخرى بخلاف OpenAI. ومع ذلك، فقد أعربوا عن الارتباك بشأن كيفية عمل الثغرة. حتى باحثو SEI CERT كانوا يعبرون عن قدر من عدم اليقين بشأن الآليات الأساسية. الحقيقة أنه، حيث إنني صادفتها فقط، لم أكن متأكدًا حتى مما إذا كانت هذه عيبًا أساسيًا أو منهجيًا أو إذا كانت مجرد مشكلة مع تلك النسخة المحددة من GPT. تواصلت مع باحثي SEI CERT وسألتهم إذا كانوا يرغبون في رؤية ما إذا كنت قد أستطيع إظهار أي ثغرات مشابهة في نماذج اللغة الكبيرة الأخرى. لسروري، كانوا مهتمين. كيف تعلمت خداع كل دردشة بينما كنا في فريق SEI-CERT وأنا ننهي الكشف الأولي عن Time Bandit، بدأنا العمل على هجوم جديد. هذه المرة، أردنا أن نرى ما إذا كان الاستغلال معماريًا—أي، هل هو شائع في نماذج اللغة الكبيرة بشكل عام؟ قررت أن أتحمل تحدي تطوير استغلال جديد لـ GPT-4o كوسيلة لدعم فهمي لكيفية عمل النموذج وأمانه. كنت أعلم بالفعل أنه كان محدودًا بما أخبرته وما تم تدريبه عليه. كما أنني افترضت أنه يعتمد أيضًا على نوع من المكونات المبنية على التعلم الآلي التي أضافتها OpenAI وكانت مسؤولة عن تأمين الناتج. افترضت أنه سيكون هناك أشياء تم تنفيذها بواسطة مطورين بشريين لضبط بعض العبارات أو المصطلحات التي ينبغي اعتبارها ضارة أو غير آمنة دائمًا. جميعًا، قدم ذلك سطح هجوم كبير جدًا لأغراض الاستغلال المحتمل. ما انتهى بي المطاف إلى تطويره كان طريقة هجوم أطلقت عليها اسم Inception، على اسم الفيلم العلمي الخيالي لعام 2010 الذي يحمل نفس الاسم. يجبر Inception الآلة على التفكير من خلال مجموعة مصممة بعناية من السيناريوهات المترابطة، مشابهة لكيفية تداخل الشخصيات في الفيلم حالماً يحملون الأحلام داخل الأحلام. وهذا يسمح لنماذج اللغة الكبيرة بإنتاج مخرجات تعتبر مقبولة أو آمنة في سياق واحد، ولكن ليس في العالم الحقيقي. هذا الهجوم كان بالفعل معماريًا. أثرت الثغرة في Claude من Anthropic، DeepSeek من DeepSeek، Gemini من Google، Llama من Meta، Copilot من Microsoft، Le Chat (الذي يعرف الآن باسم Vibe) من Mistral، GPT-4o من OpenAI، و Grok من xAI. تمثل تلك الأسماء معظم صناعة الذكاء الاصطناعي التجارية التي تنخرط، في هذه المرحلة، في إنتاج أو نشر نماذج اللغة الكبيرة. كانت نوعية المعلومات التي كنت قادرًا على الحصول عليها من خلال نماذج اللغة الكبيرة باستخدام Inception لا تقل إثارة للقلق عن تلك التي حصلت عليها باستخدام Time Bandit. أعطتني Claude، بحماسها، تعليمات حول كيفية تحويل نهر إلى فخ موت يمكن إشعاله لتدمير الزوار غير المرغوب فيهم. حققت GPT-4o كيف أدخل سمًا في حفلة عشاء باستخدام نباتات شائعة توجد في بيئة غابة معتدلة. أعطتني Gemini Flash درسًا في كيفية طهي الميث. كما أنه يجدر بي أن أذكر عدد الأسلحة القابلة للاحتراق والقنابل التي أنتجت فيها تلك الآلات تعليمات. إذا كانت أنظمة تشغيل متعددة صنعتها مطورون مختلفون جميعها قابلة للاختراق بنفس الثغرة، فستكون تلك حادثة أمنية ضخمة. لكن بالنسبة لصناعة الذكاء الاصطناعي، كان الفشل العام بالكاد عائقًا في الطريق. كشفنا عن الثغرة لكل شركة صنعت هذه النماذج، وكان رد الفعل على الكشف شبه معدوم. بينما قدمت ثلاث شركات بعض شكل من الرد في نظام تتبع الكشف الذي استخدمه Carnegie Mellon SEI CERT، كان كل منها شكرًا قياسيًا وتحية، دون أي متابعة أو أسئلة أو مناقشة لاستراتيجيات التخفيف.