كيف نتاكد من ان قرارات الذكاء الاصطناعي لا تسبب حوادث

1) مبادئ أساسية لازم تتحقّق

• نهج قائم على المخاطر عبر دورة الحياة: عرِّف المخاطر، حدد الحدود التشغيلية المسموح بها (ODD)، وحوِّلها لمتطلبات سلامة قابلة للاختبار ومؤشرات أداء وحدود إيقاف تلقائي. (NIST AI RMF 1.0، و ISO/IEC 23894 يرسموا المنهج العام لإدارة مخاطر نظم الذكاء الاصطناعي). 
• فصل الصلاحيات والاستقلالية: استقلال التحقق/سلامة التشغيل عن فرق التطوير (مبدأ “independence” معروف في قطاعات الطيران والطب). 
• سلامة وظيفية + سلامة القصد (SOTIF): عالج الأعطال + قصور الاستشعار/الفهم أو سوء الاستخدام المتوقع (خصوصًا للأنظمة المعتمدة على الإدراك). 

2) قبل النشر: تصميم وتحليل مخاطر “مضاد للحوادث”

• تحليل مخاطر مُحدَّث للأنظمة المعقّدة: فعّل STPA/STAMP لاستخراج قيود السلامة وسيناريوهات الخسائر الناتجة عن تفاعلات غير آمنة—even بدون أعطال صِرفة. استخدم المخرجات لتغذية متطلبات الحماية والرقابة. 

• تخصيص متطلبات السلامة رسميًا: لو النظام سلامته حرجة، طبّق معايير المجال:
  • صناعة العمليات: IEC 61508 (أساس) + IEC 61511 (SIS). 
  • سيارات: ISO 26262 (سلامة وظيفية) + ISO 21448 SOTIF (سلامة القصد). 
  • روبوتات: ISO 10218 (روبوتات صناعية) + ISO/TS 15066 (كوبوت). 
  • طيران: DO-178C (برمجيات) + DO-333 (طرق شكلية).
  • طبّي: ISO 14971 (إدارة مخاطر الأجهزة الطبية) + IEC 62304 (دورة حياة برمجيات الأجهزة الطبية). 
• ضمان جودة البيانات والنموذج: حوكمة للبيانات (مصادر، تحيّز، صلاحية ضمن ODD)، تقسيم دقيق لبيانات التحقق خارج التوزيع، تعقُّب النُّسخ (Data/Model lineage)، واشتراط مقاييس تغطي المخاطر (حساسية لحالات طرفية/نادرة). ينسجم مع وظائف “القياس والمراقبة” في NIST AI RMF
• التحقق/الاعتماد قبل التشغيل:
  • تغطية سيناريوهات قائمة على المخاطر (بما فيها حالات الحافة)، محاكاة/توائم رقمية، Hardware-in-the-Loop.
  • اختبارات عدم اليقين: تقدير عدم اليقين (ensembles/MC-dropout أو تنبؤ امتثالي) وتحديد عتبات آمنة للانتقال لوضع احتياطي.
  • طرق شكلية حيث ممكن: للتحقق من خواص أمان حرجة أو مراقبات السلامة؛ DO-333 يوضح كيف تُقبل الأدلة الشكلية في الطيران. 
• قضية سلامة Safety Case موثّقة: بنية أدلة تشرح لماذا النظام آمن بما يكفي للاستخدام المقصود—مرجعية قوية في UL 4600 للأنظمة الذاتية. 

3) أثناء التشغيل: منع الحوادث لحظيًا

• عمارة ضمان وقت التشغيل (Runtime Assurance / Simplex):
  • متحكّم تعلمي متقدّم (AC) للأداء + متحكّم آمن مُتحقَّق (BC) يحتفظ بالقدرة على الإمساك بالتحكّم تلقائيًا عند تخطّي حدود السلامة.
  • مراقِبات مستقلة لقواعد السلامة، لياقة المستشعرات، وحدود ODD، وعتبات عدم يقين.
  • إدارة أوضاع مُتحقَّقة للتبديل السريع والآمن. (أبحاث صناعية/أكاديمية موثّقة). 
• حواجز هندسية “حارسة”: Geofencing، محددات سرعة/عزم، Safe-stop، مناطق حظر، تخفيض تدريجي للمخاطر (Graceful Degradation). تتسق مع مبادئ IEC 61508 وسلامة الروبوتات ISO 10218.
• استقلالية وتنوّع: استشعار متنوّع (كاميرا/رادار/ليدار)، تعددية نماذج، قنوات قرار مستقلة، والعزل بين مسارات السلامة ومسارات الأداء. (مبدأ راسخ في معايير السلامة الوظيفية). 
• إنسان في الحلقة (عند اللزوم): واجهات تنبيه مفهومة، تحكم إشرافي، وزر إيقاف آمن. يعكس متطلبات قطاعات الروبوتات/المصانع. 

4) بعد النشر: مراقبة، تعلّم آمن، وتغيير مضبوط

• مراقبة سوقية/ميدانية Post-market مع خطّة رسمية: جمع بيانات الأداء والحوادث شبه-الواقعة، تحديثات آمنة، وسَحْب تدريجي إن لزم. “خطر مرتفع” بالاتحاد الأوروبي مُلزَم بخطة مراقبة سوقية وفق قانون الذكاء الاصطناعي الأوروبي (المادة 72). 
• تعلم مستمر لكن محكوم: وضع Shadow mode أولًا، تحقق مستقل، تقييم أثر السلامة، ثم إطلاق مرحلي (Canary) مع Kill-Switch وسياسة رجوع. يتوافق مع روح NIST AI RMF لإدارة تغير النُّسخ والمراقبة. 
• إدارة التغيير والتكوين: كل تغيير في البيانات/النموذج/المعمارية يمر بتقييم مخاطر مُعاد، وتحديث لمستندات السلامة (Safety Case). UL 4600 يؤكد تحديث القضية مع كل تعديل مؤثر. 

5) فحوص وأدوات عملية مانعة للحوادث

• كشف الانحراف عن التوزيع (OOD) وعدم اليقين: لا تقبل قرارات عالية المخاطرة مع عدم يقين مرتفع؛ بدّل لوضع آمن.
• اختبارات ضغطيّة مبنية على سيناريو + توليد سيناريوهات صناعي/محاكاة تغطي حالات نادرة.
• أمن سيبراني كشرط سلامة: هجمات تغيّر بيانات/نماذج قد تُسبّب حوادث—اربط ضوابط الأمن (مثل IEC 62443 لبيئات صناعية إن انطبق) بخطة السلامة.
• سجلات تدقيق دقيقة: لتمكين التتبع والتحقيق السريع في شبه الحوادث (يدعم المتطلبات التنظيمية مثل EU AI Act للأنظمة عالية الخطورة). 

6) أمثلة “قابلة للتطبيق فورًا” حسب المجال

• سيارات/روبوتات: حدّد ODD بدقة، نفّذ مراقِبات سرعة/قوة، افتح قنوات “تحقق واقعي” للكاميرات (اختبارات عمى/وهج) وفق SOTIF، وأغلق القرار عند ارتفاع عدم اليقين. 
• عمليات صناعية: خصّص وظائف حماية مستقلة (SIS) بمستوى سلامة مناسب (SIL)، واستخدم منطق ثلاثي/ثنائي للتوقف الآمن إذا خوارزمية التنبؤ تتجاوز حدود المخاطر. 
• طيران/طبّي: احجز الوظائف الحرجة في برمجيات معتمدة وفق DO-178C/IEC 62304، واستخدم الذكاء الاصطناعي في دور استشاري مع حدود فصل واضحة + أدلة تحقق رسمية حيث أمكن. 

7) قوائم تحقق مختصرة

قبل الإطلاق

1. تعريف ODD وحدود الإيقاف.
2. STPA + تحليل مخاطر المجال (HAZOP/What-If إن مناسب) → متطلبات سلامة. 
3. خطة تحقق تغطي الحالات النادرة + خطة أدلة (Safety Case/UL 4600 إن ذاتي). 
4. قياسات عدم اليقين + عتبات التحويل لوضع آمن.
5. مراجعة استقلالية السلامة، ونتائج اختبارات القَبول.

أثناء التشغيل

1. Runtime Assurance (Simplex): مراقِبات + متحكّم آمن احتياطي. 
2. مراقبة صحّة المستشعرات/النموذج + إنذارات مبكّرة.
3. سجلات قرار وتتبّع كامل.
4. مسار إرجاع سريع (Rollback/Kill-Switch).

بعد الإطلاق

1. خطة Post-Market Monitoring + مؤشرات قيادية (قرب-حادث، Overrides، معدلات OOD). 
2. إدارة تغيير مُنضبطة وتحديث قضية السلامة. 

مراجع أساسية للاعتماد والرجوع

• NIST AI RMF 1.0 (إطار إدارة مخاطر الذكاء الاصطناعي) + ملف تعريف التوليدي. 
• ISO/IEC 23894:2023 (إدارة مخاطر الذكاء الاصطناعي). 
• قانون الذكاء الاصطناعي الأوروبي 2024—التزامات الأنظمة عالية الخطورة، مراقبة ما بعد السوق (المادة 72). 
• IEC 61508 (سلامة وظيفية عامة) وIEC 61511 (SIS للعمليات). 
• ISO 26262 وISO 21448 (SOTIF) للسيارات. 
• ISO 10218 & ISO/TS 15066 لسلامة الروبوتات والكوبوت. 
• DO-178C/DO-333 (طيران—برمجيات وطرق شكلية). 
• ISO 14971 & IEC 62304 (سلامة برمجيات وأجهزة طبية). 
• STPA/STAMP (تحليل مخاطر نظم معقّدة). 
• UL 4600 (الإصدار 3)—قضية السلامة للأنظمة الذاتية.

دراسات حالة واقعية

• Uber Self-driving Car Accident (2018): مثال على فشل أنظمة الاستشعار والاعتماد الزائد على المشغل البشري.
• Tesla Autopilot Incidents: دروس في حدود ODD والاعتماد على سائقين غير مدرَّبين.
• Healthcare AI Misdiagnosis: خوارزميات أشعة طبية أظهرت انحيازًا أدى إلى تشخيصات خاطئة

المصادر

https://www.iso.org/standard/77304.html?utm

https://assets.iec.ch/public/acos/IEC%2061508%20%26%20Functional%20Safety-2022.pdf?2023040501=&utm_source=c

https://www.flighttestsafety.org/images/STPA_Handbook.pdf?utm_https://www.flighttestsafety.org/images/STPA_Handbook.pdf?utm