پیش‌نویس جدید دستورالعمل Annex 22 اتحادیه اروپا، الزامات تازه‌ای برای استفاده از هوش مصنوعی در فرایندهای حساس تولید دارو و سیستم‌های مدیریت کیفیت مطرح می‌کند.
هوش مصنوعی به‌تدریج در حال ورود به بخش‌های مختلف صنعت داروسازی است؛ از تحلیل داده‌های تولید و بررسی انحرافات گرفته تا ارزیابی ریسک، مدیریت مستندات و کمک به تصمیم‌گیری در سیستم‌های کیفیت.
استفاده از این فناوری می‌تواند سرعت تحلیل اطلاعات را افزایش دهد، حجم زیادی از داده‌ها را در زمان کوتاه بررسی کند و به شناسایی الگوهایی کمک کند که تشخیص آن‌ها برای نیروی انسانی دشوار است.
بااین‌حال، یک پرسش مهم همچنان مطرح است: اگر یک سیستم هوش مصنوعی در یک فرایند دارویی تصمیم اشتباهی بگیرد، چه کسی مسئول تشخیص و جلوگیری از پیامدهای آن خواهد بود؟
این موضوع به‌ویژه در فرایندهایی اهمیت دارد که مستقیماً با کیفیت محصول، ایمنی بیمار و صحت داده‌های تولید ارتباط دارند.
در همین راستا، پیش‌نویس پیوست ۲۲ دستورالعمل GMP اتحادیه اروپا (EU GMP Annex 22) با عنوان «هوش مصنوعی» به بررسی الزامات استفاده از این فناوری در محیط‌های تحت نظارت GMP پرداخته است. یکی از محورهای اصلی این پیش‌نویس، تعریف نقش انسان در نظارت بر عملکرد سیستم‌های هوش مصنوعی است.
یک مثال واقعی از خطای هوش مصنوعی در سیستم مدیریت کیفیت
یک شرکت داروسازی اروپایی از یک ابزار مبتنی بر هوش مصنوعی برای طبقه‌بندی انحرافات (Deviations) در فرایندهای تولید تحت الزامات GMP استفاده می‌کرد.
سیستم طراحی‌شده، شرح اولیه انحراف را دریافت می‌کرد، چند سؤال تکمیلی از ثبت‌کننده می‌پرسید و سپس بر اساس اطلاعات موجود، سطح ریسک انحراف را پیشنهاد می‌داد. همچنین محتوای مورد نیاز برای اقدامات اصلاحی و پیشگیرانه (CAPA) را آماده می‌کرد.
تمام خروجی‌ها پیش از تأیید نهایی به واحد کیفیت ارجاع داده می‌شدند.
در نگاه اول، عملکرد سیستم قابل‌قبول به نظر می‌رسید. پیشنهادهای آن منطقی بودند و کارشناسان واحد کیفیت نیز آن‌ها را بررسی و تأیید می‌کردند.
اما زمانی که نتایج چند ماه فعالیت سیستم به تفکیک سایت‌های تولیدی مورد بررسی قرار گرفت، یک مشکل مهم آشکار شد.
تقریباً تمام انحرافات ثبت‌شده در یکی از سایت‌ها در سطح ریسک پایین یا متوسط طبقه‌بندی شده بودند.
بررسی دقیق‌تر نشان داد که مدل هوش مصنوعی با داده‌های مربوط به آن سایت آموزش ندیده بود. اطلاعات آموزشی آن عمدتاً از یک سایت تولید محصولات استریل به دست آمده بود، درحالی‌که سایت موردنظر فعالیت بسته‌بندی داشت.
در نتیجه، سیستم به الگوها و واژه‌هایی وابسته شده بود که در داده‌های آموزشی خود می‌شناخت. برای مثال، زمانی که در شرح یک انحراف کلمه‌ای مانند «استریل» وجود نداشت، احتمال بیشتری داشت که آن رویداد را کم‌ریسک طبقه‌بندی کند.
این در حالی بود که برخی از انحرافات موردنظر واقعاً باید در سطح ریسک بالا قرار می‌گرفتند.
نکته مهم این بود که هیچ‌یک از خروجی‌های منفرد سیستم لزوماً غیرمنطقی به نظر نمی‌رسیدند. مشکل زمانی مشخص شد که صدها نتیجه در یک بازه زمانی طولانی کنار یکدیگر قرار گرفتند و روند کلی آن‌ها تحلیل شد.
این مثال نشان می‌دهد که بررسی تک‌تک خروجی‌های هوش مصنوعی لزوماً برای اطمینان از عملکرد صحیح یک سیستم کافی نیست. گاهی خطاهای ساختاری تنها از طریق تحلیل روندها و مقایسه نتایج در گروه‌های مختلف قابل‌شناسایی هستند.
پیش‌نویس Annex 22 چه انتظاری از نظارت انسانی دارد؟
کمیسیون اروپا و سازمان همکاری بازرسی دارویی (PIC/S) در سال ۲۰۲۵ پیش‌نویس جدید Annex 22 با عنوان «Artificial Intelligence» را برای دریافت نظرات عمومی منتشر کردند.
این پیش‌نویس در کنار نسخه‌های بازنگری‌شده فصل چهارم و پیوست یازدهم دستورالعمل GMP مطرح شد.
بر اساس اطلاعات منتشرشده در مقاله اصلی، آژانس دارویی اروپا (EMA) در فوریه ۲۰۲۶ اعلام کرده بود که حدود ۱۳۰۰ نظر درباره پیش‌نویس دریافت شده و انتظار می‌رفت نسخه نهایی تا پایان سال ۲۰۲۶ منتشر شود.
نکته مهم این است که در زمان انتشار مقاله مورد استناد، Annex 22 همچنان در مرحله پیش‌نویس مشورتی قرار داشت؛ بنابراین مفاد آن را نباید با الزامات نهایی و لازم‌الاجرای GMP یکسان دانست.
این پیش‌نویس به استفاده از مدل‌های هوش مصنوعی در کاربردهای حساس GMP می‌پردازد؛ کاربردهایی که می‌توانند مستقیماً بر ایمنی بیمار، کیفیت محصول یا یکپارچگی داده‌ها تأثیر بگذارند.
یکی از موضوعات مهم مطرح‌شده در این سند، تفاوت میان مدل‌های ایستا و مدل‌هایی است که در طول زمان تغییر می‌کنند یا خروجی‌های احتمالاتی و مولد ارائه می‌دهند.
در پیش‌نویس، استفاده از مدل‌های پویا و احتمالاتی، هوش مصنوعی مولد و مدل‌های زبانی بزرگ (LLM) در کاربردهای حساس GMP مجاز دانسته نشده است. در مقابل، برای استفاده از هوش مصنوعی مولد در فعالیت‌های غیرحساس، بر ضرورت بررسی خروجی‌ها توسط افراد واجد صلاحیت تأکید شده است.
این رویکرد با مفهوم Human-in-the-Loop شناخته می‌شود؛ به این معنا که انسان به‌عنوان بخشی از فرایند تصمیم‌گیری و کنترل، خروجی سیستم را بررسی می‌کند.
اما نکته مهم‌تر این است که صرف وجود یک تأیید انسانی، به معنای نظارت مؤثر نیست.
چرا تأیید انسانی به‌تنهایی کافی نیست؟
یکی از نکات قابل‌توجه پیش‌نویس Annex 22 این است که میان میزان اعتبارسنجی مدل و مسئولیت فرد ناظر ارتباط برقرار می‌کند.
بر اساس بندهای ۳.۳ و ۱۰.۵ پیش‌نویس، در شرایطی که میزان آزمون و ارزیابی مدل کاهش پیدا می‌کند و بخشی از اطمینان به عملکرد آن به نظارت اپراتور وابسته می‌شود، مسئولیت فرد ناظر باید مشخص و مستند باشد.
همچنین عملکرد مستمر فردی که خروجی‌ها را بررسی می‌کند باید مانند سایر فرایندهای دستی تحت نظارت قرار گیرد.
به عبارت دیگر، اگر قرار است بخشی از کنترل عملکرد سیستم هوش مصنوعی از طریق بررسی انسانی انجام شود، خود فرایند بررسی انسانی نیز باید قابل‌اعتماد، مستند و ارزیابی‌پذیر باشد.
در این رویکرد، چند موضوع اهمیت ویژه‌ای پیدا می‌کنند:
۱. مشخص‌بودن مسئولیت فرد ناظر
باید دقیقاً مشخص باشد که کدام تصمیم یا خروجی بر عهده فرد بررسی‌کننده است و چه مسئولیتی در قبال تأیید یا رد پیشنهاد سیستم دارد.
۲. آموزش و ارزیابی صلاحیت افراد
فردی که خروجی هوش مصنوعی را بررسی می‌کند باید دانش کافی درباره فرایند موردنظر داشته باشد تا بتواند پیشنهاد اشتباه را تشخیص دهد.
۳. امکان رد یا اصلاح پیشنهاد هوش مصنوعی
فرد ناظر باید اختیار واقعی برای رد خروجی سیستم داشته باشد. اگر مخالفت با پیشنهاد هوش مصنوعی مستلزم طی‌کردن فرایندهای اداری پیچیده باشد، احتمال پذیرش بی‌چون‌وچرای پیشنهادها افزایش پیدا می‌کند.
۴. اختصاص زمان کافی برای بررسی
نظارت انسانی نباید صرفاً به یک مرحله سریع تأیید تبدیل شود. اگر زمان بررسی هر پرونده از ابتدا بسیار محدود تعریف شده باشد، حتی دقیق‌ترین دستورالعمل‌ها نیز لزوماً به اجرای مؤثر منجر نمی‌شوند.
۵. ثبت و مستندسازی تصمیمات
دلایل رد پیشنهادهای هوش مصنوعی، موارد اختلاف‌نظر، ارجاع به سطوح بالاتر و نحوه تعیین تکلیف موارد نامشخص باید ثبت شوند.
اهمیت اعتبارسنجی و پایش مستمر سیستم‌های هوش مصنوعی
یکی از برداشت‌های مهم از پیش‌نویس Annex 22 این است که اعتبارسنجی اولیه یک سیستم هوش مصنوعی برای اطمینان از عملکرد صحیح آن در تمام طول عمر عملیاتی کافی نیست.
عملکرد یک مدل ممکن است به دلیل تغییر داده‌های ورودی، تغییر شرایط تولید یا استفاده از آن در محیطی متفاوت از محیط آموزشی، دچار افت شود.
برای مثال، مدلی که برای تحلیل انحرافات یک خط تولید طراحی شده است، لزوماً نمی‌تواند بدون ارزیابی مجدد در خط تولید دیگری با تجهیزات، مواد اولیه یا شرایط عملیاتی متفاوت مورد استفاده قرار گیرد.
بنابراین، لازم است محدوده کاربرد مدل به‌روشنی مشخص شود و هرگونه توسعه دامنه استفاده از آن، تحت فرایند مناسب مدیریت تغییر (Change Control) بررسی شود.
علاوه بر این، بررسی نتایج باید به‌صورت دوره‌ای و بر اساس گروه‌های مختلف داده انجام شود.
برای نمونه، در سیستم طبقه‌بندی انحرافات می‌توان نتایج را بر اساس موارد زیر تفکیک کرد:
- سایت تولیدی
- نوع تجهیزات
- نوع ماده اولیه
- نوع محصول
- نوع انحراف
- واحد یا بخش عملیاتی
این تفکیک کمک می‌کند خطاهایی شناسایی شوند که ممکن است در آمار کلی عملکرد سیستم پنهان باقی بمانند.
به‌عنوان مثال، ممکن است میانگین دقت یک مدل در کل سازمان مطلوب باشد، اما عملکرد آن در یک سایت یا گروه خاص از محصولات به‌طور قابل‌توجهی ضعیف‌تر باشد.
به همین دلیل، پایش روند عملکرد سیستم‌های هوش مصنوعی باید بخشی از برنامه مستمر تضمین کیفیت باشد.
نقش واحد تضمین کیفیت در استفاده از هوش مصنوعی
ورود هوش مصنوعی به محیط‌های تولید دارو، جایگاه واحد تضمین کیفیت (QA) را کم‌رنگ نمی‌کند؛ بلکه مسئولیت‌های جدیدی برای این واحد ایجاد می‌کند.
واحد QA باید اطمینان حاصل کند که استفاده از سیستم‌های هوش مصنوعی در چارچوب تعریف‌شده و تحت کنترل انجام می‌شود.
در این زمینه، چند اقدام اهمیت ویژه‌ای دارند:
- تعریف کاربرد مورد انتظار سیستم و محدوده مجاز استفاده از آن
- بررسی و تأیید معیارهای پذیرش پیش از انجام آزمون‌های اعتبارسنجی
- تعیین مسئولیت افراد دخیل در بررسی خروجی‌ها
- مستندسازی فرایند نظارت انسانی
- بررسی دوره‌ای عملکرد مدل و شناسایی تغییرات غیرعادی
- تعریف فرایند مدیریت تغییر برای توسعه یا اصلاح دامنه کاربرد سیستم
- بررسی و ثبت خطاها و موارد اختلاف میان خروجی سیستم و نظر کارشناسان
در واقع، اگر هوش مصنوعی در یک فرایند حساس GMP مورد استفاده قرار گیرد، خود این ابزار نیز باید در چارچوب سیستم کیفیت سازمان مدیریت شود.
یک نکته مهم از دیدگاه نهادهای نظارتی
موضوع مسئولیت انسانی در استفاده از هوش مصنوعی تنها به اتحادیه اروپا محدود نیست.
در آوریل ۲۰۲۶، سازمان غذا و داروی آمریکا (FDA) در نامه هشدار خود به یک شرکت داروسازی، به استفاده از هوش مصنوعی برای تهیه مشخصات دارویی، دستورالعمل‌ها و سوابق اصلی تولید و کنترل اشاره کرد.
در این نامه تأکید شده بود که خروجی‌ها و پیشنهادهای تولیدشده توسط عامل‌های هوش مصنوعی باید توسط نماینده مجاز واحد کیفیت شرکت بررسی و تأیید شوند.
این موضوع نشان می‌دهد که از دیدگاه نهادهای نظارتی، استفاده از ابزارهای هوش مصنوعی به معنای انتقال مسئولیت کیفیت و انطباق از سازمان به نرم‌افزار نیست.
مسئولیت نهایی همچنان بر عهده سازمان داروسازی و افراد دارای اختیارات مشخص در ساختار کیفیت آن باقی می‌ماند.
جمع‌بندی؛ هوش مصنوعی در صنعت داروسازی به نظارت هوشمند نیاز دارد
استفاده از هوش مصنوعی در صنعت داروسازی می‌تواند فرصت‌های قابل‌توجهی برای بهبود تحلیل داده‌ها، مدیریت انحرافات، شناسایی الگوهای غیرعادی و افزایش بهره‌وری ایجاد کند.
بااین‌حال، حساسیت فرایندهای دارویی ایجاب می‌کند که استفاده از این فناوری با رویکردی مبتنی بر مدیریت ریسک، اعتبارسنجی و نظارت مستمر همراه باشد.
پیش‌نویس Annex 22 اتحادیه اروپا نیز بر همین موضوع تأکید دارد: نظارت انسانی باید واقعی، معنادار و مستند باشد و نمی‌تواند جایگزین اعتبارسنجی ناکافی یک سیستم هوش مصنوعی شود.
برای شرکت‌های داروسازی، پیام اصلی روشن است؛ پیش از به‌کارگیری هوش مصنوعی در فرایندهای تحت نظارت GMP، باید مشخص باشد این سیستم دقیقاً چه کاری انجام می‌دهد، در چه محدوده‌ای قابل استفاده است، چه کسی مسئول بررسی خروجی‌های آن است و عملکرد آن چگونه در طول زمان کنترل خواهد شد.
در نهایت، آینده استفاده از هوش مصنوعی در صنعت داروسازی نه صرفاً به توانایی الگوریتم‌ها، بلکه به کیفیت طراحی فرایندهای نظارتی و سیستم‌های تضمین کیفیت وابسته خواهد بود.
منبع اصلی: Sachin Bhandari, TrustBridge Compliance – What Europe’s Draft Annex 22 Actually Asks Of Human Oversight Of AI
یادداشت تحریریه: این مطلب بر اساس مقاله منتشرشده درباره پیش‌نویس Annex 22 تهیه شده است. مطالب مربوط به این پیوست به نسخه پیش‌نویس مورد بررسی نویسنده اشاره دارند و نباید به‌عنوان متن نهایی و لازم‌الاجرای دستورالعمل GMP تلقی شوند.
