انجمن پزشکی آمریکا با انتشار چارچوبی جدید برای نظارت بر هوش مصنوعی عامل‌محور در نظام سلامت، بر ضرورت ارزیابی شواهد عملکردی، تعیین حدود اختیارات، نظارت مؤثر و مشخص شدن مسئولیت خطاهای احتمالی این فناوری در مراقبت از بیماران تأکید کرد.
به گزارش سلامت نیوز به نقل از healthcaredive، انجمن پزشکی آمریکا (AMA) چارچوب جدیدی برای نظارت بر استفاده ایمن و مؤثر از عامل‌های هوش مصنوعی در نظام سلامت منتشر کرده است. این چارچوب بر این اصل تأکید دارد که راهکارهای هوش مصنوعی عامل‌محور برای انجام وظایف بالینی باید پشتوانه شواهد معتبر داشته باشند و عملکردی باکیفیت و قابل‌اتکا ارائه دهند.
این سند چهار پرسش اساسی را مطرح می‌کند که به تعیین وظایف مجاز هوش مصنوعی، شرایط استفاده از آن و مسئولیت افراد و سازمان‌ها در قبال عملکرد این ابزارها مربوط می‌شود.
عامل‌های هوش مصنوعی می‌توانند به‌صورت خودکار وظایف پیچیده و چندمرحله‌ای را انجام دهند؛ قابلیت‌هایی که فراتر از توانایی معمول ابزارهای هوش مصنوعی مولد در تولید متن و محتواست. این فناوری‌ها به‌تدریج در مراقبت‌های بالینی، از جمله مستندسازی خودکار جلسات پزشکی، کمک به تشخیص بیماری‌ها و پایش وضعیت بیماران، مورد استفاده قرار می‌گیرند.
بااین‌حال، استقلال عملیاتی این ابزارها خطراتی نیز به همراه دارد. از آنجا که عامل‌های هوش مصنوعی می‌توانند بدون نظارت مستقیم انسان، چندین مرحله از یک فرایند را اجرا کنند، تصمیم نادرست یا سوگیرانه آن‌ها ممکن است پیش از مداخله پزشک، آسیب قابل‌توجهی به بیمار وارد کند.
چهار پرسش کلیدی برای نظارت بر عامل‌های هوش مصنوعی
انجمن پزشکی آمریکا در چارچوب جدید خود چهار پرسش را برای ارزیابی عامل‌های هوش مصنوعی مورد استفاده در فعالیت‌های بالینی مطرح کرده است:
۱. هوش مصنوعی چه وظیفه بالینی را انجام می‌دهد؟ باید مشخص باشد که ابزار برای چه کاری طراحی شده و دقیقاً چه مسئولیتی بر عهده دارد.
۲. چه شواهدی توانایی هوش مصنوعی را برای انجام این وظیفه تأیید می‌کند و در صورت شکست آن چه اتفاقی می‌افتد؟ ارزیابی شواهد عملکردی و پیش‌بینی پیامدهای خطا، بخش مهمی از فرایند نظارت است.
۳. هوش مصنوعی مجاز به انجام چه اقداماتی است و تحت چه شرایطی می‌تواند آن‌ها را انجام دهد؟ تعیین حدود اختیارات ابزار و شرایط استفاده از آن، برای کاهش خطرات احتمالی ضروری است.
۴. چه کسی مسئول خطرات و پیامدهای عملکرد هوش مصنوعی است؟ باید مسئولیت‌پذیری در قبال تصمیم‌ها و نتایج حاصل از عملکرد این ابزارها به‌روشنی مشخص شود.
در این چارچوب آمده است: «با پیشرفت قابلیت‌های هوش مصنوعی، شواهد، اختیارات، نظارت و پاسخ‌گویی باید همچنان با یکدیگر هماهنگ باشند تا در خدمت بهبود مراقبت از بیماران قرار گیرند.»
انجمن پزشکی آمریکا قصد دارد از این چارچوب در همکاری با سایر سازمان‌ها برای اطمینان از استفاده ایمن و مسئولانه از عامل‌های هوش مصنوعی در فعالیت‌های مرتبط با مراقبت از بیمار استفاده کند. این رویکرد همچنین بر نقش محوری پزشکان در توسعه و به‌کارگیری این فناوری‌ها تأکید دارد.
گسترش استفاده از هوش مصنوعی عامل‌محور و نگرانی‌های نظارتی
انتشار این چارچوب در شرایطی صورت می‌گیرد که استفاده از ابزارهای هوش مصنوعی عامل‌محور در بخش سلامت با سرعت در حال افزایش است.
بر اساس یک نظرسنجی اخیر از ۲۵۰ مدیر حوزه سلامت در آمریکا، حدود ۲۸ درصد پاسخ‌دهندگان اعلام کردند که سازمان آن‌ها استفاده از این ابزارها را آغاز کرده است. همچنین، ۴۴ درصد گفتند که در حال اجرای طرح‌های آزمایشی یا پروژه‌های اثبات مفهوم هستند.
بیشتر پاسخ‌دهندگان انتظار دارند هوش مصنوعی عامل‌محور تأثیری تحول‌آفرین بر فرایندهای کاری بالینی داشته باشد.
بااین‌حال، ۷۲ درصد از پاسخ‌دهندگان گزارش کردند که ابزارهای هوش مصنوعی عامل‌محور گاهی بدون تأیید واحد فناوری اطلاعات در سازمان‌هایشان پیاده‌سازی می‌شوند؛ موضوعی که از وجود شکاف در نظارت بر استفاده از این فناوری حکایت دارد.
نبود نظارت کافی می‌تواند چالش‌های مهمی برای مدیران نظام سلامت ایجاد کند. بیش از نیمی از پاسخ‌دهندگان، احتمال نقض الزامات قانونی و مقرراتی و دسترسی غیرمجاز به اطلاعات حفاظت‌شده سلامت را از نگرانی‌های اصلی خود عنوان کردند.
عقب‌ماندگی مقررات از سرعت پیشرفت هوش مصنوعی پزشکی
تحولات حوزه هوش مصنوعی سلامت با چنان سرعتی پیش می‌رود که قوانین و مقررات به‌سختی با آن همگام می‌شوند. در شرایطی که در سطح فدرال آمریکا هنوز مقررات جامع و مؤثری برای این فناوری شکل نگرفته است، گروه‌های تخصصی و صنفی صنعت سلامت تلاش می‌کنند با تدوین راهنماها و تعیین محدودیت‌های اجرایی، بخشی از خلأ نظارتی را پوشش دهند.
در سطح ایالت‌ها نیز مجموعه‌ای پراکنده از قوانین و مقررات در حال شکل‌گیری است. برخی ایالت‌ها محدودیت‌هایی برای استفاده از هوش مصنوعی در حوزه سلامت وضع کرده‌اند، درحالی‌که برخی دیگر اجرای طرح‌های آزمایشی مراقبت مبتنی بر هوش مصنوعی را دنبال می‌کنند.
بر اساس اطلاعات منتشرشده از سوی شرکت حقوقی و مشاوره‌ای منَت، در سال ۲۰۲۵ در ۴۷ ایالت آمریکا بیش از ۲۵۰ لایحه مرتبط با هوش مصنوعی و حوزه سلامت ارائه شد.
این تحولات نشان می‌دهد که با گسترش استفاده از هوش مصنوعی در تصمیم‌گیری‌ها و فرایندهای درمانی، تعیین حدود اختیارات این فناوری، نظارت بر عملکرد آن و مشخص کردن مسئولیت خطاهای احتمالی به یکی از مسائل مهم سیاست‌گذاری سلامت تبدیل شده است.