شکایت از OpenAI به علت توصیه های پزشکی نادرست ChatGPT که نزدیک بود باعث مرگ مردی در فلوریدا گردد
به گزارش لنجان بلاگ، چند روز پیش خبری در رسانه های فناوری و پزشکی پیچید که بار دیگر زنگ خطر را درباره تکیه بیش از حد به هوش مصنوعی به صدا درآورد. شاید تا حالا تصور می کردید که چت بات های هوشمند و مدل های زبانی مانند ChatGPT می توانند مثل یک دستیار همه چیزدان، حتی در مسائل مربوط به سلامتی و درمان به یاری ما بیایند و نقش یک مشاور امین را ایفا نمایند. اما در این پست با هم می بینیم که چطور اعتماد بی پایه به توصیه های درمانی هوش مصنوعی نزدیک بود زندگی یک فرد را به خاتمه برساند و کار را به دادگاه و شکایت رسمی بکشاند.
داستان از این قرار است که اسکات وینترز (Scott Winters)، کشیش سابق اهل فلوریدا، پس از تجربه بعضی علائم ناخوشایند جسمی به جای مراجعه فوری به مراکز درمانی، به سراغ ChatGPT رفت تا بفهمد دلیل اصلی مشکلش چیست. هوش مصنوعی با اطمینان خاطر علائم او را کم اهمیت جلوه داد و توصیه هایی کرد که در نهایت شرایط او را به شدت وخیم کرد.
حالا او از شرکت OpenAI و مدیرعامل آن، سام آلتمن (Sam Altman) در دادگاه عالی سانفرانسیسکو شکایت نموده است. در این مقاله قصد داریم جزییات این پرونده جنجالی را آنالیز کنیم و ببینیم چرا کارشناسان حوزه حقوق و سلامت معتقدند خط قرمزهای ابزارهای هوش مصنوعی در حوزه درمان باید بسیار جدی تر تعریف شوند.
ماجرای چت باتی که جای پزشک متخصص نشست
اسکات وینترز در طول سال گذشته بارها دچار سرگیجه های مداوم و افت و خیز ناگهانی فشار خون می شد. او برای درک بهتر شرایط جسمانی خود، دست به دامن مدل ChatGPT-4o شد و علائمش را به صورت دقیق برای این چت بات تشریح کرد. اما پاسخ های هوش مصنوعی نه تنها او را به سمت درمان درست هدایت نکرد، بلکه خریدار یک ریسک جانی بزرگ برای او شد.
بر اساس شکواییه تنظیم شده، ChatGPT این علائم را مواردی جزئی و کم اهمیت قلمداد نموده و به وینترز پیشنهاد داده بود که در خانه بماند و استراحت کند. چت بات حتی پا را فراتر گذاشته و به او اعلام نموده بود که تنها در صورتی شرایطش جدی تلقی می گردد که بین 8 تا 10 بار دیگر چنین حملاتی را تجربه کند! وینترز هم که به لحن مطمئن و قاطعانه هوش مصنوعی اعتماد نموده بود، این توصیه را پذیرفت و هفته ها در خانه بی حرکت ماند.
همین استراحت مطلق و بی تحرکی طولانی مدت که مستقیماً بر اساس هدایت چت بات صورت گرفته بود، خاستگاه یک بحران عمیق تر شد. چند هفته بعد، لخته های خونی در بدن او تشکیل شدند و در نهایت منجر به یک آمبولی ریه (Pulmonary Embolism) بسیار شدید و مرگبار گردیدند. پزشک معالج وینترز بعدها توضیح داد که همین بی تحرکی توصیه شده به وسیله هوش مصنوعی، عامل اصلی بروز این حادثه حیاتی بوده است.
سوءاستفاده از باورها و پاسخ های خطرناک در لحظه بحران
نکته تکان دهنده دیگری که در متن دادخواست به آن اشاره شده، رفتار چت بات دقیقاً در روز حادثه اصلی است. ساعات اولیه همان روزی که وینترز دچار آمبولی شدید شد، احساس درد و حساسیت شدیدی در ناحیه کشاله ران داشت. او مجدداً از ChatGPT پرسید که آیا این درد نیازمند مراجعه سریع به بیمارستان است یا خیر.
چت بات در پاسخ، با دستکاری باورهای مذهبی و معنوی وینترز، جمله ای با این مضمون تحویل او داد که خداوند بدن تو را طوری نساخته که مدام دچار شکست و بیماری گردد. این نوع پاسخ دهی غیرمسئولانه که لحن یک حامی معنوی و پزشک مطلع را بازسازی می کرد، باعث شد وینترز باز هم رفتن به اورژانس را به تاخیر بیندازد، در حالی که آن درد شدید در واقع نشانه ای از شروع لخته شدن خون و آمبولی ریوی بود که او را تا یک قدمی مرگ پیش برد.
وکلای حقوقی شاکی تاکید دارند که ChatGPT با اعتمادبه نفس یک متخصص بالینی رفتار نموده، بدون اینکه دارای صلاحیت یا مسئولیتی در این حوزه باشد. اگر خبرنگاران واقعی چنین توصیه های مرگباری صادرمی کرد، قطعاً به اتهام قصور پزشکی سنگین راهی دادگاه می شد.
پاسخ رسمی OpenAI و جدی شدن چالش مسئولیت حقوقی
در مقابل این اتهامات سنگین، سخنگوی شرکت OpenAI اعلام نموده که ChatGPT به هیچ وجه برای جایگزینی با کادر درمان یا ارائه تشخیص های پزشکی طراحی نشده است. آن ها معتقدند چت بات ها صرفاً ابزارهایی برای ساماندهی اطلاعات و یاری به کاربران برای آمادگی جهت مصاحبه با پزشکان هستند و نباید مبنای تصمیم گیری های نهایی سلامت قرار گیرند.
شرکت های توسعه دهنده هوش مصنوعی معمولاً به قوانین استفاده (Terms of Service) خود استناد می نمایند که در آن ها قید شده تمامی خروجی ها باید با مسئولیت شخص کاربر استفاده شوند و نباید به عنوان حقیقت مطلق یا جایگزین نظر متخصصان تلقی گردند. اما حقوق دانان معقتدند این سلب مسئولیت ها حد و مرزی دارند. زمانی که لحن خود ابزار به گونه ای طراحی شده که لحن قاطع یک متخصص را تقلید می نماید، ادعای سلب مسئولیت حقوقی در دادگاه دچار چالش جدی می گردد.
تیم حقوقی شاکی علاوه بر درخواست غرامت مالی، خواهان ایجاد محدودیت های سخت گیرانه تر روی سیستم های پاسخ دهی پزشکی هوش مصنوعی و حتی توقف خدمات مرتبط با سلامت این شرکت تا زمان ارزیابی دقیق ایمنی آن ها شده اند.
سوءبرداشت ها و خطاهای علمی گذشته در خودتشخیصی های درمانی
تمایل انسان ها به خودتشخیصی (Self-diagnosis) پدیده جدیدی نیست. سال ها پیش از پیدایش هوش مصنوعی، با همه گیر شدن اینترنت، پدیده ای به نام سایبرکوندزیا (Cyberchondria) یا خودبیمارانگاری اینترنتی شکل گرفت. در آن دوران، افراد با جستجوی یک علائم ساده در موتورهای جستجو، با انبوهی از اطلاعات نادرست یا سناریوهای ترسناک روبرو می شدند که موجب اضطراب شدید یا تصمیم گیری های اشتباه درمانی می شد.
خطای بزرگ گذشته در ابزارهای جستجو این بود که اطلاعات بدون تحلیل به کاربر ارائه می شد. اما خطر مدل های زبانی بزرگ بسیار پیچیده تر است؛ زیرا آن ها اطلاعات را در قالبی کاملاً انسانی، با لحنی متقاعدنماینده و بدون کوچک ترین تردیدی ارائه می دهند. سیستم های هوش مصنوعی بر پایه احتمال کلمات بعدی آموزش دیده اند، نه بر اساس درک واقعی از فیزیولوژی انسان. وقتی یک سیستم پاسخ های احتمالی را با قطعیتی ساختگی ترکیب می نماید، کاربر نامطلع آن را به عنوان یک تشخیص بالینی معتبر می پذیرد و دقیقا مشابه حادثه اخیر، توصیه های خطرناک را اجرا می نماید.
زمینه تاریخی و علمی توسعه ابزارهای تشخیص پزشکی
کوشش برای ورود فناوری به عرصه تشخیص های پزشکی، تاریخچه ای چند ده ساله دارد. در دهه 1970 میلادی، یکی از نخستین سیستم های خبره هوش مصنوعی به نام مایسین (MYCIN) در دانشگاه استنفورد توسعه یافت. این سیستم با استفاده از قواعد منطقی تعیین طراحی شده بود تا به پزشکان در تشخیص عفونت های خونی یاری کند. مایسین با وجود دقت بالا، هرگز به طور تجاری در کلینیک ها استفاده نشد زیرا مسائل مربوط به مسئولیت حقوقی و اخلاقی آن روشن نبود.
با گذشت زمان و پیدایش شبکه های عصبی و هوش مصنوعی مدرن، رویکرد توسعه دهندگان از سیستم های قاعده-محور به سمت مدل های آماری تغییر کرد. اما فرق عمده سیستم های قدیمی با مدل های امروزی این است که ابزارهای تخصصی قدیم فقط دستیار پزشک بودند و در محیطی کنترل شده استفاده می شدند، اما چت بات های امروزی بدون هیچ واسطه ای در دسترس عموم مردم قرار گرفته اند. عدم وجود فیلترهای تخصصی و بالینی در پاسخ دهی به عامه مردم، همان گپ ایمنی بزرگی است که پرونده های حقوقی فعلی بر روی آن دست گذاشته اند.
چرا هوش مصنوعی در تحلیل علائم بالینی پیچیده دچار توهم می گردد؟
یکی از سوالات کلیدی که ممکن است برای هر مخاطب دقیقی پیش بیاید این است که چرا یک سیستم هوشمند که پتانسیل تحلیل حجم عظیمی از داده های پزشکی را دارد، در تشخیص یک بیماری رایج مثل آمبولی ریه دچار چنین خطای فاحشی می گردد؟ پاسخ در ماهیت معماری مدل های زبانی نهفته است. این ابزارها بر اساس پدیده توهم (Hallucination) ممکن است جملاتی کاملاً منطقی اما از نظر علمی کاملاً نادرست بسازند.
تشخیص های پزشکی نیازمند معاینه فیزیکی، سنجش علائم حیاتی و آنالیز تاریخچه دقیق بیمار هستند. هوش مصنوعی صرفاً متنی را که کاربر وارد نموده تحلیل می نماید و چون درک واقعی از خطرات جانی ندارد، ممکن است بر اساس الگوهای متنی نادرستی که در داده های آموزش خود داشته، ساده ترین تحلیل را ارائه دهد. این عدم درک از اولویت های حیاتی باعث می گردد که علائم خطرناکی مثل افت فشار خون و سرگیجه را با یک خستگی ساده اشتباه بگیرد.
آیا شرکت های سازنده فناوری می توانند پشت بندهای سلب مسئولیت پنهان شوند؟
سوال هوشمندانه دیگری که مطرح می گردد این است که آیا وجود متون حقوقی سلب مسئولیت در ابتدای ورود به برنامه ها، مانع از محکومیت این شرکت ها در دادگاه خواهد شد؟ از نظر حقوقی، پیغام های سلب مسئولیت تا زمانی معتبر هستند که محصول رفتار گمراه نماینده از خود نشان ندهد. اگر ابزاری به گونه ای طراحی شده باشد که در تعاملات روزمره مثل یک متخصص صحبت کند، کاربر به مرور زمان گارد دفاعی خود را از دست می دهد.
دادگاه ها در حال حرکت به سمت مفهوم مسئولیت محض محصول (Strict Product Liability) برای نرم افزارها هستند. اگر به اثبات برسد که طراحی سیستم به گونه ای بوده است که رفتارهای پرخطر را تشویق می نموده یا فاقد مکانیزم های بازدارنده کافی برای ارجاع فوری بیمار به مراکز درمانی بوده، بندهای سلب مسئولیت معمولی نمی توانند شرکت سازنده را از مسئولیت های سنگین مدنی و کیفری تبرئه نمایند.
منبع: cbsnews
منبع: یک پزشک