پژوهشگران سنگاپوری در یک آزمایش جدید، از ChatGPT برای معاینه تخصصی حوزه زنان و زایمان استفاده کردند و دریافتند که این چتبات در برخی موارد میتواند بهتر از انسان عمل کند.
ChatGPT در یک معاینه آزمایشی تخصصی حوزه زنان و زایمان توانست از انسان بهتر عمل کند و در زمینههایی مانند ارتباط همدلانه، جمعآوری اطلاعات و استدلال بالینی، خود را عالی نشان دهد.
این چتبات، میانگین امتیاز ۷۷.۲ درصد را به دست آورد و از انسانهایی که میانگین امتیاز ۷۳.۷ درصد را به دست آورده بودند، پیشی گرفت. این آزمایش نشان داد که ChatGPT میتواند پاسخهای دقیق و مرتبط با پرسشهای بالینی پیچیده را به سرعت ارائه دهد. با وجود این، ChatGPT در مواردی که به توضیح باز یا تغییرات متعدد نیاز داشتند، با مشکل روبهرو شد.
این آزمایش نشان داد که ChatGPT برای تکمیل هر بخش به طور میانگین دو دقیقه و ۵۴ ثانیه زمان لازم دارد که به طور قابل توجهی کمتر از ۱۰ دقیقه از پیش تعیینشده است.
در این پژوهش، پژوهشگران هفت بخش را انتخاب کردند که طی دو سال گذشته با روش ارزیابی موسوم به «معاینات بالینی ساختاریافته عینی» (OSCEs) در معاینات ساختگی اجرا شده بودند. همه آزمایشها از نظر وسعت و دشواری مشابه بودند و برای رفع کردن محدودیتهای کنونی ChatGPT در زمان آزمایش، تفاسیر بصری در آنها گنجانده نشده بود.
هر بخش دارای چندین لایه از پرسشهای در حال تکامل براساس دادههای اولیه ارائهشده و پاسخهای بعدی از طرف داوطلب است. ارزیابی OSCE یک ارزیابی مبتنی بر معیار است که در آن هر داوطلب براساس شایستگیهای بالینی خود و با تکمیل کردن مجموعهای از آزمایشها در یک محیط شبیهسازیشده بررسی میشود.
به هر داوطلب ۱۰ دقیقه زمان برای تکمیل کردن هر بخش داده شد که با یک سناریوی بالینی ناآشنا و اطلاعات لازم برای تصمیمگیری بالینی آگاهانه همراه بود. انتظار میرفت که هر داوطلب، یک برنامه مراقبتی را بیان کند و مهارتهایی مانند ارتباط، جمعآوری اطلاعات، کاربرد دانش بالینی و ایمنی بیمار را در محدوده زمانی مشخصشده نشان دهد.
همه بخشهای آزمایش در قالب یکسان، به ترتیب به دو داوطلب انسان موسوم به کاندیداهای A و B و ChatGPT به عنوان کاندیدای C ارائه شدند.
این پژوهش در «دانشکده پزشکی یونگ لو لین» (NUS Medicine) سنگاپور به سرپرستی «ماهش کولانی» (Mahesh Choolani)، رئیس بخش جراحی زنان و زایمان این دانشکده انجام شد. پژوهشگران در این پروژه، تجزیه و تحلیلی را در مورد پاسخها انجام دادند و دریافتند که ChatGPT امتیاز بسیار خوبی را در حوزه ارتباط همدلانه به دست آورده است.
این چتبات توانست پاسخهای واقعی و دقیق و مرتبط با بیماری را به طور ماهرانه و سریع به پرسشهای بالینی بدهد و پاسخها را براساس دادههای ناآشنا در کوتاهترین زمان ممکن تولید کند. این شاهکاری است که یک شخص با هوش متوسط، به بیش از ۱۰ سال آموزش بالینی نیاز دارد تا بتواند به آن برسد.
این موضوع قابل ستایش است که هوش مصنوعی مولد که در حال حاضر تنها در مراحل ابتدایی خود قرار دارد، میتواند بخشهای قابل توجهی از محتوای کلی را به سرعت تفسیر کند و آن را با سازماندهی کردن در قالب پاسخهای منسجم و مختصر از نوع مکالمه ارائه دهد. این هدفی است که داوطلبان غیر انگلیسیزبان یا داوطلبانی که با استرس امتحان روبهرو هستند، به سادگی به دست نمیآورند.
برای به حداقل رساندن سوگیری، پاسخها در حالی به پنل آزمون فرستاده شدند که هویت واقعی ChatGPT پنهان شده بود. به رغم نهایت تلاشها برای کور کردن پنل معاینه، ممتحنین عموما قادر به شناسایی پاسخهای ChatGPT بودند، اما نه در همه موارد.
مهمتر از همه این است که نتایج پژوهش نشان دادند ChatGPT کمتر قادر به رسیدگی به موضوعاتی است که دارای تغییرات چندگانه در سناریوها هستند و به تفسیر باز نیاز دارند.
سناریوهای دارای چند تغییر، به آموزش بیشتری در زمینه دانش پزشکی پیرامون موضوعات بسیار تخصصی نیاز دارند. این امر برای یک کاندید انسانی بسیار آموزشدیده که توانایی تشخیص بالاتر و استدلال انعطافپذیر مورد نیاز برای مقابله با ابهامات این پرسشها را دارد، قابل مدیریت است.
مشخص شد که ChatGPT در چندین حوزه دانش از جمله مدیریت کار، انکولوژی زنان و مراقبتهای پس از جراحی که بر پروتکل استاندارد متمرکز شدهاند، بهتر عمل میکند، اما در موقعیتهای بسیار مفهومی این کارآیی را ندارد.
کولانی گفت: ورود ChatGPT و افزایش استفاده از آن ثابت کرده است که این چتبات میتواند منبع سودمندی در هدایت آموزش پزشکی باشد، پشتیبانی کمکی را برای مراقبتهای بالینی در لحظه ارائه دهد و حتی از نظارت بر درمان بیماران نیز پشتیبانی کند. در عصری که دانش و اطلاعات دقیق فورا در دسترس قرار میگیرند و این قابلیتها میتوانند در آیندهای قابل پیشبینی توسط هوش مصنوعی مولد و در چارچوب مناسب تعبیه شوند، نیاز نسل آینده پزشکان به نشان دادن ارزش و اهمیت انسان آشکار است.
وی افزود: ما به عنوان پزشکان و آموزگاران پزشکی باید به شدت بر استفاده از مهارتهای انعطافپذیر، ارتباط دلسوزانه و کاربرد دانش در آموزش پزشکی و مراقبتهای بالینی تاکید کنیم.
این پژوهش، در مجله «American Journal of Obstetrics and Gynecology» به چاپ رسید.
۲۲۷۲۲۷
