Hasta, Boston’daki Beth Israel Deaconess Tıp Merkezi’nin acil servisine başvuran 39 yaşında bir kadındı. Sol dizi birkaç gündür ağrıyordu. Bir gün önce 102 derece ateşi vardı. Şimdi gitmişti ama hala üşüyordu. Ve dizi kırmızıydı ve şişmişti.
Teşhis neydi?
Geçenlerde sıcak bir Cuma günü, Dr. Bir asistan olan Megan Landon, bu gerçek vakayı tıp öğrencileri ve asistanlarla dolu bir odaya sundu. Öğretmesi son derece zor olabilecek bir beceriyi öğrenmek için toplandınız – bir doktor gibi düşünmeyi.
“Doktorlar, diğer doktorlara bizim nasıl düşündüğümüzü öğretmekte berbatlar,” dedi Dr. Adam Rodman, dahiliyeci, tıp tarihçisi ve Beth Israel Deaconess’te etkinlik organizatörü.
Ancak bu kez, teşhis için bir uzmandan yardım isteyebildiler – OpenAI şirketi tarafından yayınlanan bir sohbet robotunun en son sürümü olan GPT-4.
Yapay zeka, tıp pratiğinin birçok yönünü dönüştürüyor ve bazı tıp uzmanları, teşhis koymalarına yardımcı olmak için bu araçları kullanıyor. Harvard Tıp Okulu’ndaki bir eğitim hastanesi olan Beth Israel Deaconess’teki doktorlar, geleceğin doktorlarının eğitiminde sohbet robotlarının nasıl kullanılabileceğini – ve kötüye kullanılabileceğini – araştırmaya karar verdi.
Dr gibi hocalar Rodman, tıp öğrencilerinin GPT-4’e ve diğer sohbet robotlarına, doktorların yol kenarı konsültasyonu dediği şeye benzer bir şey yapmalarını umuyor – bir meslektaşını kenara çekip zor bir vaka hakkında fikir istediğinde. Buradaki fikir, doktorların birbirlerinden öneri ve içgörü istemeleri gibi bir chatbot kullanmaktır.
Yüzyılı aşkın bir süredir doktorlar, ipuçları toplayan ve bunları suçluyu bulmak için kullanan dedektifler olarak tasvir edildi. Ancak deneyimli doktorlar, neyin yanlış olduğunu anlamak için aslında başka bir yöntem – örüntü tanıma – kullanırlar. Tıpta buna hastalık senaryosu denir: doktorların bildikleri veya kendilerinin gördükleri benzer vakalara dayalı tutarlı bir hikaye anlatmak için bir araya getirdikleri belirtiler, semptomlar ve test sonuçları.
Hastalık senaryosu yardımcı olmazsa, Dr. Rodman, doktorlar uygun olabilecek farklı teşhislere olasılık atamak gibi başka stratejilere yöneliyorlar.
Araştırmacılar, yarım asırdan fazla bir süredir tıbbi teşhis için bilgisayar programları geliştirmeye çalışıyorlar, ancak hiçbir şey gerçekten başarılı olmadı.
Doktorlar GPT-4’ün farklı olduğunu söylüyor. “Bir hastalık senaryosuna oldukça benzeyen bir şey ortaya çıkacak” dedi Dr. çubuk adam Bu şekilde, “temel olarak bir arama motorundan farklı” diye ekledi.
doktor Rodman ve Beth Israel Deaconess’teki diğer doktorlar, GPT-4’e zor vakalardaki olası teşhisleri sordu. Geçen ay tıp dergisi JAMA’da yayınlanan bir çalışmada, New England Journal of Medicine’de yayınlanan haftalık tanı testlerinde çoğu doktordan daha iyi performans gösterdiğini buldular.
Ancak programı kullanmanın bir sanat olduğunu ve tuzakları olduğunu öğrendiler.
doktor Tıp merkezindeki dahiliye ihtisas programının yöneticisi Christopher Smith, tıp öğrencilerinin ve asistanların “kesinlikle kullandığını” söyledi. Ancak, “Bir şey öğrenip öğrenmeyecekleri açık bir soru” diye ekledi.
Endişe, bir matematik problemini çözmek için cep telefonlarındaki bir hesap makinesine güvenecekleri gibi teşhis için yapay zekaya güvenebilecekleridir. Tehlikeli dedi Dr. Smith.
Öğrenmenin, bir şeyleri çözmeye çalışmayı içerdiğini söyledi: “Böyle şeyleri aklımızda tutuyoruz. Öğrenmenin bir kısmı mücadeledir. Öğrenmeyi GPT’ye yaptırırsanız, bu mücadele sona erer.”
Toplantıda öğrenciler ve mahalle sakinleri gruplara ayrılarak diz şişliği olan hastanın sorununun ne olduğunu anlamaya çalıştı. Sonra GPT-4’e döndüler.
Gruplar farklı yaklaşımlar denedi.
Biri, Google ile yapılana benzer bir İnternet araması yapmak için GPT-4’ü kullandı. Chatbot, travma da dahil olmak üzere olası teşhislerin bir listesini çıkardı. Ancak grup üyeleri ondan mantığını açıklamasını istediğinde, bot hayal kırıklığı yarattı ve “Travma, diz yaralanmalarının yaygın bir nedenidir” diyerek seçimini haklı çıkardı.
Başka bir grup olası hipotezleri değerlendirdi ve GPT-4’ten bunları test etmesini istedi. Chatbot’un listesi grubun şunlarla eşleşti: enfeksiyonlar, Lyme hastalığı dahil; eklemlerde kristallerin oluştuğu bir artrit formu olan gut dahil olmak üzere artrit; ve travma.
GPT-4, grubun listesinde yüksek olmamasına rağmen romatoid artriti en iyi olasılıklara ekledi. Grubun eğitmenleri daha sonra genç ve kadın olduğu için bu hasta için gut olasılığının düşük olduğunu açıkladılar. Ve romatoid artrit muhtemelen sadece bir eklem iltihaplandığı için ve sadece birkaç gün için göz ardı edilebilirdi.
Yol kenarındaki bir danışman olarak GPT-4, testi geçmiş veya en azından öğrenciler ve bölge sakinleriyle aynı fikirdeymiş gibi görünüyordu. Ancak bu alıştırmada, hiçbir biliş ve hastalık senaryosu sunmuyordu.
Bunun bir nedeni, öğrencilerin ve bölge sakinlerinin botu yol kenarındaki tavsiyelerden çok bir arama motoru gibi kullanmaları olabilir.
Eğitmenler, botu düzgün kullanmak için önce GPT-4’e “39 yaşında diz ağrısı çeken bir kadını tedavi eden bir doktorsun” gibi bir şey söylemeleri gerektiğini söylediler.
Eğitmenlere göre bu, GPT-4’ün gücünden yararlanmanın bir yoludur. Ancak, sohbet robotlarının hatalar yapabileceğini ve “halüsinasyon” görebileceğini, yani gerçeklere dayanmayan cevaplar verebileceğini kabul etmek de önemlidir. Onları kullanmak için, ne zaman yanlış olduklarını bilmek gerekir.
“Bu araçları kullanmakta yanlış bir şey yok,” dedi Dr. Byron Crowe, hastanede dahiliye doktoru. “Sadece onları doğru kullanmak zorundasın.”
Gruba bir benzetme yaptı.
“Pilotlar GPS kullanıyor” dedi Dr. Crowe. Ancak havayollarının “çok yüksek bir güvenilirlik standardına sahip olduğunu” da sözlerine ekledi. Tıpta, sohbet robotlarının kullanımı “çok cazip” ama aynı yüksek standartlar geçerli olmalı.
“Harika bir düşünce ortağı, ancak derin zihinsel uzmanlığın yerini alamaz” dedi.
Seansın sonunda eğitmenler hastanın dizindeki şişkinliğin gerçek nedenini ortaya çıkardı.
Her grubun düşündüğü ve GPT-4’ün önerdiği bir olasılık olduğu ortaya çıktı.
Lyme hastalığı vardı.
Olivia Allison habere katkıda bulundu.
Teşhis neydi?
Geçenlerde sıcak bir Cuma günü, Dr. Bir asistan olan Megan Landon, bu gerçek vakayı tıp öğrencileri ve asistanlarla dolu bir odaya sundu. Öğretmesi son derece zor olabilecek bir beceriyi öğrenmek için toplandınız – bir doktor gibi düşünmeyi.
“Doktorlar, diğer doktorlara bizim nasıl düşündüğümüzü öğretmekte berbatlar,” dedi Dr. Adam Rodman, dahiliyeci, tıp tarihçisi ve Beth Israel Deaconess’te etkinlik organizatörü.
Ancak bu kez, teşhis için bir uzmandan yardım isteyebildiler – OpenAI şirketi tarafından yayınlanan bir sohbet robotunun en son sürümü olan GPT-4.
Yapay zeka, tıp pratiğinin birçok yönünü dönüştürüyor ve bazı tıp uzmanları, teşhis koymalarına yardımcı olmak için bu araçları kullanıyor. Harvard Tıp Okulu’ndaki bir eğitim hastanesi olan Beth Israel Deaconess’teki doktorlar, geleceğin doktorlarının eğitiminde sohbet robotlarının nasıl kullanılabileceğini – ve kötüye kullanılabileceğini – araştırmaya karar verdi.
Dr gibi hocalar Rodman, tıp öğrencilerinin GPT-4’e ve diğer sohbet robotlarına, doktorların yol kenarı konsültasyonu dediği şeye benzer bir şey yapmalarını umuyor – bir meslektaşını kenara çekip zor bir vaka hakkında fikir istediğinde. Buradaki fikir, doktorların birbirlerinden öneri ve içgörü istemeleri gibi bir chatbot kullanmaktır.
Yüzyılı aşkın bir süredir doktorlar, ipuçları toplayan ve bunları suçluyu bulmak için kullanan dedektifler olarak tasvir edildi. Ancak deneyimli doktorlar, neyin yanlış olduğunu anlamak için aslında başka bir yöntem – örüntü tanıma – kullanırlar. Tıpta buna hastalık senaryosu denir: doktorların bildikleri veya kendilerinin gördükleri benzer vakalara dayalı tutarlı bir hikaye anlatmak için bir araya getirdikleri belirtiler, semptomlar ve test sonuçları.
Hastalık senaryosu yardımcı olmazsa, Dr. Rodman, doktorlar uygun olabilecek farklı teşhislere olasılık atamak gibi başka stratejilere yöneliyorlar.
Araştırmacılar, yarım asırdan fazla bir süredir tıbbi teşhis için bilgisayar programları geliştirmeye çalışıyorlar, ancak hiçbir şey gerçekten başarılı olmadı.
Doktorlar GPT-4’ün farklı olduğunu söylüyor. “Bir hastalık senaryosuna oldukça benzeyen bir şey ortaya çıkacak” dedi Dr. çubuk adam Bu şekilde, “temel olarak bir arama motorundan farklı” diye ekledi.
doktor Rodman ve Beth Israel Deaconess’teki diğer doktorlar, GPT-4’e zor vakalardaki olası teşhisleri sordu. Geçen ay tıp dergisi JAMA’da yayınlanan bir çalışmada, New England Journal of Medicine’de yayınlanan haftalık tanı testlerinde çoğu doktordan daha iyi performans gösterdiğini buldular.
Ancak programı kullanmanın bir sanat olduğunu ve tuzakları olduğunu öğrendiler.
doktor Tıp merkezindeki dahiliye ihtisas programının yöneticisi Christopher Smith, tıp öğrencilerinin ve asistanların “kesinlikle kullandığını” söyledi. Ancak, “Bir şey öğrenip öğrenmeyecekleri açık bir soru” diye ekledi.
Endişe, bir matematik problemini çözmek için cep telefonlarındaki bir hesap makinesine güvenecekleri gibi teşhis için yapay zekaya güvenebilecekleridir. Tehlikeli dedi Dr. Smith.
Öğrenmenin, bir şeyleri çözmeye çalışmayı içerdiğini söyledi: “Böyle şeyleri aklımızda tutuyoruz. Öğrenmenin bir kısmı mücadeledir. Öğrenmeyi GPT’ye yaptırırsanız, bu mücadele sona erer.”
Toplantıda öğrenciler ve mahalle sakinleri gruplara ayrılarak diz şişliği olan hastanın sorununun ne olduğunu anlamaya çalıştı. Sonra GPT-4’e döndüler.
Gruplar farklı yaklaşımlar denedi.
Biri, Google ile yapılana benzer bir İnternet araması yapmak için GPT-4’ü kullandı. Chatbot, travma da dahil olmak üzere olası teşhislerin bir listesini çıkardı. Ancak grup üyeleri ondan mantığını açıklamasını istediğinde, bot hayal kırıklığı yarattı ve “Travma, diz yaralanmalarının yaygın bir nedenidir” diyerek seçimini haklı çıkardı.
Başka bir grup olası hipotezleri değerlendirdi ve GPT-4’ten bunları test etmesini istedi. Chatbot’un listesi grubun şunlarla eşleşti: enfeksiyonlar, Lyme hastalığı dahil; eklemlerde kristallerin oluştuğu bir artrit formu olan gut dahil olmak üzere artrit; ve travma.
GPT-4, grubun listesinde yüksek olmamasına rağmen romatoid artriti en iyi olasılıklara ekledi. Grubun eğitmenleri daha sonra genç ve kadın olduğu için bu hasta için gut olasılığının düşük olduğunu açıkladılar. Ve romatoid artrit muhtemelen sadece bir eklem iltihaplandığı için ve sadece birkaç gün için göz ardı edilebilirdi.
Yol kenarındaki bir danışman olarak GPT-4, testi geçmiş veya en azından öğrenciler ve bölge sakinleriyle aynı fikirdeymiş gibi görünüyordu. Ancak bu alıştırmada, hiçbir biliş ve hastalık senaryosu sunmuyordu.
Bunun bir nedeni, öğrencilerin ve bölge sakinlerinin botu yol kenarındaki tavsiyelerden çok bir arama motoru gibi kullanmaları olabilir.
Eğitmenler, botu düzgün kullanmak için önce GPT-4’e “39 yaşında diz ağrısı çeken bir kadını tedavi eden bir doktorsun” gibi bir şey söylemeleri gerektiğini söylediler.
Eğitmenlere göre bu, GPT-4’ün gücünden yararlanmanın bir yoludur. Ancak, sohbet robotlarının hatalar yapabileceğini ve “halüsinasyon” görebileceğini, yani gerçeklere dayanmayan cevaplar verebileceğini kabul etmek de önemlidir. Onları kullanmak için, ne zaman yanlış olduklarını bilmek gerekir.
“Bu araçları kullanmakta yanlış bir şey yok,” dedi Dr. Byron Crowe, hastanede dahiliye doktoru. “Sadece onları doğru kullanmak zorundasın.”
Gruba bir benzetme yaptı.
“Pilotlar GPS kullanıyor” dedi Dr. Crowe. Ancak havayollarının “çok yüksek bir güvenilirlik standardına sahip olduğunu” da sözlerine ekledi. Tıpta, sohbet robotlarının kullanımı “çok cazip” ama aynı yüksek standartlar geçerli olmalı.
“Harika bir düşünce ortağı, ancak derin zihinsel uzmanlığın yerini alamaz” dedi.
Seansın sonunda eğitmenler hastanın dizindeki şişkinliğin gerçek nedenini ortaya çıkardı.
Her grubun düşündüğü ve GPT-4’ün önerdiği bir olasılık olduğu ortaya çıktı.
Lyme hastalığı vardı.
Olivia Allison habere katkıda bulundu.