AURORA, Colorado ― Kecerdasan Buatan (AI) telah tiba di kantor medis, apakah dokter merasa siap atau tidak.
AI dapat menghasilkan perawatan yang lebih akurat, efisien, dan hemat biaya. Tapi itu mungkin bisa menyebabkan kerusakan. Itu menurut Benjamin Collins, MD, di Vanderbilt University Medical Center, di Nashville, Tennessee, yang berbicara tentang topik Pertemuan Tahunan Society of General Internal Medicine (SGIM) 2023.
Memahami nuansa AI menjadi lebih penting karena perkembangan algoritme yang cepat.
“Ketika saya menyerahkan lokakarya ini, tidak ada ChatGPT,” kata Collins, mengacu pada Transformer Pra-pelatihan Obrolan Generatif, model pemrosesan bahasa alami yang baru dirilis. “Banyak yang telah berubah.”
Data Bias
Data bias mungkin merupakan jebakan terbesar dari algoritma AI, kata Collins. Jika data sampah masuk, prediksi sampah keluar.
Jika kumpulan data yang melatih algoritme kurang mewakili jenis kelamin atau kelompok etnis tertentu, misalnya, algoritme mungkin tidak merespons perintah secara akurat. Ketika alat AI menggabungkan ketidaksetaraan yang ada terkait dengan status sosial ekonomi, etnis, atau orientasi seksual, algoritme menjadi bias, menurut peneliti Harvard.
“Orang sering beranggapan bahwa kecerdasan buatan bebas dari bias karena penggunaan proses ilmiah dan perkembangannya,” ujarnya. “Tetapi kekurangan apa pun yang ada dalam pengumpulan data dan data lama dapat menyebabkan representasi yang buruk atau kurang terwakili dalam data yang digunakan untuk melatih alat AI.”
Minoritas ras kurang terwakili dalam studi; oleh karena itu, input data ke dalam alat AI mungkin memberikan hasil yang tidak sesuai untuk pasien ini.
Studi Jantung Framingham, misalnya, yang dimulai pada tahun 1948, meneliti penyakit jantung pada sebagian besar peserta kulit putih. Temuan dari penelitian ini menghasilkan pembuatan algoritme khusus jenis kelamin yang digunakan untuk memperkirakan risiko kardiovaskular pasien selama 10 tahun. Sementara skor risiko kardiovaskular akurat untuk orang kulit putih, namun kurang akurat untuk pasien kulit hitam.
Sebuah studi yang diterbitkan di Science pada 2019 mengungkapkan bias dalam algoritme yang menggunakan biaya perawatan kesehatan sebagai proksi untuk kebutuhan kesehatan. Karena lebih sedikit uang yang dihabiskan untuk pasien kulit hitam yang memiliki tingkat kebutuhan yang sama dengan rekan kulit putih mereka, hasilnya secara tidak akurat menunjukkan bahwa pasien kulit hitam lebih sehat dan karenanya tidak memerlukan perawatan ekstra.
Pengembang juga bisa menjadi sumber bias, karena AI sering mencerminkan bias manusia yang sudah ada sebelumnya, kata Collins.
“Bias algoritme menghadirkan risiko bahaya yang jelas yang harus dimainkan oleh dokter terhadap manfaat penggunaan AI,” kata Collins. “Risiko bahaya itu seringkali didistribusikan secara tidak proporsional ke populasi yang terpinggirkan.”
Saat dokter menggunakan algoritme AI untuk mendiagnosis dan mendeteksi penyakit, memprediksi hasil, dan memandu pengobatan, masalah muncul saat algoritme tersebut bekerja dengan baik untuk beberapa pasien dan berkinerja buruk untuk yang lain. Kesenjangan ini dapat memperburuk perbedaan yang ada dalam hasil perawatan kesehatan.
Collins menyarankan dokter untuk mendorong untuk mencari tahu data apa yang digunakan untuk melatih algoritme AI untuk menentukan bagaimana bias dapat memengaruhi model dan apakah pengembang menyesuaikan risiko dengan bias. Jika data pelatihan tidak tersedia, dokter harus bertanya kepada pemberi kerja dan pengembang AI mereka untuk mengetahui lebih banyak tentang sistem tersebut.
Dokter mungkin menghadapi apa yang disebut fenomena kotak hitam, yang terjadi ketika pengembang tidak dapat atau tidak mau menjelaskan data apa yang dimasukkan ke dalam model AI, kata Collins.
Menurut Universitas Stanford, AI harus dilatih pada kumpulan data besar gambar yang telah dianotasi oleh pakar manusia. Pembuatan kumpulan data tersebut dapat menghabiskan biaya jutaan dolar, yang berarti perusahaan sering kali mendanainya dan tidak selalu membagikan datanya secara publik.
Beberapa kelompok, seperti Pusat Kecerdasan Buatan dalam Kedokteran dan Pencitraan Stanford, bekerja untuk mendapatkan kumpulan data beranotasi sehingga peneliti yang melatih model AI dapat mengetahui dari mana data tersebut berasal.
Paul Haidet, MD, MPH, seorang internis di Penn State College of Medicine, di Hershey, Pennsylvania, melihat teknologi ini sebagai alat yang membutuhkan penanganan yang hati-hati.
“Mempelajari cara menggunakan stetoskop membutuhkan waktu lama, dan AI seperti itu,” kata Haidet. “Hal tentang AI, bagaimanapun, adalah bahwa itu bisa dimasukkan ke dalam sistem dan tidak ada yang tahu cara kerjanya.”
Haidet mengatakan dia suka mengetahui bagaimana sosis dibuat, sesuatu yang sering enggan diketahui oleh pengembang AI.
“Jika Anda hanya menaruh kepercayaan buta pada sebuah alat, itu menakutkan,” kata Haidet.
Transparansi dan “Penjelasan”
Kemampuan untuk menjelaskan apa yang masuk ke dalam alat sangat penting untuk menjaga kepercayaan pada sistem perawatan kesehatan, kata Collins.
“Bagian dari mengetahui seberapa besar kepercayaan untuk ditempatkan dalam sistem adalah transparansi sistem tersebut dan kemampuan untuk mengaudit seberapa baik kinerja algoritme,” kata Collins. “Sistem juga harus secara teratur melaporkan kepada pengguna tingkat kepastian yang diberikannya sebagai keluaran daripada memberikan keluaran biner sederhana.”
Collins merekomendasikan agar penyedia juga mengembangkan pemahaman tentang batasan regulasi AI, yang mungkin termasuk mempelajari cara sistem disetujui dan cara memantaunya.
“FDA memiliki pengawasan atas beberapa aplikasi AI dan perawatan kesehatan untuk perangkat lunak sebagai perangkat medis, tetapi saat ini tidak ada proses khusus untuk mengevaluasi sistem terhadap adanya bias,” kata Collins. “Kesenjangan dalam peraturan membuat pintu terbuka untuk penggunaan AI dalam perawatan klinis yang mengandung bias yang signifikan.”
Haidet menyamakan alat AI dengan Global Positioning System: Sistem GPS yang baik akan memungkinkan pengguna melihat rute alternatif, memilih keluar dari jalan tol atau jalan raya, dan akan menyoroti mengapa rute berubah. Tetapi pengguna perlu memahami cara membaca peta sehingga mereka dapat mengetahui jika ada sesuatu yang salah.
Collins dan Haidet melaporkan tidak ada hubungan keuangan yang relevan.
Pertemuan Tahunan Society of General Internal Medicine (SGIM) 2023: Dipresentasikan 11 Mei 2023.
Kelly Ragan adalah jurnalis yang tinggal di Colorado.
Untuk berita lebih lanjut, ikuti Medscape di Facebook, Twitter, Instagram, dan YouTube.