ChatGPT નું નવીનતમ સંસ્કરણ, આ કૃત્રિમ બુદ્ધિ ઓપનએઆઈની ચેટબોટ, રેડિયોલોજી બોર્ડ-શૈલીની પરીક્ષા પાસ કરવા માટે પૂરતી સ્માર્ટ છે, યુનિવર્સિટી ઓફ ટોરોન્ટોના એક નવા અભ્યાસમાં જાણવા મળ્યું છે.
GPT-4, જે 13 માર્ચ, 2023 ના રોજ સત્તાવાર રીતે શરૂ થયું હતું, તેણે પરીક્ષાના 150 બહુવિધ-પસંદગીના પ્રશ્નોમાંથી 81% સાચા જવાબ આપ્યા હતા.
ચેટબોટની ઉચ્ચ ચોકસાઈ હોવા છતાં, અભ્યાસ – રેડિયોલોજીમાં પ્રકાશિત, રેડિયોલોજીકલ સોસાયટી ઓફ નોર્થ અમેરિકા (આરએસએનએ) ની જર્નલ – પણ કેટલીક અચોક્કસતાઓ શોધી કાઢે છે.
અંધ અભ્યાસમાં વાસ્તવિક ડોકટરો કરતાં વધુ સારી તબીબી સલાહ આપવા માટે ચેટજીપીટી મળી: ‘આ ગેમ ચેન્જર હશે’
“તબીબી ચિત્રોનું અર્થઘટન કરતી વખતે રેડિયોલોજિસ્ટ ત્રણ બાબતો કરે છે: તારણોની શોધ કરવી, તારણોનો અર્થ સમજવા માટે અદ્યતન તર્કનો ઉપયોગ કરવો અને પછી દર્દીઓ અને અન્ય ચિકિત્સકોને તે તારણો જણાવવા,” મુખ્ય લેખક રાજેશ ભાયાણા, એમડી, પેટના રેડિયોલોજીસ્ટ સમજાવે છે. અને યુનિવર્સિટી મેડિકલ ઇમેજિંગ ટોરોન્ટો, ટોરોન્ટો જનરલ હોસ્પિટલ ખાતે ટેકનોલોજી લીડ ટોરોન્ટો, કેનેડાફોક્સ ન્યૂઝ ડિજિટલને એક નિવેદનમાં.
ChatGPT નું નવીનતમ સંસ્કરણ, OpenAI ના આર્ટિફિશિયલ ઇન્ટેલિજન્સ ચેટબોટ, રેડિયોલોજી બોર્ડ-શૈલીની પરીક્ષા પાસ કરવા માટે પૂરતી સ્માર્ટ છે, યુનિવર્સિટી ઓફ ટોરોન્ટોના એક નવા અભ્યાસમાં જાણવા મળ્યું છે. (iStock)
“રેડિયોલોજીમાં મોટાભાગના AI સંશોધનો કોમ્પ્યુટર વિઝન પર કેન્દ્રિત છે, પરંતુ ChatGPT જેવા ભાષાના મોડલ્સ આવશ્યકપણે બે અને ત્રણ પગલાં (અદ્યતન તર્ક અને ભાષાના કાર્યો) કરે છે,” તેણીએ આગળ કહ્યું.
“અમારું સંશોધન રેડિયોલોજી સંદર્ભમાં ચેટજીપીટીના પ્રદર્શનમાં આંતરદૃષ્ટિ પ્રદાન કરે છે, જે તેને અવિશ્વસનીય બનાવે છે તે વર્તમાન મર્યાદાઓ સાથે મોટા ભાષાના મોડેલોની અવિશ્વસનીય સંભવિતતાને પ્રકાશિત કરે છે.”
આરોગ્ય સંભાળ પ્રદાતાઓ માટે ChatGPT: શું AI ચેટબોટ પ્રોફેશનલ્સની નોકરીઓને વધુ સરળ બનાવી શકે છે?
મેડિકલ જર્નલમાં અભ્યાસની ચર્ચા અનુસાર સંશોધકોએ કેનેડિયન રોયલ કોલેજ અને અમેરિકન બોર્ડ ઓફ રેડિયોલોજી પરીક્ષાઓની શૈલી, સામગ્રી અને મુશ્કેલીને પ્રતિબિંબિત કરતી રીતે પ્રશ્નો બનાવ્યા હતા.
(કારણ કે ChatGPT હજુ સુધી છબીઓ સ્વીકારતું નથી, સંશોધકો ટેક્સ્ટ-આધારિત પ્રશ્નો સુધી મર્યાદિત હતા.)
ત્યારબાદ બે જુદા જુદા પ્રશ્નો પૂછવામાં આવ્યા હતા ChatGPT ની આવૃત્તિઓ: GPT-3.5 અને નવી GPT-4.
અદ્યતન તર્કમાં ‘ચિહ્નિત સુધારો’
ChatGPT ના GPT-3.5 સંસ્કરણે 69% પ્રશ્નોના સાચા જવાબ આપ્યા (150 માંથી 104), કેનેડામાં રોયલ કોલેજ દ્વારા ઉપયોગમાં લેવાતા 70% પાસિંગ ગ્રેડની નજીક, અભ્યાસના તારણો અનુસાર.
તે “ઉચ્ચ-ક્રમની વિચારસરણી” સાથે સંકળાયેલા પ્રશ્નો સાથે સૌથી વધુ સંઘર્ષ કરે છે, જેમ કે ઇમેજિંગ તારણોનું વર્ણન કરવું.
“તબીબી ચિત્રોનું અર્થઘટન કરતી વખતે રેડિયોલોજિસ્ટ ત્રણ બાબતો કરે છે: તારણોની શોધ કરવી, તારણોનો અર્થ સમજવા માટે અદ્યતન તર્કનો ઉપયોગ કરવો અને પછી દર્દીઓ અને અન્ય ચિકિત્સકોને તે તારણો જણાવવા,” એક નવા અભ્યાસના મુખ્ય લેખકે કહ્યું (ચિત્રમાં નથી. ). (iStock)
GPT-4 માટે, તેણે સમાન પ્રશ્નોના 81% (150 માંથી 121) સાચા જવાબ આપ્યા – 70% ની પાસિંગ થ્રેશોલ્ડને વટાવી.
નવા સંસ્કરણે ઉચ્ચ-ક્રમના વિચારસરણીના પ્રશ્નોના જવાબ આપવા માટે ઘણું સારું કર્યું.
“અભ્યાસનો હેતુ એ જોવાનો હતો કે ChatGPT રેડિયોલોજીના સંદર્ભમાં કેવી રીતે પ્રદર્શન કરે છે – બંને અદ્યતન તર્ક અને મૂળભૂત જ્ઞાનમાં,” ભયાનાએ કહ્યું.
GPT-4 એ 70% ની પાસિંગ થ્રેશોલ્ડને વટાવીને 81% પ્રશ્નોના સાચા જવાબ આપ્યા.
“GPT-4 એ બંને ક્ષેત્રોમાં ખૂબ જ સારું પ્રદર્શન કર્યું, અને રેડિયોલોજી-વિશિષ્ટ ભાષાના સંદર્ભની સુધારેલી સમજણ દર્શાવ્યું – જે વધુ અદ્યતન સાધનોને સક્ષમ કરવા માટે મહત્વપૂર્ણ છે જેનો ઉપયોગ રેડિયોલોજી ચિકિત્સકો વધુ કાર્યક્ષમ અને અસરકારક બનવા માટે કરી શકે છે,” તેણીએ ઉમેર્યું.
સંશોધકો GPT-3.5 કરતાં અદ્યતન તર્ક ક્ષમતાઓમાં GPT-4 ની “ચિહ્નિત સુધારણા” દ્વારા આશ્ચર્યચકિત થયા હતા.
ભયાનાએ જણાવ્યું હતું કે, “અમારા તારણો રેડિયોલોજીમાં આ મોડલની વધતી જતી સંભવિતતાને પ્રકાશિત કરે છે, પરંતુ દવાના અન્ય ક્ષેત્રોમાં પણ.”
“અમારા તારણો રેડિયોલોજીમાં આ મોડલ્સની વધતી જતી સંભવિતતાને પ્રકાશિત કરે છે, પરંતુ દવાના અન્ય ક્ષેત્રોમાં પણ,” એક નવા અભ્યાસના મુખ્ય લેખકે જણાવ્યું હતું. (ગેટી ઈમેજીસ દ્વારા નેલ્સન અલ્મેઈડા/એએફપી)
ડો. હાર્વે કાસ્ટ્રો, એ ડલ્લાસ, ટેક્સાસ સ્થિત બોર્ડ-સર્ટિફાઇડ ઇમરજન્સી મેડિસિન ફિઝિશિયન અને આરોગ્ય સંભાળમાં કૃત્રિમ બુદ્ધિ પર રાષ્ટ્રીય વક્તા, અભ્યાસમાં સામેલ ન હતા પરંતુ તારણોની સમીક્ષા કરી હતી.
“GPT-3.5 થી GPT-4 સુધીની કામગીરીમાં છલાંગ વધુ વ્યાપક તાલીમ ડેટાસેટ અને માનવ મજબૂતીકરણ શિક્ષણ પર વધુ ભારને આભારી છે,” તેમણે ફોક્સ ન્યૂઝ ડિજિટલને જણાવ્યું હતું.
“આ વિસ્તૃત તાલીમ GPT-4ને એમ્બેડેડ જ્ઞાનને વધુ અસરકારક રીતે અર્થઘટન, સમજવા અને તેનો ઉપયોગ કરવા સક્ષમ બનાવે છે,” તેમણે ઉમેર્યું.
ChatGPT અને હેલ્થ કેર: શું AI ચેટબોટ દર્દીના અનુભવને બદલી શકે છે?
પ્રમાણિત કસોટીમાં ઉચ્ચ સ્કોર મેળવવો, જો કે, રેડિયોલોજી જેવા તબીબી વિષયની વધુ ઊંડી સમજણ માટે જરૂરી નથી, કાસ્ટ્રોએ ધ્યાન દોર્યું.
“તે દર્શાવે છે કે GPT-4 તે પ્રશિક્ષિત કરવામાં આવેલ વિશાળ માહિતીના આધારે પેટર્નની ઓળખમાં વધુ સારી છે,” તેમણે કહ્યું.
આરોગ્ય સંભાળમાં ચેટજીપીટીનું ભવિષ્ય
ઘણા આરોગ્ય ટેકનોલોજી નિષ્ણાતોભયાના સહિત, માને છે કે GPT-4 જેવા મોટા ભાષાના મોડલ (LLM) સામાન્ય રીતે ટેક્નોલોજી સાથે લોકોની ક્રિયાપ્રતિક્રિયા કરવાની રીતને બદલી નાખશે – અને ખાસ કરીને દવામાં.
“તેઓ પહેલેથી જ ગૂગલ જેવા સર્ચ એન્જિન, એપિક જેવા ઇલેક્ટ્રોનિક મેડિકલ રેકોર્ડ્સ અને ન્યુએન્સ જેવા મેડિકલ ડિક્ટેશન સોફ્ટવેરમાં સામેલ થઈ રહ્યા છે,” તેણીએ ફોક્સ ન્યૂઝ ડિજિટલને જણાવ્યું.
“પરંતુ આ સાધનોની ઘણી વધુ અદ્યતન એપ્લિકેશનો છે જે કરશે આરોગ્ય સંભાળમાં પરિવર્તન હજુ પણ આગળ.”
બોર્ડ દ્વારા પ્રમાણિત કટોકટી ચિકિત્સક અને આરોગ્યમાં AI પર રાષ્ટ્રીય વક્તા ડો. હાર્વે કાસ્ટ્રોએ જણાવ્યું હતું કે, “GPT-3.5 થી GPT-4 સુધીની કામગીરીમાં છલાંગ વધુ વ્યાપક પ્રશિક્ષણ ડેટાસેટ અને માનવ મજબૂતીકરણ શિક્ષણ પર વધુ ભારને આભારી છે.” કાળજી, ફોક્સ ન્યૂઝ ડિજિટલને જણાવ્યું હતું. (જેકબ પોર્ઝીકી/નૂરફોટો)
ભવિષ્યમાં, ભાયાના માને છે કે આ મોડેલો દર્દીના પ્રશ્નોના સચોટ જવાબ આપી શકે છે, ચિકિત્સકોને નિદાન કરવામાં અને સારવારના નિર્ણયોનું માર્ગદર્શન કરવામાં મદદ કરી શકે છે.
રેડિયોલોજીને માન આપતા, તેણીએ આગાહી કરી હતી કે એલએલએમ રેડિયોલોજીસ્ટની ક્ષમતાઓને વધારવામાં અને તેમને વધુ કાર્યક્ષમ અને અસરકારક બનાવવામાં મદદ કરી શકે છે.
તેણીએ ઉમેર્યું, “અમે હજી સુધી ત્યાં પૂરતા પ્રમાણમાં નથી – મોડલ હજી સુધી ક્લિનિકલ પ્રેક્ટિસ માટે ઉપયોગમાં લેવા માટે પૂરતા વિશ્વસનીય નથી – પરંતુ અમે ઝડપથી યોગ્ય દિશામાં આગળ વધી રહ્યા છીએ,” તેણીએ ઉમેર્યું.
દવામાં ChatGPT ની મર્યાદાઓ
કદાચ રેડિયોલોજીમાં એલએલએમની સૌથી મોટી મર્યાદા એ વિઝ્યુઅલ ડેટાનું અર્થઘટન કરવામાં તેમની અસમર્થતા છે, જે રેડિયોલોજીનું નિર્ણાયક પાસું છે, કાસ્ટ્રોએ જણાવ્યું હતું.
ChatGPT જેવા મોટા ભાષાના મોડલ (LLM) તેઓ “આભાસ” કરવાની તેમની વૃત્તિ માટે પણ જાણીતા છે, જે ત્યારે થાય છે જ્યારે તેઓ આત્મવિશ્વાસથી ભરેલી રીતે અચોક્કસ માહિતી પ્રદાન કરે છે, ભયાનાએ ધ્યાન દોર્યું.
“મૉડલ હજી સુધી ક્લિનિકલ પ્રેક્ટિસ માટે ઉપયોગમાં લેવા માટે પૂરતા વિશ્વસનીય નથી.”
“આ આભાસ GPT-4 માં 3.5 ની તુલનામાં ઘટ્યો છે, પરંતુ તે હજી પણ ઘણી વાર થાય છે જેના પર ક્લિનિકલ પ્રેક્ટિસમાં વિશ્વાસ ન કરવો જોઈએ,” તેણીએ કહ્યું.
“તબીબો અને દર્દીઓએ આ મોડલ્સની શક્તિઓ અને મર્યાદાઓથી વાકેફ હોવા જોઈએ, જેમાં તે જાણવું પણ સામેલ છે કે હાલમાં માહિતીના એકમાત્ર સ્ત્રોત તરીકે તેમના પર આધાર રાખી શકાતો નથી,” ભયાનાએ ઉમેર્યું.
“ચિકિત્સકો અને દર્દીઓએ આ મોડલ્સની શક્તિઓ અને મર્યાદાઓથી વાકેફ હોવા જોઈએ, જેમાં તે જાણવું કે હાલમાં માહિતીના એકમાત્ર સ્ત્રોત તરીકે તેમના પર આધાર રાખી શકાતો નથી.” (ગેટી ઈમેજીસ દ્વારા ફ્રેન્ક રુમ્પનહોર્સ્ટ/ચિત્ર જોડાણ)
કાસ્ટ્રો સંમત થયા હતા કે LLM પાસે પરીક્ષણો પાસ કરવા માટે પૂરતું જ્ઞાન હોઈ શકે છે, જ્યારે દર્દીઓના નિદાન અને સારવાર યોજનાઓ બનાવવાની વાત આવે ત્યારે તેઓ માનવ ચિકિત્સકોને ટક્કર આપી શકતા નથી.
“રેડિયોલોજી સહિતની પ્રમાણભૂત પરીક્ષાઓ ઘણીવાર ‘ટેક્સ્ટબુક’ કેસો પર ધ્યાન કેન્દ્રિત કરે છે,” તેમણે કહ્યું.
“પરંતુ ક્લિનિકલ પ્રેક્ટિસમાં, દર્દીઓ ભાગ્યે જ પાઠ્યપુસ્તકના લક્ષણો સાથે હાજર હોય છે.”
ફોક્સ ન્યૂઝ એપ મેળવવા માટે અહીં ક્લિક કરો
દરેક દર્દીમાં અનન્ય લક્ષણો, ઇતિહાસ અને વ્યક્તિગત પરિબળો હોય છે જે “માનક” કેસોથી અલગ થઈ શકે છે, કાસ્ટ્રોએ જણાવ્યું હતું.
“આ જટિલતા માટે ઘણીવાર સૂક્ષ્મ ચુકાદા અને નિર્ણય લેવાની જરૂર પડે છે, એવી ક્ષમતા કે જેનો AI – GPT-4 જેવા અદ્યતન મોડલ સહિત – હાલમાં અભાવ છે.”
અમારા હેલ્થ ન્યૂઝલેટર માટે સાઇન અપ કરવા માટે અહીં ક્લિક કરો
જ્યારે GPT-4 ના સુધારેલા સ્કોર આશાસ્પદ છે, ત્યારે કાસ્ટ્રોએ કહ્યું, “એઆઈ ટૂલ્સ વાસ્તવિક-વિશ્વ ક્લિનિકલ સેટિંગમાં સચોટ, સલામત અને મૂલ્યવાન છે તેની ખાતરી કરવા માટે ઘણું કામ કરવું જોઈએ.”
