科技日?qǐng)?bào)北京5月17日電 (記者劉霞)加拿大科學(xué)家在16日出版的《放射學(xué)》雜志上刊登新論文稱,最新版本的ChatGPT通過(guò)了美國(guó)放射學(xué)委員會(huì)的考試,突出了大型語(yǔ)言模型的潛力,但它也給出了一些錯(cuò)誤答案,表明人們?nèi)孕鑼?duì)其提供的答案進(jìn)行核查。
為評(píng)估ChatGPT在美國(guó)放射學(xué)委員會(huì)考試問(wèn)題上的表現(xiàn)并探索其優(yōu)勢(shì)和局限性,多倫多大學(xué)研究人員首先測(cè)試了基于GPT-3.5的ChatGPT的表現(xiàn)。研究團(tuán)隊(duì)使用了150道選擇題,這些選擇題與加拿大皇家學(xué)院和美國(guó)放射學(xué)委員會(huì)考試的風(fēng)格、內(nèi)容和難度相當(dāng)。這些問(wèn)題不包括圖像,分為低階(知識(shí)回憶、基本理解)和高階(應(yīng)用、分析、綜合)思維問(wèn)題。高階思維問(wèn)題可進(jìn)一步細(xì)分為影像學(xué)表現(xiàn)描述、臨床管理、計(jì)算和分類、疾病關(guān)聯(lián)。
研究人員發(fā)現(xiàn),基于GPT-3.5的ChatGPT的正確率為69%,接近70%的及格線。該模型在低階思維問(wèn)題上表現(xiàn)相對(duì)較好,正確率為84%,但回答高級(jí)思維問(wèn)題時(shí)表現(xiàn)不佳,正確率僅為60%。而性能更優(yōu)異的GPT-4的正確率為81%,且在高階思維問(wèn)題上的正確率為81%,遠(yuǎn)好于GPT-3.5。但GPT-4在低階思維問(wèn)題上的正確率僅為80%,答錯(cuò)了12道題,而GPT-3.5全部答對(duì)了這些題目,這引發(fā)了研究團(tuán)隊(duì)對(duì)GPT-4收集信息的可靠性的擔(dān)憂。
這兩項(xiàng)研究都表明,ChatGPT會(huì)有提供不正確答案的傾向,如果僅僅依靠它獲取信息,非常危險(xiǎn),因?yàn)槿藗兛赡芤庾R(shí)不到其給出的答案是不準(zhǔn)確的,這是它目前面臨的最大的問(wèn)題。(來(lái)源:科技日?qǐng)?bào))
版權(quán)聲明:凡注明“來(lái)源:中國(guó)西藏網(wǎng)”或“中國(guó)西藏網(wǎng)文”的所有作品,版權(quán)歸高原(北京)文化傳播有限公司。任何媒體轉(zhuǎn)載、摘編、引用,須注明來(lái)源中國(guó)西藏網(wǎng)和署著作者名,否則將追究相關(guān)法律責(zé)任。
- 聯(lián)合國(guó)秘書長(zhǎng)歡迎黑海港口農(nóng)產(chǎn)品外運(yùn)協(xié)議再延長(zhǎng)兩個(gè)月
- 北二環(huán)沿線布局元宇宙產(chǎn)業(yè)聚集區(qū)
- 豐臺(tái)王佐鎮(zhèn):黨建引領(lǐng)織細(xì)治理網(wǎng)格 助力銀發(fā)居民幸福無(wú)憂
- 北京豐臺(tái)區(qū)“點(diǎn)靚涼水河”千年古河畔將建起城市活力開放空間
- 專項(xiàng)整治不停歇 西城廣內(nèi)街道持續(xù)推進(jìn)消防大排查
- 拉美多國(guó)緊急應(yīng)對(duì)登革熱
- 朝陽(yáng)區(qū)組團(tuán)“出?!闭猩?今年前三月新設(shè)外資企業(yè)87家
- 中國(guó)—中亞峰會(huì)新聞中心啟用
- 首爾中國(guó)文化中心“人在草木間——茶和天下·雅集”活動(dòng)拉開帷幕
- 韓國(guó)經(jīng)濟(jì)持續(xù)放緩