大腸がん関連情報に対するChatGPTの正確性と関連性を検証

2025年1月29日

米国臨床腫瘍学会（ASCO）

ASCO の見解（引用）

「この研究は、人工知能が患者の関心を高め、情報に基づいた意思決定をサポートすることができ、医療へのアクセスの格差に対処できる可能性があることを実証しています。しかし、特に診断や治療のような複雑で繊細な問題においては、AIの限界も浮き彫りになっています」と、Laura Vater医師（公衆衛生学修士、インディアナ大学サイモンがんセンター）は述べる。

研究要旨

テーマ	大腸がん関連情報に対するChatGPTの正確性と関連性
主な結果	大腸がんの症状、予防、検査に関する質問に対してChatGPTが生成した回答は、専門の腫瘍医による審査委員会によって正確性および信頼性が高いと評価されたが、診断と治療に関する質問に対してChatGPTが生成した回答の評価は高くなかった。
意義	・米国において、大腸がん発生率は65歳以上の人々の間で減少しているが、55歳未満の人々の間では毎年1％～ 2％増加している。55歳から 64歳の成人における発生率は安定している。2000年代半ば以降、55歳未満の人々の死亡率は約 1％増加している。・大腸がんと診断された人や大腸がんリスクを心配している若い人々は、ChatGPTのような新しいテクノロジーを使って情報を検索することが高齢者よりも多いかもしれない。ChatGPTとは、検索エンジンとして使用できる人工知能（AI）チャットボットである。ユーザーが質問を入力すると、AIチャットボットが会話形式で回答する。

大腸がんの症状、検査、予防に関する一般的な情報を見つける際にはChatGPTが役立つこともあるが、診断や治療に関する質問、または質問に対する、より詳細な回答に関しては、信頼できる情報源や医療チームに尋ねるべきである。この研究は、カリフォルニア州サンフランシスコで1月23日から25日まで開催される2025年米国臨床腫瘍学会 (ASCO) 消化器がんシンポジウムで発表される。

研究について

「健康情報に関するデジタル技術への依存が高まるにつれ、ChatGPTのようなAIツールが患者教育のギャップを埋め、専門家の意見と一致する信頼性のある正確な回答を提供できるかどうかを評価する必要性が高まっています。私たちの研究では、この満たされていないニーズを取り上げ、特に、55歳以下の人々での診断が急増し、死亡率の増加要因となっている大腸がんという文脈で対処するようにデザインしました。われわれの目的は、ChatGPTの性能を評価することで、健康リテラシーを高め、患者教育をサポートする補足リソースとしてのChatGPTの可能性を見極めることです」と、研究代表著者であるSujata Ojha医師（テキサス大学オースティン校デル医学部）は述べる。

研究者らは、大腸がんに関してよくある質問に対するChatGPTの回答の質を評価したいと考えた。研究者たちは、米国大腸直腸外科学会、マウントサイナイ、国立がん研究所、メイヨークリニック、アメリカがん協会など、複数のリソースから質問を集めた。質問を「一般的な腫瘍学特性」と「診断と治療」の2つのカテゴリに分類した。「一般的な腫瘍学特性」の質問は、症状、検査、予防などのトピックにわたっていた。次に、それらの質問を ChatGPTに入力し、誰かがChatGPT を使用しているようにシミュレートした。

ChatGPTが質問に答えた後、腫瘍学の専門家が、意見を測定する5段階評価（リッカート尺度）で回答を評価した。この尺度では、1 は「まったく同意しない」、5 は「強く同意する」を表す。

主な知見

腫瘍学の専門家による回答の平均評価は4.72であった。

評価を行ったさまざまな腫瘍学の専門家のスコア間には、統計学的に有意な差はなかった。ただし、各カテゴリの評価間には統計学的に有意な差があった。

症状、検査、予防などのトピックにわたる一般的な腫瘍学特性に関する質問への回答は、診断と治療に関するトピックにわたる質問への回答よりも評価が高かった。これは、診断と治療に関する質問への回答に専門家が同意する程度が低かったことを意味する。

研究者たちは、この差はChatGPTが既存情報に基づいて訓練されているためではないかと考える。大腸がんの診断と治療は臨床試験の進行に伴い急速に進化しているため、こうした最新情報はChatGPTのアルゴリズムに含まれていない可能性がある。また、大腸がんの治療は、各患者の特定の要因に基づいて個別化されることがしばしばある。たとえば、一部の患者は、特定の変異や生物学的変化に基づく分子標的療法を受ける場合もある。

次のステップ

研究者らは、消化器病学や大腸手術など、同様のトピックに関する他の一般的な医療質問にChatGPT がどの程度効果的に回答できるかを引き続き調査する予定である。また、治療と診断に関するChatGPTの回答に専門家が同意しなかった理由をより具体的に把握し、この重要分野での回答を改善するための戦略開発に役立てたいと考えている。

本研究はいかなる資金も受け取っていない。