凄いね。medical-tribuneの記事から。
米・Massachusetts General HospitalのTiffany Kung氏らは、大規模言語モデル(LLM)を用いた対話型人工知能(AI)ChatGPTに、米国の医師資格試験(United States Medical Licensing Exam;USMLE)の問題を解かせ、臨床的推論能力を検討。その結果、ChatGPTは特別な訓練や強化学習を行わずとも合格ラインに近い正答率を示し、整合性の高さや洞察も認められたとPLOS Digit Health(2023; 2: e0000198)に発表した。将来的に、ChatGPTを人間の医学学習支援にも活用できる可能性が示唆されたという。
さらにKung氏らは、医学生などの学習支援におけるChatGPTの有用性を検討。その指標として、解答の論拠に独自性、非自明性、有効性など示す洞察が含まれているか検証した。
洞察力の判定基準は、①単に用語の定義にとどまらない解答、②独創性(単一の洞察により複数の選択肢を消去できる)、③非自明性(設問に含まれない知識を演繹して解答できる)、④有効性(臨床的または数値的に正しく、方向性も間違っていない)―とした。検証の結果、全解答の88.9%に1つ以上の優れた洞察が含まれていた。
単にネットのトレンドを集約しているのかと思っていたが、洞察もするんだね。参った。