RAGの力を確認してみた

個人で利用している事。営利を目的としていない事。本目的はRAGというものを体感する事である事。日本国の法律において著作権の侵害には相当しない。

質問

日本高血圧学会の高血圧治療ガイドライン2019における降圧薬治療は高齢高血圧患者の認知機能の保持に有効か?その答えに対する推奨の強さ、エビデンスの強さはいくつとなっているか？

本当の正解を先に示す。2019年のガイドライに記載されているCQの一つ。

認知機能を保持する事は示唆されているが、確固たるエビデンスがないため、推奨の強さ　推奨なし、エビデンスの強さC

Gemini

Geminiは明確な答えを回答してこない。ある意味、確認できなかったと回答しハルシレーションを回避。

Copilot

それっぽい事を回答し、ハルシレーションを起こす。CQの番号も違うし、治療は勧めていない。推奨の強さも異なるし、エビデンスの強さも異なる。

Chat GPT

GPTは正確な回答をしてくれる。

外部リソースを参照せず、GPTが学習している内容のみを参照して回答と指示する

これでも回答は正解する。学習していると思われる。著作権の問題はどうなっている？勝手に学習していると考えられる。ただ科学的な事実に著作権そのものは適応されず、文章そのものが同じものを返さない限りは問題ないが、日本国の法令上は、著作権者の利益を害する場合は学習させる事はできないはず。

エビデンスの定義についても質問すると「確実性は限定的」とガイドライン記載の定義をしっかり返してくる。

 RAGを組んで回答させた場合（あくまで個人でRAGの確認をするために実施しており、商用利用するものでない）