Gemma3 4Bモデルサイズによる違い
タスクとして、文章の匿名化加工をさせて、モデルによる結果の違いを比較してみました。用意したプロンプトは以下。 ーーーーーーーーーーーーーーーーーーーーーーーーー 以下の【対象文】に含まれる氏名、住所、都道府県名、市町村名、法人名、医療機関名、ビルの名称、続柄(娘や甥といった続柄)の部分をマスキングを実施してください。 例えば、山田さんと人の名前は[氏名]と置き換えます。住所の場合は、[住所]と置換します。 【対象文】 本日午前、宮崎一郎さん(78歳男性)が右下腹部痛を主訴に来院。痛みは昨夜から持続しており、歩行時に増強するとのこと。発熱はなし。既往歴として高血圧と糖尿病あり。持病の治療は、日頃は、近所の長崎ビルにある山口医院(長野県)に通院しているとのこと。妻の宮崎花子さんより「娘から聞いた話による昨夜は痛みで眠れなかった様子」との情報あり。虫垂炎の可能性を考慮し、腹部エコーを施行予定。検査・治療方針について本人および花子さんに説明済み。理解・同意あり。 ーーーーーーーーーーーーーーーーーーーーーーーーー 宮崎、山口、長野というのは都道府県名であると同時に苗字としてもあり得るので、文脈から区別してくるのか?という点でわざとらしく文章内にいれている。 先に、大規模LLMとして、ローカルLLMではない、copilotのプロンプトを投げる模範解答を見ます。 copilot copilot 本日午前、[氏名](78歳男性)が右下腹部痛を主訴に来院。痛みは昨夜から持続しており、歩行時に増強するとのこと。発熱はなし。既往歴として高血圧と糖尿病あり。持病の治療は、日頃は、近所の[ビル名]にある[医療機関名]([住所])に通院しているとのこと。[続柄]の[氏名]より「[続柄]から聞いた話による昨夜は痛みで眠れなかった様子」との情報あり。虫垂炎の可能性を考慮し、腹部エコーを施行予定。検査・治療方針について本人および[氏名]に説明済み。理解・同意あり。 優秀 完璧!指示文もよく理解して、変換してほしいところはすべて変換してくれている。 Gemma-3-4b 4Q K M google/gemma-3-4b 本日午前、[氏名]さん(78歳男性)が右下腹部痛を主訴に来院。痛みは昨夜から持続しており、歩行時に増強するとのこと。発熱はなし。既往歴として高血圧と糖尿病あり。持病の治療は...