Gemma3 4Bモデルサイズによる違い

 タスクとして、文章の匿名化加工をさせて、モデルによる結果の違いを比較してみました。用意したプロンプトは以下。

ーーーーーーーーーーーーーーーーーーーーーーーーー

以下の【対象文】に含まれる氏名、住所、都道府県名、市町村名、法人名、医療機関名、ビルの名称、続柄（娘や甥といった続柄）の部分をマスキングを実施してください。 例えば、山田さんと人の名前は[氏名]と置き換えます。住所の場合は、[住所]と置換します。

【対象文】 本日午前、宮崎一郎さん（78歳男性）が右下腹部痛を主訴に来院。痛みは昨夜から持続しており、歩行時に増強するとのこと。発熱はなし。既往歴として高血圧と糖尿病あり。持病の治療は、日頃は、近所の長崎ビルにある山口医院（長野県）に通院しているとのこと。妻の宮崎花子さんより「娘から聞いた話による昨夜は痛みで眠れなかった様子」との情報あり。虫垂炎の可能性を考慮し、腹部エコーを施行予定。検査・治療方針について本人および花子さんに説明済み。理解・同意あり。

ーーーーーーーーーーーーーーーーーーーーーーーーー

宮崎、山口、長野というのは都道府県名であると同時に苗字としてもあり得るので、文脈から区別してくるのか？という点でわざとらしく文章内にいれている。

先に、大規模LLMとして、ローカルＬＬＭではない、copilotのプロンプトを投げる模範解答を見ます。

copilot

copilot

本日午前、[氏名]（78歳男性）が右下腹部痛を主訴に来院。痛みは昨夜から持続しており、歩行時に増強するとのこと。発熱はなし。既往歴として高血圧と糖尿病あり。持病の治療は、日頃は、近所の[ビル名]にある[医療機関名]（[住所]）に通院しているとのこと。[続柄]の[氏名]より「[続柄]から聞いた話による昨夜は痛みで眠れなかった様子」との情報あり。虫垂炎の可能性を考慮し、腹部エコーを施行予定。検査・治療方針について本人および[氏名]に説明済み。理解・同意あり。優秀

完璧！指示文もよく理解して、変換してほしいところはすべて変換してくれている。

Gemma-3-4b　4Q K M

google/gemma-3-4b

本日午前、[氏名]さん（78歳男性）が右下腹部痛を主訴に来院。痛みは昨夜から持続しており、歩行時に増強するとのこと。発熱はなし。既往歴として高血圧と糖尿病あり。持病の治療は、日頃は、[住所]にある[医療機関名]（[都道府県名][市町村名]）に通院しているとのこと。妻の[氏名]さんより「[続柄]から聞いた話による昨夜は痛みで眠れなかった様子」との情報あり。虫垂炎の可能性を考慮し、腹部エコーを施行予定。検査・治療方針について本人および[氏名]さんに説明済み。理解・同意あり。

優秀。例題としては、氏名と住所しかあげていないが、ちゃんと医療機関名とかを置換もする。とはいえ、長野ビルは、住所であると判定、妻と娘の部分は、娘は例をあげているので続柄に置換するが、妻はそのまま。妻と言われても誰の妻かはわからないので匿名化処理としては問題なく、実用可能なレベル。

Gemma-3-1b Q8

gemma-3-1b-it

本日午前、[氏名]さん（78歳男性）が右下腹部痛を主訴に来院。痛みは昨夜から持続しており、歩行時に増強するとのこと。発熱はなし。既往歴として高血圧と糖尿病あり。持病の治療は、日頃は、近所の長崎ビルにある山口医院（長野県）に通院しているとのこと。妻の[氏名]さんより「娘から聞いた話による昨夜は痛みで眠れなかった様子」との情報あり。虫垂炎の可能性を考慮し、腹部エコーを施行予定。検査・治療方針について本人および[氏名]さんに説明済み。理解・同意あり。

１Bまでモデルサイズが小さくなると指示文の読解ができなくなってくるのか氏名以外は置換してこない。山口医院に通っている78歳というとかなり絞り込みができてしまう事になる。

Gemma-3-270m-it

google/gemma-3-270m-it

本日午前、宮崎一郎さん（78歳男性）が右下腹部痛を主訴に来院。痛みは昨夜から持続しており、歩行時に増強するとのこと。発熱はなし。既往歴として高血圧と糖尿病あり。持病の治療は、日頃は、近所の長崎ビルにある山口医院（長野県）に通院しているとのこと。妻の宮崎花子さんより「娘から聞いた話による昨夜は痛みで眠れなかった様子」との情報あり。虫垂炎の可能性を考慮し、腹部エコーを施行予定。検査・治療方針について本人および花子さんに説明済み。理解・同意あり。

270ｍ・・・。いや指示に従って仕事してよ・・・・。全く置換してないし。

マスキングするという作業は、自然文から文脈を考察して、氏名なのか、住所なのかと考えなくてはいけないので、単純な置換作業ではないので、270ｍが得意とする単純作業ではないので、この手の作業はそもそも不得意。

さすがにもっと詳細に指示してあげないとタスクはこなせない。

もっと簡単で文も短くしてみた。入力プロンプトは、

以下の【対象文】に人の名前、苗字があれば、その部分を[氏名]と置換しなさい。置換だけし、新たな単語の追加はしない。

【対象文】 本日午前、宮崎一郎さん（78歳男性）が右下腹部痛を主訴に来院。

google/gemma-3-270m-it

宮崎一郎さん（78歳男性）が右下腹部痛を主訴に来院。

いや・・そのまま返してくれてもね。

これらの比較から、このタスクでは、モデルサイズの境界が、４Bは必要。Gemma-3-4b　ぐらいってかなり優秀という事になります。