投稿

8月, 2025の投稿を表示しています

ローカルLLM:医師国家試験を解かせてみた(GPUなしCPUのみ)Gemma3 4B-it-q4_k_m

イメージ
https://github.com/jungokasai/IgakuQA から問題をひっぱってきまして、ローカルLLMでの医師国家試験の回答精度を見てみました。 といってもすべて解くには時間がかかるので、問題の中で2018年の問題だけ解いてみました。 中には、  診察器具の写真(①〜⑤)を別に示す。成人に対して鼻処置を行った上で、鼻腔から上咽頭、喉頭にかけて内視鏡検査を実施する際に使用する器具はどれか。2つ選べ。 といった問題があって画像問題でそもそも解けないものも含まれてはいます。 また、”2つ選べ”という指示に対して、一つしか選択しか返せないプログラムで、一つでも選べると正解というあまあま採点から。(最終的には改良している) で一つでもあっていると正解とみなすという超甘い採点をしてあげた状態で、最終的な75問の正解数は、25問で33.3%の正答率。5択の問題なのでランダムに選んで20%。 2つ選べとか3つ選べいう設問に対応できるようにしました。そうすると正解率がさがりまして、甘い採点だったのが厳しくなり、24%の正答率。 推論結果と答え合わせをする所での間違い(つまり推論は合っていても、答えあわせが間違っている)というような改善をしたりして、以下が最終的な正答率。 Problem Number of questions Number of correct Correct answer rate 112 A 75 20 26.7 B 49 26 53.1 C 66 21 31.8 D 75 28 37.3 E 51 24 47.1 F 84 34 40.5 total 400 153 38.3 トータルの正答率は、38% 112-B の49問を解くのにかかった時間は、 742秒、12分22秒(Ryzen3 3200GのCPUのみでの計算) 422秒、7分2秒(Ryzen5 5600のCPUのみでの計算) いやーこれほどCPUの差を見たのは久です。 2019年に発売されたCPU。別にマイコンのファームを書いたり、CADで基板を設計したりという用途がほとんどだったので、特に困っていなかった。Windows11にもできたし。 しかし、あまりに作業効率が悪いので急遽中古でAM4マザボに対応するCPUでお手頃なRyzen5 5600を中古で購入。1万円なり。ここか...

ローカルLLMを動かしてみた(GPUなしCPUのみ)Gemma3 4B

イメージ
 AMD Ryzen3 3200G 3.6GHz RAM DDR4 2600 (2400のものが16GB,2666のものが32GBで2400の方を2666HzにOC) GPUなし 1TのSSD Copilot君に質問をなげまっくて動くようにした。その後、これまでの手順をと排出されたのが以下。参考に。 🧱 ステップ①:WSL(Windows Subsystem for Linux)の導入 ✅ 手順概要 PowerShell(管理者)で以下を実行 wsl --install Ubuntu(推奨)を選択して初期セットアップ WSL2に切り替え(必要なら) wsl --set-version Ubuntu-22.04 2 wsl -l -vと入れて、   NAME      STATE           VERSION * Ubuntu    Running         2 とかえってくればOk 🧰 ステップ②:llama.cpp のビルド(CMake方式) ✅ 必要パッケージのインストール sudo apt update sudo apt install build-essential cmake git そもそもルートではいれば、sudoは無論いらない。 ✅ llama.cpp の取得とビルド git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake --build build --config Release -j$(nproc) → 実行ファイルは build/bin/llama-run , llama-server などに生成される 📦 ステップ③:Gemma GGUFモデルの取得と配置 ✅ モデルのダウンロード(UnslothやGitogati版) huggingfaceにログインできるようにしておくことと、 wget https://huggingface.co/gitogati/gemma-3-4b-it-Q4_K_M-GGUF/resolve/ma...

ChronoWall:マルチモニタ対応のスクリーンセーバーの作成

イメージ
最近のモニターは焼き付く事はほぼないのですが、待機中も動画が表示されているとかっこいいというだけでスクリーンセーバーを設定しています。しかし、マルチモニターの場合、メインにはスクリーンセーバーが動作しますが、セカンダリーモニターにはスクリーンセーバーがかからず黒い画面になります。スクリーンセーバーは2画面以上に対応していないのがほとんど。 http://www.reallyslick.com/ というようなものもあるのですが、気にいったものが見つけられなかったり有料だったので自作してみました。公開しますが、自分の環境以外では動作を確認していません。 ----------------------------------------------------------------------------- ChronoWall - 時間を映し出す壁:静かに流れる時間を、映像とともに空間に溶け込ませる ギリシャ語の「時間」から派生したChronoを映す壁という意味で名前をつけてみました。 動作としては、動画をリピートして再生しつづけるというものです。時計代わりに日時も画面に表示するようにしてあります。 ----------------------------------------------------------------------------- 【画像】 ・先にスクリーンセーバーにしたいmp4またはwmvの動画を用意します。 ・私は、以下のPIXABAYのサイトから気に入った動画をダウンロードして利用しています。 https://pixabay.com/ja/videos/ ・最近のモニターは焼き付く事はほぼないのですが、画面全体が少し動く同じ写真のように静止しつづけるもの以外を選ぶのと、リピートしますので終わりと始めで大きく変わらないものが良いでしょう。まあ、個人で利用する上では、お気に入りのアーティストのMVとかを流してもよいと思います。 ・すべてのmp4が上手く再生できない事がわかっていますが、対処法はあります。(下の方に記載) ----------------------------------------------------------------------------- 【設定】 ・Windowsフォルダに入れてください。 ・設定>個人設定>ロ...