chakokuのブログ(rev4)

テック・コミック・DTM・・・ごくまれにチャリ

2026-04-26から1日間の記事一覧

NotePCでLlama3.1 8Bモデルを動かす->パラメータチューニングで安定稼働->最終的にはLlama-3.2-1B-Instruct-Q4_K_Mに落ち着いた

取り組み:普段使いできる、並みの賢さのローカルLLMが使いたいと思って、Copilotから勧められた、Llama3.1 8BをNotePCに入れてみた 結論:Llama3.1 8B (量子化4ビット)はパラメータ調整することで、コンテナサイズ8Gで動作しややこしい質問にも答えてくれ…