chakokuのブログ(rev4)

テック・コミック・DTM・・・ごくまれにチャリ

2025-12-31から1日間の記事一覧

LLM from Scratchを参考にミニマムなLLMを作ってみる(Tokenizerまで)(その1)

背景:LLMや生成AIは仕事では使っているが仕組みはあまり分かっていなかった。仕事の関係でもう少し理解が必要 課題:Attentionがあまり分かっていないので、LLM from Scratch(LLM自作入門)を使ってミニマムなLLMを作ってみることにする。 結論:2章の説明を…