chakokuのブログ(rev4)

テック・コミック・DTM・・・ごくまれにチャリ

2026-01-01から1日間の記事一覧

LLM自作入門でミニマムなLLMを作る(その2)

背景:「LLM自作入門」(LLM from Scratch(ChatGPTでは、Raschka本と言ってきた))を読んでミニマムLLMを作る(その2) 課題:「2.8章 単語の位置をエンコードする」まで読んで来た。トークンの位置は絶対位置情報を使い、乱数で生成した位置組み込み(pos_embedd…