2026-01-01から1ヶ月間の記事一覧
背景:Youtubeでちょっと昔の音楽を聴いていて、SNAP!のRhythm Is A Dancerが耳に残って?これをDAWで再現してみたいと思った 取り組み:Ableton LiveでEDM勉強中なのだが、耳コピーで再現に取り組む 状況:聞いてるだけならシンプルな楽曲と思えるが素人に…
課題:3.3章(P58):簡単なSelf-Attention機構を使って、コンテキストベクトルを作る章を理解する 取り組み:LLM本の説明を正しく理解しているか検証のため、ライブラリを使わず、素でn次元配列を演算して、コンテキストベクトルを生成する 結論:LLM本の実行…
背景:まだ 正月三が日だけど、スパイスの効いたサバカレーを作る。 取り組み:今回はホールスパイスを潰して追いマサラも作る。レシピ等はほぼ最終版のつもり。再現性のため詳細に書く 結論:追いマサラの香りがイマイチな印象、追いマサラしたけど、あまり…
背景:「LLM自作入門」(LLM from Scratch(ChatGPTでは、Raschka本と言ってきた))を読んでミニマムLLMを作る(その2) 課題:「2.8章 単語の位置をエンコードする」まで読んで来た。トークンの位置は絶対位置情報を使い、乱数で生成した位置組み込み(pos_embedd…