LLM の本を読み始める

永らくデスクの上に棚ざらしになっていた「大規模モデル入門」をようやく読み進める時間が取れるようになった。

前半は word2vec から transformer, LLM に至る過程を、数式を交えて解説しているのだが、しばらく数学を使っていなかった頭でついていくのはなかなか大変である。1ポモドーロで3～4ページ進むのがやっと。

この本は実行例が豊富に乗っているので、各プログラムを Jupyter notebook で動かしながら確認している。プログラムは Google Colaboratory しか正式サポートしていないが、今のところ、ローカルでも動くようだ。（もっとも私の PC は RAM 128GB、VRAM 24GB という代物だが）

勤務先に夏イベントがあるようなので、それまでに読み進めて何かアウトプットできると良いなと思っている。