なな / note

Attention Is All You Need を、自分の言葉で読み解く

Transformerの原点となった論文を読む。「どこに注目するか」というアイデアを、数式と身近なたとえで整理してみました。

勾配降下法を「山を下りる」で理解する

微分の記号の向こうで、何が起きているのか。小さな一歩を繰り返すアルゴリズムを、直感から追いかける。