最近になって調べてみたらこの記事に間違いがありましたので、訂正します。シグモイド関数と恒等関数をかけた関数の名前ですが、GELUではなくSwishと呼ぶそうです。GELUについて調べていて、この記事に来てしまった方がいらっしゃいましたら、お詫び申し上げ…
引用をストックしました
引用するにはまずログインしてください
引用をストックできませんでした。再度お試しください
限定公開記事のため引用できません。