情報・数理系
情報科学研究科
2023年
56.意味的な損失に基づく言語モデルにおける学習率最適化手法の調査
受講場所
オンライン
担当研究科
情報科学研究科
担当者
荒瀬由紀
最大受講人数
1人
【概要】
機械学習は学習を重ねることでパラメータを適切な値に近づけていく。そのうえで学習率というものは一回の学習でどの程度パラメータを修正するかを決める非常に重要な値である。本研究では、言語モデルの予測タスクにおいて、学習率を予測単語と正解単語の意味的な差異から導き出されるパラメータに基づいて調整した結果を調査したものである。