AUTHOR
タクヤ
LoRA(低ランク適応)
「LoRA(低ランク適応)」とは、大規模言語モデル(LLM)のファインチューニングにおいて、元のモデルのパラメータを凍結したまま、低ランクの小さな行列アダプターを追加して学習させることで、メモリ消費量と学習コストを劇的に削減する手法のことです。
「LoRA(低ランク適応)」とは、大規模言語モデル(LLM)のファインチューニングにおいて、元のモデルのパラメータを凍結したまま、低ランクの小さな行列アダプターを追加して学習させることで、メモリ消費量と学習コストを劇的に削減する手法のことです。