LoRA（Low-Rank Adaptation）
ろーら機械学習
意味・定義
大規模なAIモデルを効率的にファインチューニングするための手法。少ないパラメータで高精度な調整が可能。
解説
LoRA（Low-Rank Adaptation）は、大規模AIモデルを効率的にファインチューニングする手法です。モデル全体を更新する代わりに、小さなアダプターを追加するだけで、高精度なカスタマイズが可能になります。 従来のファインチューニングは、数十億個のパラメータすべてを更新する必要があり、膨大な計算資源とメモリが必要でした。LoRAは、元のモデルを凍結し、小さな行列（通常は元のモデルの0.1%〜1%程度）だけを学習させます。これにより、メモリ使用量を大幅に削減できます。 LoRAの利点は多数あります。学習が速い、必要なメモリが少ない、複数のLoRAを切り替えて使える、元のモデルを保持できる、などです。特に、個人のPCでも大規模モデルをカスタマイズできる点が革新的です。 画像生成AIのStable Diffusionでは、LoRAが広く使われています。特定のキャラクターやアートスタイルを学習させたLoRAを、コミュニティで共有し、誰でも利用できる文化が生まれました。
使い方・例文
"Stable Diffusionでは、「宮崎駿風のアートスタイル」を学習させたLoRAを適用することで、ジブリ映画のような画像を生成できます。LoRAファイルは通常数MB〜数百MBと小さく、簡単に配布・共有できます。 企業の社内チャットボットでは、汎用的な言語モデルに、自社の製品情報や業務プロセスを学習させたLoRAを適用することで、専門的な質問に正確に答えられるようになります。複数の部署ごとにLoRAを作成し、切り替えて使うことも可能です。"