Transformer
とらんすふぉーまー自然言語処理
意味・定義
自然言語処理で革命をもたらしたニューラルネットワークアーキテクチャ。注意機構（Attention）を中心とした構造を持つ。
解説
Transformerは、2017年にGoogleが発表した深層学習モデルのアーキテクチャです。それまで主流だったRNN（再帰型ニューラルネットワーク）の弱点を克服し、自然言語処理の世界を一変させました。 最大の特徴は「Attention機構」を使って、文章内の単語同士の関係性を並列に処理できる点です。例えば「彼は銀行に行った」という文で、「彼」が誰を指すのか、「銀行」が金融機関なのか川岸なのかを、文脈全体から判断できます。 従来のRNNは文章を順番に処理していたため、長い文章になると最初の方の情報を忘れてしまう問題がありました。Transformerはこの制約を取り払い、文章全体を一度に見渡せるようになったのです。 現在、GPT、BERT、T5など、ほぼすべての大規模言語モデルがTransformerをベースにしています。機械翻訳、文章生成、質問応答など、あらゆるタスクで圧倒的な性能を発揮し、AI研究の標準アーキテクチャとなりました。
使い方・例文
"ChatGPTやGeminiなどの対話AIは、すべてTransformerアーキテクチャを採用しています。Google翻訳も2016年以降、Transformerベースのモデルに切り替わり、翻訳精度が大幅に向上しました。 画像認識の分野でも、Vision Transformer（ViT）が登場し、従来の畳み込みニューラルネットワーク（CNN）を超える性能を示しています。音声認識、動画解析、タンパク質構造予測など、テキスト以外の領域でもTransformerの応用が広がっています。"