用語集

Attention機構

読み方
あてんしょんきこう

Attention機構(注意機構、アテンション機構)とは、深層学習・自然言語処理・コンピュータビジョンなどの分野で広く使われる重要度計算メカニズムで、入力データの中で「どの部分にどれだけ注目すべきか」を学習可能なパラメータで数値化し、出力に反映させる仕組みである。2014年にBahdanauらが機械翻訳のための「Soft Attention」として提案した後、2017年にGoogle DeepMindのVaswaniらが論文「Attention Is All You Need」でTransformerアーキテクチャを発表し、Attention機構を中核に据えた構造が現代の大規模言語モデル(LLM)・画像生成AI・音声認識AI・推薦システム・自動運転など多方面のAI技術の基盤となった。仕組みはQuery(問い合わせ)・Key(検索対象)・Value(値)の3要素からなり、QueryとKeyの内積でスコアを算出し、Softmax関数で正規化した重みをValueに掛け合わせて出力ベクトルを生成する。代表的な派生としてSelf-Attention・Multi-Head Attention・Cross-Attention・Sparse Attention・Linear Attentionなどがあり、ChatGPT(OpenAI)、Claude(Anthropic)、Gemini(Google)、Copilot(GitHub)など現代の主要AIサービスはすべてAttention機構を基盤とする。建設業界でも、AIによる図面自動解析・劣化診断・見積自動化・施工写真分類などの分野でAttention機構が活用されている。明誠およびJCSAでは、建設業向けAI活用の最新動向を建設業経営者へ情報提供し、生産性向上の方向性を示すセミナーを開催している。

← 用語集一覧へ戻る

お気軽にご相談ください!