マジセミドライブ

ウェビナー関連のニュースやITサービス&ツールの最新情報を随時配信します。

OSS情報

2020.01.01

【OSS情報アーカイブ】BERT

【OSS情報アーカイブ】BERT

※当記事に記載されている情報は、古くなっている場合があります。オフィシャルサイトで最新情報をご確認ください。

コンテンツ

「BERT」とは

概要

BERT(バート)とは、自然言語処理(NLP)タスクの事前トレーニング手法です。事前トレーニングされたBERTモデルを1つの追加出力レイヤーで微調整することで、「質問応答」や「言語推論」などの幅広いタスクに対応する最先端のモデルを作成できます。Google Researchが中心となり開発が進められています。

基本説明

BERTは「Bidirectional Encoder Representations Transformers」の略称で、言語表現を事前にトレーニングする手法です。

自然言語処理(NLP)とは「言語翻訳」「センチメント分析」「セマンティック検索」「その他の数多くの言語タスク」などにまたがる人工知能(AI)のサブカテゴリです。

「汎用言語理解モデル」を大きなテキストコーパス(Wikipediaなど)で事前トレーニングし、そのモデルをNLPタスク(質問など)に使用します。

「ディープ双方向アプローチ」により、言語理解タスクにおいて、以前のトレーニング方法よりも高い精度に達しています。

オフィシャルサイト情報

■オフィシャルサイト

→arxiv.org →BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

■GitHub

→github.com →google-research/bert

■主要開発元

BERTは、Google Researchが中心となり開発が進められています。

→research.google

■ライセンス情報

BERTのライセンスは「Apache License 2.0」です。

詳細について、こちらを参照ください。
→github.com →google-research/bert →LICENSE

■動作環境

リポジトリ内のすべてのコードは「CPU」「GPU」「CloudTPU」ですぐに使用できます。

ただし、GPUトレーニングは単一GPUのみサポートしています。

■ダウンロード

→github.com →google-research/bert

高性能

BERTは、高い精度の結果を作成でき、11の自然言語処理タスクで最先端の結果を得られます。

・GLUEスコア:80.5%—7.7%改善
・MultiNLI精度:86.7%—4.6%改善
・質問応答テストF1:93.2ポイント—1.5ポイント改善
・SQuADv2.0テストF1:83.1ポイント—5.1ポイント改善

ディープ双方向アプローチ

BERTは、ディープニューラルネットワークの最下部から開始し、対象箇所の左側と右側の両方のコンテキストを使用する「ディープ双方向アプローチ」を採用しています。

入力内の単語の15%をマスクし、シーケンス全体をディープ双方向変成器エンコーダーで実行してから、マスクされた単語のみを予測します。

次に、大きなコーパス(Wikipedia+BookCorpus)で、モデル(12層から24層の変成器)を長時間トレーニングします。

事前トレーニング

事前トレーニングには、「4〜16のクラウドTPUで4日間ほど」のコストがかかりますが、言語ごとに1回限りの手順です。

■トレーニング済モデル

事前トレーニングモデルがリリースされています。

ほとんどのNLP研究者は、独自モデルを最初から事前トレーニングする必要はありません。

微調整カスタマイズ

微調整プロセスは短時間で完了できます。

「単一クラウドTPUで1時間ほど」もしくは「GPUで数時間ほど」で終了します。

例えば、SQuAD(スタンフォード質問応答データセット)の場合、単一クラウドTPUにおいて約30分でトレーニングでき、91.0%のDevF1スコアを達成できます。

参考元サイト

※定期的にメンテナンスを実施しておりますが、一部情報が古い場合がございます。ご了承ください。

この記事のタグ一覧

おすすめの記事

【デジタル寺田の3分用語解説】「 経済産業省:コンテンツ制作のための 生成AI 利活用ガイドブック 」とは?📘

デジタル寺田の3分用語解説

2024.11.18

【デジタル寺田の3分用語解説】「 経済産業省:コンテンツ制作のための 生成AI 利活用ガイドブック 」とは?📘

経済産業省による「 生成AI 利活用ガイドブック 」は、企業やクリエイター向けに、安心して「生成AI」を利用するための、「指針」「実例」「注意点」を明示しています。「業務効率化」や「新しいアイデア創出」の支援を目的としています。

【デジタル寺田の3分用語解説】「 VMWare 問題 」とは?🖥️

デジタル寺田の3分用語解説

2024.11.18

【デジタル寺田の3分用語解説】「 VMWare 問題 」とは?🖥️

「 VMWare 」の仮想化技術は、「ITインフラの効率化」に大きく貢献する技術ですが、Broadcomによる買収後のライセンス変更が大きな問題として注目されています。柔軟で慎重な契約見直しが今後の鍵となります。

【デジタル寺田の3分用語解説】「 2029年問題 」とは?📅

デジタル寺田の3分用語解説

2024.11.18

【デジタル寺田の3分用語解説】「 2029年問題 」とは?📅

「 2029年問題 」とは、高校でのデジタル教育改革により、新入社員と既存社員間でデジタルスキル格差が拡大する懸念を指します。企業は早急に対応が求められています。この格差は、企業競争力や業務効率にも、影響を及ぼす可能性があります。