GPT-J

GPT-J（GPT-J-6B、ジーピーティー・ジェイ）は、によって2021年に開発されたオープンソースの大規模言語モデル（LLM）である。名前が示すように、プロンプトから続く人間のようなテキストを生成するように設計された生成型事前学習済みトランスフォーマーモデルである。名前の任意の「6B」は、60億のパラメータを持つことを指す。モデルはGitHubで入手可能だが、ウェブインターフェースはもはやモデルと通信しない。開発は2021年に停止した。

構造 GPT-Jは60億のパラメータを持つGPT-3類似のモデルである。GPT-3と同様に、テキストがどのように続くかを予測することによって自然言語処理（NLP）タスクを解決するように設計された自己回帰型、デコーダのみのトランスフォーマーモデルである。

モデルは28のトランスフォーマー層と16のアテンションヘッドを持つ。語彙サイズは50257トークンで、GPT-2と同じである。コンテキストウィンドウサイズは2048トークンである。

で訓練され、並列化スキームを処理するためにJAXのMesh Transformer JAXライブラリを使用した。

GPT-Jはプロンプトから英語のテキストを生成するように設計された。他の言語への翻訳やテキスト生成、あるいは特定のタスクのためにモデルを微調整することなく性能を発揮するようには設計されていなかった。すべてのLLMと同様に、事実に基づく正確な情報を提供するようにはプログラムされておらず、確率に基づいてテキストを生成するだけである。

脚注

注釈

出典