AI研究者がチャットボットの効率を2倍にする方法を開発

By Decrypt – 2023/08/05 05:47:27 (JST)

AI研究者たちは、コンテキストの能力を高めることで、チャットボットの効率を2倍にする方法を開発したと主張しています。チャットボットで使用される現在の言語モデル（LLM）は、処理能力に制限があり、返答を形成する際に使用できる背景情報の量が制約されています。Abacus AIは、入力テキストの単語の位置を追跡する位置エンベッディングをスケーリングする技術を開発し、モデルがより多くのトークンを処理できるようにしています。研究者たちは、スケーリングされたLLMを評価し、ベースラインモデルの2,000語に対して、実世界の例で最大16,000語のコンテキストで正確性を維持したことを発見しました。この開発により、長い会話でもより知識豊富で一貫性のあるチャットボットが実現する可能性があります。

既存のLLMをスケーリングすることは、使用可能なコンテキストの長さを拡大し、大規模な言語モデルへのアクセスを民主化するための有効な方法と見なされています。ただし、スケーリング単体では高品質な出力を保証するわけではないため、微調整の戦略が依然として必要です。Abacusのチームは、さらにコンテキスト容量を拡張するための高度な位置エンコーディング手法の探求も行っています。チャットボットの効率を向上させ、より多くのコンテキストを処理できるようにすることで、多様なトピックに精通した次世代のAIアシスタントが開発される可能性があります。研究者たちは、技術的な制約を克服するために絶えず取り組んでおり、人工一般知能の追求に向けて進歩を遂げています。

※これは引用元記事をもとにAIが書いた要約です (画像の権利は引用元記事に記載のクレジットに帰属します)

引用元サイトで読む

原文をDeepLで翻訳する

(β版: 記事が長い場合は動かない可能性があります)