米NVIDIAは2月13日（現地時間）、AIチャットボット「Chat with RTX」のデモをリリースしました。
Chat with RTXは、NVIDIA GeForce RTXを搭載したWindows PC上で動作します。
参考：NVIDIA
使用できる言語モデル
Chat with RTXで使用できるAIモデルはMistralとLlama 2の2種類となっています。
様々なファイル形式に対応
Chat with RTXはテキスト、PDF、doc/docx、xmlファイルなど多様なファイル形式に対応しています。ユーザーは指定したフォルダにファイルを配置するだけで、数秒でデータセットに追加されます。
「サラがおすすめしていたレストランの名前は何ですか？」と質問すると、データセット内のテキストファイルを参照して、レストランの名前を答えてくれます。
さらに、YouTubeのURLをアプリに指定することで、ビデオの文字起こしを取得し、その内容に基づいた質問が可能になります。
YouTubeのURLをアップロードして「CES 2024でNVIDIAが発表したGPUは？」と質問すると動画の内容から発表したGPUの名前を答えてくれます。
技術デモの基盤
Chat with RTXの技術デモは、TensorRT-LLM RAG開発者リファレンスプロジェクトに基づいており、GitHubから入手可能です。
開発者はこのリファレンスを利用して、TensorRT-LLMによって加速されたRTX向けの独自RAGベースアプリケーションの開発と実行ができます。
システム要件
Chat with RTXは、Windows 11の環境で動作します。また、GeForce RTX 30シリーズや40シリーズをはじめとする高性能なグラフィックカードを搭載したシステムでの利用を想定しており、最低限8GB以上のVRAM、16GB以上のRAM、そして535.11以降のドライバーが必要条件とされています。
出典：NVIDIA
まとめ
NVIDIA GeForce RTXを搭載したWindows PCで動作するAIチャットボット「Chat with RTX」のデモをリリースしました。Chat with RTXは、様々な形式のファイルやYouTubeの動画などを参照してユーザーの質問に答えることができます。
Chat with RTXのリリースにより、AI技術のさらなる活用が期待されます。特に、高速なリアルタイム処理が求められる業務や、複雑なデータセットを扱う研究分野での応用が見込まれています。
Chat with RTXの紹介は、こちらの動画から確認することができます。
