楽天グループは3月21日、日本語に特化した大規模言語モデル（LLM）の基盤モデル「Rakuten AI 7B」と、その派生モデルである「Rakuten AI 7B Instruct」「Rakuten AI 7B Chat」の3つをオープンソースで公開しました。楽天グループの公式「Hugging Face」リポジトリからダウンロードが可能です。
参考：楽天グループ
70億パラメータの日本語基盤モデル
「Rakuten AI 7B」は70億パラメータを有する日本語の基盤モデルです。フランスのAIスタートアップ企業Mistral AIの「Mistral-7B-v0.1」をベースに、楽天が独自に開発したマルチノードGPUクラスターで大規模データを継続的に学習させることで高性能化を図りました。
公開されたのは以下の3つのモデルです。
- 「Rakuten AI 7B」: 70億パラメータの日本語基盤モデル
- 「Rakuten AI 7B Instruct」: インストラクションチューニング済モデル
- 「Rakuten AI 7B Chat」: インストラクションチューニング済モデルを基にしてファインチューニングを行ったチャットモデル
いずれもApache 2.0ライセンスで提供されており、楽天の公式HuggingFaceリポジトリからダウンロードが可能です。
また、3つのモデルは、文章要約や質問応答、対話システム構築などのさまざまなテキスト生成タスクにおいて商用利用できます。
高品質データと最適化で性能と効率を両立
楽天は事前学習の段階で、独自のフィルタリングとアノテーション技術を用いて学習データの品質を高めています。
さらに、日本語に特化した「形態素解析器」の採用により、テキスト処理の高効率化を実現しています。
これらの工夫によって、楽天のLLMは言語モデル評価ツール「LM Evaluation Harness」で日本語と英語で高いパフォーマンスを示しています。
日本語タスクで基盤モデルが平均69.8ポイント、インストラクショントューニングモデルが平均77.3ポイントのスコアを記録しました。
出典：楽天グループ
最先端のAIを活用して新たな価値創出を
楽天のCDO のティン・ツァイ氏は、今回発表したLLMに関して次のようにコメントしています。
楽天は、お客様の課題を解決するためにテクノロジーを駆使して最適なツールを活用したいと考えています。楽天は、多様なAIモデルや、長年にわたって独自に開発を続けてきたデータサイエンス、機械学習モデルなど、幅広いポートフォリオを保有しています。そのため、コストや品質、性能の面で様々な顧客ニーズを解決するための最適なツールが提供可能です。このたび、大規模な日本語の言語基盤モデル『Rakuten AI 7B』の開発を通じて、楽天が得た知見をオープンソースコミュニティと共有し、日本語LLMのさらなる開発と発展に貢献できることを楽しみにしています
出典：楽天グループ
楽天は、AI化を意味する「AI-nization（エーアイナイゼーション）」をテーマに掲げ、今後も豊富なデータと最先端のAI技術の活用し、世界中の人々に新たな価値創出を目指す、と述べています。
まとめ・楽天グループの生成AIに関する取り組み
楽天グループは日本語に特化した3つの大規模言語モデルをオープンソースで公開しました。楽天のLLMは、言語モデル評価ツールにおいて日本語のLLMとして高いパフォーマンスを示しています。
楽天グループは、2023年11月にOpenAIと戦略的パートナーシップを結び、AIプラットフォーム「Rakuten AI for Business」の開発を発表、2024年2月には通信業界向けの最先端AIツールを開発の発表など、生成AIに関する取り組みを活発に行っています。
ChatGPTで広く知られるOpenAIとパートナシップを結んでいるということで、高性能な生成AIツールが今後展開されること期待できるでしょう。
楽天グループは、11月14日にOpenAIと戦略的パートナーシップを結び、「Rakuten AI for Business」という新しいAIプラットフォームの開発を発表しました。このプラットフォームは、営業、マーケティング、カスタマーサポ[…]
楽天グループは2月26日、OpenAIとの戦略的協業を通じて、通信業界向けの最先端AIツールを共同で開発することを発表しました。 楽天のOpen RANとOpenAIのAI技術の融合により、通信業界に特化した画期的なAIソリューショ[…]
