NECは、12月5日に大規模言語モデル（LLM）と映像認識AIを組み合わせ、長時間の動画から利用者の目的に応じた短縮動画と説明文章を自動生成する技術を、世界で初めて開発したことを発表しました。NECは本技術の試用版を、2024年3月から損害保険会社や自動車メーカーなどに提供する予定です。
参考：NEC
技術開発の背景
近年、交通や物流、製造、建設、小売りなど、様々な業界で安全管理や業務効率化を目的とした動画利活用が進んでいます。しかし、長時間の動画確認と報告書作成には、依然として多くの時間と労力が必要でした。
生成AIの登場により、静止画像の説明文章の自動生成ができるようになりましたが、様々な構造物や環境からなり、かつ時間とともに変化する複雑なシーンを含む動画に適用することは困難でした。
2023年9月25日、OpenAIはChatGPTに新しく画像認識、音声認識、及び発話機能を追加することを発表しました。 これによって、画像をChatGPTに認識させてチャットを行うことより直感的な体験が可能になります。 今回[…]
今回開発した技術の特長
① 所望のシーンを効率的に見つけ出すことができる
映像認識AIとLLMを組み合わせることで、動画の各シーンを理解することが確認できました。NECは、100以上の映像認識AIを活用し、人物、車、建物、動物、樹木などの様々な物体や環境を個別に認識することで、動画の各シーンを理解します。
このプロセスにより、利用者が求めるシーンを効率的に特定し、動画を繰り返し確認する手間を削減することができます。
② LLMにより、専門家と同品質の報告書を自動で生成できる
生成する文章の品質を高めるため、対象分野のサンプル映像を使用してLLMをファインチューニングします。ドライブレコーダーの動画に適用する場合、モデルに事前に道路交通関係の動画を分析します。これによって動画内で起きた出来事を正確に理解する能力を持たせます。
この手法により、生成AIの正確性の問題であるハルシネーションに対応し、信頼性の高い報告書を生成することが可能になります。
③ コンパクトで高性能なLLMにより迅速に文章を生成できる
NECが開発したコンパクトで高性能なLLMと高速なデータ検索システムの活用により、1時間以上の動画から目的のシーンと説明文章を数秒で生成することが可能です。
動画解析および説明文章の生成の流れ（出典：NEC）
検証の結果
特に注目されるのは、この技術のドライブレコーダーの動画分析への応用です。事故発生時の状況や経緯を記述した文章と短縮動画を自動で生成し、損害保険金請求や交通安全指導のための事故調査報告書をフォーマットに合わせて迅速に作成できます。これにより、従来は手間がかかっていた報告書作成作業の時間を半減させることが可能になります。
NECは本技術を、ドライブレコーダーの動画を解析し、事故調査報告書を作成するユースケースについて検証を行いました。その結果、従来は人手で行っていた事故および事故原因となったシーンの探索や、事故報告書案の作成を自動化することができ、報告書作成にかかる時間を半減できることを確認しました。
出典：NEC
今後の展望
NECは、2024年3月から本技術の試用版を損害保険会社や自動車メーカーなどに提供開始し、ドライブレコーダーの動画を活用した事故報告書などの資料作成を支援すると述べています。
NECは、この技術を看護・介護記録や製造・建設現場での作業記録の作成支援、自動運転AIの学習させる事故シーンの収集や説明文の作成、放送映像用コンテンツ収集とナレーション原稿の作成など、様々な分野へ展開していく計画です。これにより、多くの業界での業務効率化と安全性向上が期待されます。
NECでの生成AI開発・活用
NECは生成AIの開発・活用ともに非常に力を入れている企業です。
2023年7月には日本語に特化したLLMを独自開発しました。また、10月にはNECと相模原市が生成AIに関する協定が結ばれました。これは、自治体初となる国産生成AIの導入事例です。
NECが、企業向けに自社で開発した生成AIサービスを提供することが明らかとなりました。 この生成AIは、アメリカのオープンAI社のシステムを一切使用せず、完全な独自開発であるとされています。NECはこの新しいサービスを7月から企業向[…]
神奈川県相模原市とNECは、10月19日に国産の生成AIに関する協定を締結しました。協定の締結式は、相模原市役所で行われ、本村賢太郎市長とNECの田中繁広副社長らが出席しました。 相模原市によると、国産の生成AIの導入は全国の自治体[…]
NECはLLMを開発・提供するだけでなく、企画から検証、運用までワンストップで支援するサービス「NEC Generative AI Service Menu」を提供しています。そして、その最初の顧客を自社に位置づけ、3万人の社員がNECのLLMやOpenAIのLLMを業務に利用できるようにしています。
その取り組みの結果、生成AIを使うことでこれまで30分かかっていた議事録の作成時間が5分に短縮され、資料作成時間も半減させることができています。詳しい取り組みの内容は、こちらのインタビュー記事を
生成AIが注目されている中、日本電気株式会社（以下NEC）は、独自のLLM(大規模言語モデル)を開発。今回は、社内の業務利用、そしてお客様に向けた生成AIサービス「NEC Generative AI Service Menu」を提供し、L[…]
まとめ
NECは、LLMと映像認識AIを組み合わせ、長時間の動画から利用者の目的に応じた短縮動画と説明文章を自動生成する技術を開発したことを発表しました。
2023年4月には、ドライブレコーダーの動画を適用した報告書作成に利用される予定です。この技術は交通関係のみにとどまらず、監視システムや製造現場の不良品検出など、動画が利活用される多くの現場の文書作成において業務効率化が期待されます。
