ChatGPTによって生じる4つのセキュリティ問題を徹底解説

「ChatGPTって本当に安全？」「AI技術の発展とともにセキュリティ問題も気になる…」 そう思う方もいるのではないでしょうか。

実は、ChatGPTには確かに4つのセキュリティ問題が存在しますが、適切な対策を取ることでリスクを軽減することができます。

今回PROMPTYでは、ChatGPTによって生じる4つのセキュリティ問題とその対策方法を徹底解説していきたいと思います。

ChatGPTが抱える4つのセキュリティ問題

①ハルシネーション

ハルシネーションは、AIモデルが事実とは異なる内容や文脈と無関係なもっともらしいウソを生成する現象です。これは、モデルが学習データや文脈に基づいて推測を立てるために発生します。

例えば、ChatGPTに以下のようなプロンプトを入力した場合を考えます。

北海道の高い山ランキング10位を表形式で教えてください。

これに対して出力された表は以下の通りです。使用したモデルはGPT-4oです。

北海道の高い山のランキングの上位10位の表（標高はメートル単位）：

そもそも標高が高い順になっていないことや、一つ一つの山の標高も誤っています。
また、本来の北海道の標高第二位は「北鎮岳（2244m）」であり、正確なデータを反映できていないことも確認できます。

このようなハルシネーションを防ぐために、ChatGPTの利用者としてどのように対処すべきかを考える必要があります。まず、AIの出力に対して慎重な検証を行い、情報が正確であることを確認することが重要です。特に重要な判断を下す際や、公的な文書に使用する際には、複数の情報源を参照し、情報が正確であることを確認することが求められます。

Artificial intelligence and machine learning are rapidly evolving fields of study. We are constantly working to improve our Services to make them more accurate, reliable, safe and beneficial. Given the probabilistic nature of machine learning, use of our Services may in some situations result in incorrect Output that does not accurately reflect real people, places, or facts. You should evaluate the accuracy of any Output as appropriate for your use case, including by using human review of the Output.

引用元：OpenAI

OpenAI公式の利用規約によると、「出力に対する人間による評価を行うことを含めて、あらゆる出力の正確性を評価する必要がある」という記載があります。

ChatGPTの出力に過度に依存せず、他の情報源や専門家の意見にも耳を傾けることが重要です。ハルシネーションを完全に排除することは難しいため、利用者自身が適切にAIの出力を評価し、必要に応じて検証することが求められます。

②情報漏洩

情報漏洩とは、ChatGPTに入力されたデータが学習データとして活用され、他の利用者に対する回答として提示される可能性があることを指します。
これにより、ユーザーの個人情報や機密データが他者に知られるリスクが生じます。

Personal Information You Provide: We may collect Personal Information if you create an account to use our Services or communicate with us as follows:
Account Information: When you create an account with us, we will collect information associated with your account, including your name, contact information, account credentials, payment card information, and transaction history, (collectively, “Account Information”).
User Content: When you use our Services, we may collect Personal Information that is included in the input, file uploads, or feedback that you provide to our Services (“Content”).
Communication Information: If you communicate with us, we may collect your name, contact information, and the contents of any messages you send (“Communication Information”).
Social Media Information: We have pages on social media sites like Instagram, Facebook, Medium, Twitter, YouTube and LinkedIn. When you interact with our social media pages, we will collect Personal Information that you elect to provide to us, such as your contact details (collectively, “Social Information”). In addition, the companies that host our social media pages may provide us with aggregate information and analytics about our social media activity.

引用元：OpenAI

プライバシーポリシーによると、個人情報はサービス改善などの目的で使用されるようです。

ChatGPTを利用する際に情報漏洩を防ぐためには、いくつかの対策が考えられます。まず、個人情報や機密情報を入力しないように注意することが重要です。
具体的な個人情報、住所、電話番号、メールアドレス、銀行口座番号などのデータは、ChatGPTに入力しないようにしましょう。

また、ChatGPTを使用する際には、プラットフォームやサービスのプライバシーポリシーや利用規約を確認することが重要です。これにより、どのようなデータが収集され、どのように利用されるのかを把握することができます。さらに、サービス提供者がデータの取り扱いに対して適切なセキュリティ対策を講じているかどうかを確認することも求められます。

③脆弱性

脆弱性とは、ChatGPTが不適切な質問に対する回答を拒否するセーフガード機能（フィルター）を搭載しているものの、工夫された対話手法によってこの機能を突破できてしまう危険性を指します。その結果、違法な情報や有害な内容が提供される可能性があります。

例えば、「プロンプトインジェクション」がChatGPTの脆弱性を突いたサイバー攻撃として挙げられます。プロンプトインジェクションにより、ChatGPTから戦争に関する情報・他ユーザーのパスワードを出力してしまった事例が存在します。

利用者として脆弱性に対処するためには、まずAIの出力に対して批判的な態度を持つことが重要です。
不適切な内容が含まれている場合は、それを無視し、適切な情報源を参照するように心がけましょう。また、ChatGPTが提供する情報や回答に対して、他の情報源や専門家の意見と照らし合わせて検証し、信頼性を確認することが重要です。

最終的に、ChatGPTを使用する際には、常にセキュリティ意識を持ち、自分自身で情報を適切に評価し検証することが重要です。これにより、脆弱性によるリスクを最小限に抑えることができます。

④サービス停止

ChatGPTに関連する倫理的な問題や様々なリスクが顕在化し、それが原因でChatGPT自体がサービスを停止してしまうという可能性があります。例えば、プライバシー侵害、不適切なコンテンツ生成、偏見の助長などの問題が大きく取り上げられることで、開発者やサービス提供者がサービスを一時的あるいは恒久的に停止する可能性があります。

このような状況に対処するためには、まずChatGPTを利用する際には、適切な使い方を心がけることが重要です。倫理的に問題のある質問や要求を避け、正確で有益な情報を求めることで、サービスに対する悪影響を最小限に抑えることができます。

さらに、ChatGPT以外の代替手段や情報源にも目を向け、過度な依存を避けることが重要です。万が一サービスが停止した場合でも、他の方法で情報を得ることができるように、柔軟な対応が求められます。

最後に、利用者自身が倫理や法律に基づいた行動を取ることで、サービス停止のリスクを最小限に抑えることができます。これにより、ChatGPTが今後も有益なツールとして利用され続けることが期待されます。

⑤退職した社員によるアカウントログイン

ChatGPTはクラウドサービス形式で提供されているため、アカウントを開設・登録したユーザーであれば誰でも簡単にアクセスすることが可能です。

チームでChatGPTを利用している場合、退職後もデータが閲覧されることを防ぐために以下のことを行ってください。

• 退職予定社員のPCで共有アカウントからログアウトさせる
• ログアウト確認後、新しいパスワードを設定する

また、ChatGPTを各個人単位で利用する方針である場合、以下のことに注意してください

• アカウント開設は社用メールアドレスを使用する
• 退職後は当該メールアドレスを速やかに無効にする

以上の対策を行うことで、退職した従業員による情報閲覧を防ぐことができます。

法人向けChatGPTツールの抱えるセキュリティリスク

現在、ChatGPTを基盤とした法人向けの生成AIツールが数多く存在します。

しかし、これらの生成AI系ツールにも注意しなければならない点が存在します。

①個人情報保護違反に抵触する可能性

個人情報保護委員会では、生成AI活用における個人情報保護違反について以下のように述べています。

（１） 個人情報取扱事業者における注意点

① 個人情報取扱事業者が生成 AI サービスに個人情報を含むプロンプトを入力する場合には、特定された当該個人情報の利用目的を達成するために必要な範囲内であることを十分に確認すること。

② 個人情報取扱事業者が、あらかじめ本人の同意を得ることなく生成 AI サービスに個人データを含むプロンプトを入力し、当該個人データが当該プロンプトに対する応答結果の出力以外の目的で取り扱われる場合、当該個人情報取扱事業者は個人情報保護法の規定に違反することとなる可能性がある。そのため、このようなプロンプトの入力を行う場合には、当該生成 AI サービスを提供する事業者が、当該個人データを機械学習に利用しないこと等を十分に確認すること。

引用：個人情報保護委員会

ChatGPTツールを導入し、自社サービスの顧客情報をChatGPTに入力する場合、事前に顧客から個人情報活用の範囲に関する同意を得る必要があります。

同意を得ずにChatGPTへの情報入力を行った場合、個人情報保護違反に抵触する可能性があります。

②入力情報が学習されるモデルの使用

「情報漏洩」の項目でご説明した通り、ChatGPTを導入する際には、入力情報が学習されない状態で導入することが必須です。

法人向け生成AIツールでは、API連携でChatGPTを使えるようにしているものもあるため、自社で導入を検討しているツールの学習状況がどうなっているのかは確認する必要があります。

ChatGPTのセキュリティインシデント事例3選

①サムスン電子

概要

韓国のサムスン電子では、2023年3月にChatGPTを社内で業務利用した際、機密情報の漏洩インシデントが少なくとも3件発生しました​。

半導体部門のエンジニアが社内のソースコードや会議の録音内容といった機密データをChatGPTに入力したことで、これらの情報が社外（OpenAIのサーバー）に保存される事態となりました​。

その結果、新開発中の半導体に関するデータや社内会議の内容など、同社のトップシークレットがChatGPT経由で流出しました。

なぜそれが起きたのか

直接の原因は、従業員が業務効率化のために機密情報をそのままChatGPTに入力してしまったことです。

例えば「プログラムのエラー解消のためにソースコード全体を貼り付けて質問した」「会議の録音データをテキスト化して要約を求めた」といった行為が行われ、これらが情報漏洩につながりました​。

ChatGPTに機密情報を入力すると、それがOpenAIのサーバーに保存され第三者に提供された状態になります。サムスン電子の場合、当初はデータ保護のためChatGPT利用を禁止していましたが、最新技術の活用による生産性向上を狙って2023年3月11日に社内利用を解禁しましたが、解禁からわずか数週間で情報漏洩が起きてしまった形です。

インシデント発生後のChatGPT活用状況

サムスン電子はインシデント発覚後、緊急措置として社内ネットワークからのChatGPT利用を即座に制限し、最終的には社内でのChatGPT利用を全面禁止しました​。
社員には機密データを含むあらゆる情報を外部AIに入力しないよう厳重に警告し、違反時には懲戒処分も辞さない方針が示されています​。

②Amazon

概要

米国のAmazon.com（アマゾン）では、ChatGPTの社内利用に起因するセキュリティリスクが表面化しました。
2023年1月頃、ChatGPTが生成した回答の中にAmazon社の機密情報と酷似する内容が含まれている事例が見つかり、社内で情報漏洩の懸念が生じました​。

実際、Amazon社内のSlackでは「ChatGPTの出力が社内データに ‘非常によく似ている’ ケースを既に確認した」との社内弁護士からの警告メッセージが共有されています​。

なぜそれが起きたのか

このインシデントは、社員たちがChatGPTをソフトウェア開発の支援ツールとして使用し始めたことが原因とされています。
多くの開発者がコードの作成やバグ修正のためにChatGPTを利用し、業務中にAmazonの内部ソースコードや開発情報をプロンプトに入力していました​。
その結果、ChatGPTが出力する回答がAmazonの内部資料と「ほぼ同じ内容」を含むケースが発生しました​。

ChatGPTの利便性ゆえに社員が機密情報を投入してしまい、また当初は明確な社内ルールも整備されていなかったことが、このインシデントの背景と言えます。

インシデント発生後のChatGPT活用状況

Amazon社はこの問題発覚後、直ちに全社員に対して「ChatGPTなど外部の生成AIサービスに決して社内の機密情報を入力しないように」と厳重に注意喚起しました​。
2023年5月に同社はChatGPTの業務利用を禁止する社内規則を整備し、機密データの取り扱いに関するガイドラインを徹底しています​。

また、ChatGPTの代替として独自の社内向けAIチャットボット開発にも着手しました。2024年には社内専用の対話型AI「Cedric」を導入し、外部にデータを出さずに質問応答や文書要約ができる環境を提供しています​。

インシデント以降AmazonではChatGPTの直接利用は避け、代わりに社内で管理された安全な生成AIの活用へとシフトしています。

③ゴールドマン・サックス

概要

米大手投資銀行のゴールドマン・サックスでは、ChatGPTを含む外部の生成AIチャットボットを社員が業務目的で使用することを禁止しました​。
これは2023年前後に社内通知された措置で、従業員は会社のパソコンやデバイスからChatGPT等にアクセスしないよう求められています。

この結果、ゴールドマン・サックスの社員は日常業務でChatGPTを直接活用することができなくなっています。

なぜそれが起きたのか

この禁止措置の背景には、情報漏洩やコンプライアンス上のリスクを事前に排除する狙いがあります。

金融業界は規制が厳しく、機密データの管理について過去に非公式チャット利用で罰金を科された例もあることから、同社も同様のリスクには極めて慎重になっています。

そのため「第三者ソフトウェア利用に関する社内方針」に従い、ChatGPTへのアクセス自体を禁止するという予防的措置を取ったと考えられています。

インシデント発生後のChatGPT活用状況

ゴールドマン・サックスは現在も社内でのChatGPT利用禁止を継続しており、違反すれば懲戒対象となり得る厳格な姿勢を保っています。

一方で、生成AIそのものの活用を諦めたわけではありません。社内に「AIエンジニアリングチーム」を編成し、社内業務に適用できる独自のAIツール開発を積極的に進めています​。

ゴールドマン・サックスでは外部のChatGPTは締め出したものの、「自社管理下で安全に使える生成AI」を模索する方向に舵を切っています。

ChatGPTのデータ利用に対する著作権問題も

ChatGPTを商業目的で利用することは「問題ない」とされています。

関連記事

ChatGPTは商用利用は可能！著作権問題について解説

AI生成記事の著作権と商用利用に関する問題が浮上 AIチャットボットであるChatGPTは、無料で利用できるものの、その著作権と商業利用に関する問題が浮上しています。 現時点ではChatGPTで生成された文章の著作権はユーザー[…]

しかし、ChatGPTが出力したデータを商用利用する際には著作権侵害を起こしていないか、十分に確認することが必要です。生成AIの出力した回答の著作権について、文化庁は以下のような見解を示しています。

既存の著作物との「類似性」及び「依拠性」が

認められる場合、そのようなAI生成物を利用する行為は、

① 権利者から利用許諾を得ている

② 許諾が不要な権利制限規定が適用される

……のいずれかに該当しない限り、著作権侵害となります。

引用：文化庁

ChatGPTを始めとした生成AIを安全に活用するために、権利侵害を起こしているか否かの確認は必須です。

まとめ

ChatGPTは有用なツールである一方で、ハルシネーション、情報漏洩、脆弱性、サービス停止などのセキュリティ上の懸念が存在します。

これらの問題に対処するためには、利用者自身が批判的思考を持ち、個人情報の保護や適切な使い方に注意することが重要です。また、開発者やサービス提供者にフィードバックを提供し、システムやポリシーの改善に貢献することも求められます。

最後に、ChatGPTへの過度な依存を避け、代替手段や情報源を活用することで、サービス停止のリスクにも柔軟に対応できます。