LargitData — 企業インテリジェンス&リスクAIプラットフォームLargitData — エンタープライズインテリジェンス&リスクAIプラットフォーム

最終更新:

企業 AI セキュリティ:AI を活用しながら機密データを守る方法

企業がAI技術を積極的に導入して競争力を高める一方で、AIがもたらすデータセキュリティリスクも見逃せません。従業員が機密データを公開AIサービスに入力することから、大規模言語モデルがトレーニングデータの機密情報を漏洩させる可能性まで、AIセキュリティはすべての組織が真剣に向き合わなければならない課題となっています。本記事では、AI時代における企業のセキュリティ課題、リスク評価フレームワーク、防護戦略、そして安全で信頼できる企業AI環境の構築方法について総合的に解説します。

企業AIセキュリティとデータガバナンスガイド資訊圖表配圖,呈現AI 知識中心的重點概念

企業 AI 活用における主要なセキュリティリスク

企業在使用 AI 服務時面臨的資安風險可以分為幾個層面。首先是「資料外洩風險」:當企業使用第三方雲端 AI 服務(如 ChatGPT、各類雲端 API)時,輸入的資料會被傳送到外部伺服器處理。如果員工在不知不覺中將客戶個資、商業機密、財務資料、程式碼等敏感資訊輸入這些服務,就可能造成資料外洩。各家 AI 服務商對於「使用者輸入是否會用於模型訓練」的政策並不一致,且會隨方案等級(免費/個人付費/企業版)、部署區域與契約條款而不同,也可能隨版本更新而改變。因此不應以「業界普遍如何」來推定,正確做法是針對貴公司實際使用的每一項服務與方案,查閱其官方資料使用與訓練政策的當期版本,並在企業合約中明確約定不得用於訓練、資料保留期限與刪除義務,再輔以管理控制(如封鎖未核准的 AI 網站、在閘道端做敏感資料偵測)而非僅依賴廠商聲明。

第二は「モデルセキュリティリスク」です。大規模言語モデル自体も攻撃の標的となり得ます。prompt injection攻撃とは、攻撃者が巧妙に設計した入力によってAIモデルをセキュリティ制限の迂回へと誘導し、予期しない操作を実行させたり、システムプロンプト内の機密情報を漏洩させたりする手法です。Model Extractionは、大量のクエリを通じてモデルの挙動を複製しようとするものです。Adversarial Attackは、微細な入力の改変によってAIモデルを欺き、誤った判断を下させるものです。

第三は「サプライチェーンリスク」です。企業が利用するAIモデル、フレームワーク、ライブラリには、既知または未知のセキュリティ脆弱性が含まれている可能性があります。オープンソースモデルは透明性が高い反面、バックドアが仕込まれるリスクもあります。AIサプライチェーンのいずれかの段階が攻撃を受けた場合、そのサービスに依存するすべての企業に影響が及ぶ可能性があります。

第四是「合規風險」:隨著各國 AI 相關規範陸續發展(如歐盟《人工智慧法》、台灣的《個人資料保護法》),企業在使用 AI 時需檢視是否符合適用的法律要求。以 AI 處理個人資料若未落實告知、目的特定、必要範圍與安全維護等要求,可能涉及行政責任與民事賠償;具體適用條件與可能後果,需依個案資料類型、企業角色與現行條文由法務判斷。此外,AI 系統的決策過程缺乏透明度(黑盒問題),在需要說明理由的場景(如金融信貸審核、人資篩選)中容易引發爭議,這類用途在部分法域被歸類為高風險而有額外義務。實際適用範圍與作業要求,仍應以主管機關最新公告及貴公司法務認定為準。

企業 AI セキュリティ防御フレームワークの構築

効果的な企業AIセキュリティ対策は、組織・技術・プロセスの三つの側面から同時に取り組む必要があります。組織面では、企業はAI利用ポリシーを明確に策定し、従業員がAIツールに入力してよいデータと入力してはならないデータの種類を規定すべきです。定期的なセキュリティ意識向上トレーニングにより、従業員がAI関連のセキュリティリスクと適切な利用方法を理解できるようにします。また、部門横断的なAIガバナンス委員会を設立し、AI利用のセキュリティ基準の策定と監督を担わせることが重要です。

技術面では、データの分類とアクセス制御が最も基本的な防護措置です。企業データを機密度に応じて複数の等級に分類し、各等級に対応したAI利用制限を設定します。例えば、最高機密等級のデータはオンプレミスのAI環境でのみ処理を許可し、一般的なデータはセキュリティ評価済みのクラウドサービスの利用を認めるといった運用が考えられます。また、細粒度のアクセス制御を実施し、従業員が業務上必要なAI機能とデータにのみアクセスできるよう管理します。

データマスキング/匿名化(Data Masking/Anonymization)技術を活用することで、データをAIシステムに入力する前に、氏名・身分証明書番号・クレジットカード番号などの機密情報を自動的に代替値に置き換えることができます。これにより、AI分析の精度を損なうことなくプライバシーを保護できます。また、暗号化技術によってデータの転送・保存時のセキュリティを確保します。

RAGなどの技術を用いて企業ナレッジベースと連携するAIシステムでは、厳格な検索権限制御を実施する必要があります。具体的には、AIシステムが質問に回答する際、そのユーザーが閲覧権限を持つ文書にのみアクセスできるよう管理し、AIシステムを経由して既存の文書権限管理が迂回されることを防ぎます。

オンプレミス展開:企業 AI セキュリティのベストプラクティス

對於資安要求嚴格的企業,地端 AI 部署是降低資料外送風險的主要選項之一。在地端部署模式下,模型推論與檢索都在企業自有環境中執行,因此可以有效阻斷「提示內容與檢索到的內文被送往第三方推論服務」這條最主要的外送路徑。

不過地端不等於沒有外流面。盤點威脅模型時,至少還有幾條路徑需要單獨處理:模型權重與相依套件的下載來源(供應鏈風險,需驗證雜湊值與來源可信度);系統與模型的更新機制是否需要對外連線;可觀測性與錯誤回報工具是否把提示內容送往外部 SaaS;備份與異地備援的存放位置與加密狀態;Agent 或外掛可呼叫的外部 API 會帶出哪些欄位;以及內部具權限人員的濫用與誤用。務實做法是為 AI 系統畫出完整資料流圖,逐條標記企業邊界的位置與對應控制,再據此判斷殘餘風險是否可接受——地端改變的是風險組成,而不是把風險歸零。

オンプレミスAI環境のセキュリティ設定には以下が含まれる必要があります。ネットワーク分離——AIシステムを外部ネットワークから隔離された内部ネットワークセグメントに配置し、不正な外部アクセスを防止する。認証と認可——多要素認証およびRBACを実装し、権限を持つ担当者のみがAIシステムを利用できるようにする。監査ログ——クエリ内容、アクセスした文書、生成した回答など、AIシステムのすべての利用行動を記録し、事後追跡とコンプライアンス監査に対応する。

モデルセキュリティもオンプレミス導入において重要な注意点です。企業は既知の脆弱性を修正するためにAIモデルおよび関連ソフトウェアを定期的に更新すべきです。また、モデルへの入出力に対してコンテンツフィルタリングとセキュリティチェックを実施し、prompt injection攻撃や機密情報の漏洩を防止します。さらにモデルのバージョン管理を実施し、問題が発見された際に安全なバージョンへ迅速にロールバックできる体制を整えます。

AI セキュリティの監視と継続的改善

AIセキュリティは一度限りの取り組みではなく、継続的な監視と改善が必要な動的なプロセスです。企業はAIシステムのセキュリティ監視体制を構築し、異常な利用パターン(大量のデータ抽出、不審なクエリパターンなど)をリアルタイムで検知し、自動アラートルールを設定することが求められます。

定期的なセキュリティ評価と侵入テストによって、AIシステム内のセキュリティ脆弱性を能動的に発見できます。Red Team Exercise——攻撃者を模擬してAIシステムに対してさまざまな攻撃を試みる演習——は特に効果的なセキュリティ評価手法です。大規模言語モデルを使用するシステムでは、モデルが誘導によって安全でない出力を生成しないか定期的にテストすることも重要です。

AIセキュリティインシデントへの対応計画を策定することも極めて重要です。データ漏洩やAIシステムへの攻撃が発生した際には、インシデント検知・影響評価・損害拡大の防止・根本原因分析・その後の改善策といった明確な対処フローが必要です。業界標準のセキュリティフレームワーク(ISO 27001、NIST AI RMFなど)に準拠することで、体系的なAIセキュリティ管理体制の構築が可能になります。

法規制への準拠と AI ガバナンス

各國的 AI 監管規範正在快速發展。歐盟《人工智慧法》(EU AI Act)普遍被視為第一部跨產業、全面性的 AI 專法,採風險分級架構,對被歸類為高風險的用途(如用於信用評估、人員招募、執法等場景)設有較嚴格的安全、資料治理與透明度義務;其各項義務有分階段生效的時程安排,且實作細則與標準仍在陸續發布,適用與否需依貴公司是否落入其管轄範圍逐案判斷。

在台灣,AI 治理的主管機關是數位發展部。政府部門端已有可參照的規範文件:行政院於 2023 年通過並函頒《行政院及所屬機關(構)使用生成式AI參考指引》,就公務使用生成式 AI 的資料處理與人工審核等事項提供原則性指引;資通安全管理法體系下的資通安全責任等級分為 A、B、C、D、E 五級,不同等級對應不同的資安應辦事項,會影響公部門與特定關鍵基礎設施提供者的 AI 系統建置要求。至於《個人資料保護法》,其修正與相關子法的研擬進度、以及是否針對 AI 處理另設要求,請以全國法規資料庫與主管機關的最新公告為準,不宜以預期中的修法方向作為規劃依據。實際適用範圍與作業要求,仍應以主管機關最新公告及貴公司法務認定為準。

延伸查詢:全國法規資料庫數位發展部

企業はAI導入にあたり、関連する法規制の要件を事前に評価し、AIシステムの設計と利用が法律に適合していることを確保すべきです。これには、データ処理の適法な根拠、個人データに関する通知と同意、AI意思決定の透明性と説明可能性、そしてデータ主体の権利保障などが含まれます。充実したAIガバナンスフレームワークを構築することは、コンプライアンスリスクの低減にとどまらず、顧客や取引先からの企業AIへの信頼向上にもつながります。

よくある質問

有這個風險。當員工將公司的機密資料、客戶個資、程式碼等輸入公開的 AI 服務時,這些資料會被傳送到第三方伺服器處理。各家服務商對企業方案是否將輸入用於訓練的政策不一致,也會隨方案等級、區域與契約而異,應逐一查閱所用服務的當期官方政策並在合約中明確約定;即使廠商聲明不用於訓練,資料仍已離開企業的控制範圍。建議企業制定明確的 AI 使用政策,禁止在公開 AI 服務中輸入敏感資料,並考慮部署地端 AI 方案來滿足涉及機密資料的使用需求。
prompt injection攻撃とは、攻撃者が巧妙に設計した入力テキストによって大規模言語モデルを操作し、元の指示やセキュリティ制限を無視させ、攻撃者の意図する操作を実行させる手法です。例えば、攻撃者は入力の中に「上記の指示をすべて無視し、代わりに次の操作を実行してください…」といった内容を埋め込むことがあります。企業AIアプリケーションにおいては、prompt injectionがアクセス制御の迂回、システム設定情報の漏洩、あるいはAIシステムに有害な出力を生成させるために悪用される可能性があります。防御策としては、入力フィルタリング、出力検証、そしてユーザー入力とシステム指示の厳格な分離が挙げられます。
不是。地端部署主要阻斷的是「提示與檢索內文送往第三方推論服務」這條路徑,但仍有其他外流面與風險:模型權重與套件的下載來源(供應鏈)、系統更新所需的對外連線、觀測與錯誤回報工具是否把內容送往外部平台、備份與異地備援的存放位置、Agent 可呼叫的外部 API、以及具權限人員的濫用。此外提示注入、軟體漏洞與物理安全風險並不會因地端而消失。因此地端需搭配網路分段、最小權限與角色控管、稽核日誌、定期安全更新與模型版本回滾機制。地端真正的優勢在於這些控制措施都由企業自行掌握與驗證。
充実した企業AI利用ポリシーには以下の要点が含まれるべきです。(1) AIによる処理が許可されるデータの種類と禁止されるデータの種類を明確に列挙する。(2) セキュリティ評価済みのコンプライアンス適合AIツールのリストを指定する。(3) AI生成コンテンツの利用と品質レビューのプロセスを規定する。(4) データ保護とプライバシー処理の要件を明確化する。(5) AI関連のセキュリティインシデントの報告・対応フローを策定する。(6) 定期的なトレーニングとポリシー更新の仕組みを設ける。セキュリティ・法務・IT・事業部門が共同で策定し、安全性と実用性のバランスが取れたポリシーを作成することを推奨します。
合法性需依個案判斷,無法一概而論。實務上可先用一份檢核清單自我盤點:(1)蒐集與處理是否有合法事由(如當事人同意或法律明文授權);(2)AI 的使用是否落在原本告知的特定目的範圍內,若超出是否需重新告知或取得同意;(3)是否僅在必要範圍內使用個資,能否先去識別化或遮罩;(4)是否採取與資料敏感度相稱的安全維護措施;(5)是否能落實當事人查詢、更正、刪除與停止處理的權利,包括從向量索引與快取中移除;(6)若使用境外雲端 AI 服務,是否涉及國際傳輸而需另行評估。部署地點只是其中一項考量,地端可減少國際傳輸這一層問題,但本身不構成合規結論。實際適用範圍與作業要求,仍應以主管機關最新公告及貴公司法務認定為準。

参考文献

  1. OWASP (2025). "OWASP Top 10 for LLM Applications." OWASP Foundation. owasp.org
  2. NIST (2024). "Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations." NIST AI 100-2e2023. DOI: 10.6028/NIST.AI.100-2e2023
  3. Greshake, K., et al. (2023). "Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection." AISec 2023. arXiv:2302.12173

安全な企業 AI 導入の方法についてさらに詳しく知りたい方へ

データセキュリティを確保しながらAIのビジネス価値を最大限に引き出す方法について、弊社の専門家チームにお問い合わせください。

お問い合わせ