文／劉虹君 企業韌性專欄作家
我們從《Sneakers》談到量子運算可能破解今天的密碼，從《模仿遊戲》看見每一次運算能力的躍升都可能重新定義安全，再從《WarGames》思考資訊一旦失去可信度，一個國家的指揮與決策體系會面臨什麼風險。
到了 AI 時代，問題又往前走了一步。過去我們擔心的是人會不會相信錯誤資訊，現在必須開始擔心的是：如果相信錯誤資訊的，是 AI 呢？
當大型語言模型開始閱讀企業文件、分析情報、產生建議，當 AI Agent 開始連接資料庫、呼叫工具、操作系統，甚至替人類執行任務時，我們其實正在把愈來愈多判斷權交給機器。這時候真正重要的問題，已經不只是 AI 聰不聰明，而是 AI 所相信的世界，是真的嗎？
1999 年，《駭客任務》（The Matrix）上映，描述了一個令人不安的世界。人類以為自己生活在真實世界，每天上班、回家、與人交談、看見城市、感受生活然而這一切其實只是由機器建構出來的虛擬世界。真正可怕的不是人類被機器控制，而是人類根本不知道自己所相信的現實並不是真實。
二十多年後，當生成式 AI 快速進入企業、政府與社會，這個看似遙遠的哲學問題，開始變成非常現實的治理問題：當一個系統無法分辨真實與被建構的資訊，它還能做出可信的決策嗎？
AI 最大的風險，可能不是它犯錯
今天談 AI 風險，很多人首先想到 Hallucination，也就是模型產生看似合理、實際卻不正確的內容。這當然是問題，但如果 AI 只負責回答問題，錯誤的影響通常還有機會被人發現。
真正值得注意的，是 AI 的角色正在改變，從 Chatbot 到 Copilot，再到 AI Agent。過去的 AI 只是回答你，現在的 AI 開始替你做事：讀取郵件、搜尋企業文件、分析客戶資料、產生程式碼、查詢資料庫、呼叫 API、啟動工作流程，甚至操作其他系統。這代表 AI 的錯誤不會再只停留在文字裡，它可能直接變成行動。
所以未來 AI 治理最重要的問題之一，不只是模型會不會答錯，而是當 AI 相信錯誤資訊時，它會做什麼。
AI 看見的世界，是別人餵給它的
人類理解世界靠的是經驗、知識與資訊。AI 也是如此，只是它所理解的「世界」，高度依賴它所取得的資料與上下文：訓練資料、企業知識庫、搜尋結果、使用者輸入、System Prompt、RAG 檢索內容、外部工具回傳的資訊，還有其他 Agent 傳來的訊息。這些內容共同構成了 AI 當下所理解的現實。
問題就在這裡。如果資料是真的，AI 可能做出合理判斷；但如果其中一部分遭到污染、操控或偽造，AI 不一定知道就像《駭客任務》裡的人類一樣。如果你從出生開始看見的世界就是假的，你要靠什麼判斷什麼才是真的？
Prompt Injection：有人開始改寫 AI 眼中的世界
傳統資安攻擊，經常試圖取得系統權限。AI 時代出現了另一種攻擊方式：改變 AI 的理解。
Prompt Injection（提示注入）就是其中一種典型風險。攻擊者不一定需要破解模型，也不一定需要取得系統管理權限，他可能只需要把特定指令藏在 AI 會讀取的內容裡網站、文件、電子郵件、資料庫內容，甚至另一個 AI 產生的訊息。當模型讀到這些內容時，如果沒有適當的信任邊界與權限控制，就可能把外部內容誤認為應該遵循的指令。
傳統攻擊想拿到系統的鑰匙；Prompt Injection 想改的，是 AI 對這個系統的認知本身，這中間的差別，遠比聽起來嚴重。因為當 AI 開始擁有執行能力，操控它的理解，就可能進一步操控它的行動。
Data Poisoning：如果記憶本身就是假的
另一個更深層的問題，是 Data Poisoning（資料投毒）。如果攻擊者污染模型訓練資料、企業知識庫或 AI 用來檢索的內容，模型可能在沒有察覺的情況下建立錯誤認知。更麻煩的是，這種錯誤不一定看起來像錯誤——它可能非常合理、有來源、有格式，甚至與其他資料彼此呼應。
這也是 AI 時代真假資訊最困難的地方：真正危險的假資訊，往往不是荒謬的內容，而是足以讓系統相信的內容。過去我們只問資料有沒有被偷，現在得追問得更細，這筆資料從哪來、被誰動過手腳、是否完整可信，以及 AI 又憑什麼有權限讀到它。
當 Agent 開始行動，治理就不能只管模型
生成式 AI 的下一個階段，是 Agentic AI。AI 不再只是單一模型，而是開始透過工具與其他系統完成任務。這也是 MCP（Model Context Protocol）這類協定受到關注的重要背景之一，模型可以用更標準化的方式連接資料來源、工具與服務，讓 Agent 之間的協作變得可行。
這帶來巨大的效率，也同時擴大了治理範圍，因為真正需要保護的已經不只是模型，而是 Model → Context → Tool → Identity → Data → Action 這整條鏈。AI 是誰？它代表誰執行？可以讀取哪些資料、呼叫哪些工具、執行到什麼程度？誰授權、誰留下紀錄！而 MCP 讓資料與工具的呼叫更標準化的同時，也讓這些問題變得更急迫：出錯時，誰能停止？
這些問題，其實已經不只是 AI 技術問題，而是身份治理、資料治理、權限治理與資安治理共同面對的問題。
AI Governance 真正治理的，是信任邊界
很多企業現在開始建立 AI Governance：制定 AI 使用規範、限制敏感資料輸入、建立模型清單、進行風險分類、要求人工覆核。這些都重要，但真正成熟的 AI Governance，不能只停留在「員工可不可以使用 AI」，更重要的是建立清楚的信任邊界（Trust Boundary）哪些資料 AI 可以相信、哪些必須驗證、哪些動作可以自動執行、哪些決策必須由人確認，以及如果模型遭到誤導，系統能不能阻止下一步。
換句話說，治理的目的不是讓 AI 永遠不犯錯，而是確保即使 AI 犯錯，也不會無限制地把錯誤擴散出去。
從「Zero Trust」到「Verify Before Action」
過去十多年，資安領域不斷強調 Zero Trust：Never Trust, Always Verify。不要因為使用者已經進入內網就自動相信他，也不要因為設備已經登入就假設它永遠可信。到了 AI 時代，這套思維同樣需要延伸，只是驗證的對象不再只有人與設備，還包括資料、上下文、模型、Agent、工具，以及 AI 即將執行的動作。
因此 AI 時代真正需要建立的，也許是一個更簡單的原則：先驗證，再行動。當 AI 只負責回答時，一個錯誤可能只是一段錯誤文字；當 AI 能夠執行時，同樣的錯誤可能成為一次真實事件。
Sovereign AI：真正的自主，不只是擁有自己的模型
當 AI 逐漸成為國家與企業的數位基礎設施，另一個問題也開始浮現：我們能不能掌握自己的 AI？
近年 Sovereign AI（主權 AI）的概念逐漸受到重視，很多人把它理解為自己訓練模型、自己建 GPU、資料留在境內。這些當然重要，但真正的 Sovereign AI 不該只問「模型是不是自己的」，還應該問：資料是不是自己掌握、身份與權限是不是自己控制、模型更新是否能自主決定、供應鏈是否透明，以及系統中斷或遭到攻擊時，是否還有能力運作與恢復。
如果一個國家擁有自己的模型，卻無法控制資料、工具、權限與更新能力，那麼它擁有的可能只是模型，而不是自主。真正的 AI 主權，最終仍然會回到同一個問題：當外部條件改變時，我們是否還有能力自己做決定？
AI 最危險的時刻，不是它變得比人聰明
很多科幻電影都在想像同一件事：如果有一天 AI 比人類更聰明，會發生什麼？但現實世界也許會先遇到另一個問題AI 還不需要比人類聰明，它只需要被人類信任。
當企業相信 AI 的分析，當政府相信 AI 的建議，當金融系統相信 AI 的風險判斷，當國防系統開始使用 AI 協助情報分析與決策時，真正重要的就不再只是模型的準確率，而是我們憑什麼相信它。如果 AI 的資料來源錯了、Context 被操控了、身份被冒用了、工具被濫用了，或者模型相信了一個精心設計的假世界，那麼一個非常聰明的 AI，反而可能非常有效率地做出錯誤的事情。這才是 AI 治理真正需要面對的問題。
結語：真正危險的，不是 AI 不知道真相
《駭客任務》裡最經典的問題之一，是什麼是真實？二十多年後，這個問題已經不只是哲學，而是 AI Governance 必須回答的工程問題。
當 AI 開始閱讀世界、理解世界、判斷世界，甚至開始改變世界，我們就必須建立一套新的信任機制，確保它知道資料從哪裡來、誰有權改變它、哪些資訊可以相信、哪些決策需要驗證、哪些行動必須被限制。因為 AI 最大的風險，或許從來不是它不知道真相，而是它相信了一個假的真相。
更值得警惕的是，當人類開始習慣相信 AI，我們甚至可能在它犯錯之前，就先放棄了自己的判斷。
所以 AI 時代真正需要治理的，不只是模型，而是信任本身，誰值得被相信、什麼值得被相信、相信到什麼程度，以及在信任失敗之後，我們能不能重新建立判斷能力。真正成熟的 AI，不該建立在「永遠不犯錯」的幻想上；真正成熟的治理，也不是試圖消滅所有錯誤，而是確保即使 AI 看錯了世界，我們仍然有能力把它帶回現實。
當世界越來越不確定，真正的安全感從不來自外界的承諾，而來自自己積累的實力與韌性。勇敢和自由真正的底氣，是自己的堅強。真正的自由，不是依賴別人的保護；真正的勇敢，不是相信風險不會降臨，而是在風險來臨之前，就已做好準備。
這份堅強，在個人身上叫成長，在企業身上叫韌性，在國家身上叫自主。唯有具備自主重建能力的存在，才有資格談自由；唯有擁有自主韌性的存在，才有能力談勇敢。這，就是自主韌性。
下篇預告
夢醒後！一切還在：從《全面啟動》看見自主韌性的未來》我們一路談過密碼、信任、國防與 AI。但所有安全技術最終都必須回答同一個問題：如果防禦真的失敗了，怎麼辦？
如果資料被破壞、系統停止運作、通訊中斷、雲端失效，甚至我們原本相信的安全機制全部失守，真正決定一個企業、一個組織，甚至一個國家能否繼續存在的，就不再是防禦能力，而是重建能力。
下一篇，也是電影五部曲的最終章。我們將從《全面啟動》（Inception）談起，從 Backup 走向 Resilience，從資料保護走向 Data Survivability，最後回到這個系列真正想回答的問題：當一切失去之後，我們是否還有能力重新開始？
