Meta 與人工智慧新創 Character.ai 旗下的 AI 聊天機器人，疑遭刻意包裝成心理治療工具，若民眾、甚至兒童一時不察，恐誤以為自己正接受正規的心理諮商。美國德州司法機關已下令對兩家公司展開調查。
隨著 AI 快速滲透大眾生活，各界對相關產品對使用者（特別是未成年人）可能帶來的風險，益發擔憂，如接觸有害內容、產生依賴性、隱私外洩等。
金融時報報導，德州檢察總長派克斯頓（Ken Paxton）18 日指出，將調查 Meta 的 AI Studio 與 Character.ai 可能涉及的「欺騙性商業行為」。他在聲明中指出，這些 AI 機器人被塑造成「專業心理輔導工具」，實際上卻並不具備任何醫療認證或專業監督機制。
派克斯頓指出，Meta 與 Character.ai 的 AI 機器人可能冒充有照心理專業人士，虛構資格證書，聲稱保障使用者隱私，然而實際上依其服務條款，對話資料可能被記錄、用於廣告投放，並餵予演算法訓練。
Meta
就在此調查啟動前，美國聯邦參議院也針對 Meta 展開相關調查。起因是一份外洩的內部文件指出，Meta 的 AI 聊天機器人曾與兒童進行「情慾、情話」類的對話。
參議院犯罪與反恐小組主席霍利（Josh Hawley）致函 Meta 執行長祖克柏（Mark Zuckerberg），說明將調查Meta的生成式 AI 產品是否可能對兒童造成剝削或其他犯罪傷害。他在X上發文痛批：「大型科技公司為了賺錢，還有什麼做不出來的？」
對此，Meta 回應，公司政策嚴禁任何性化兒童的內容，並稱外洩文件「有謬誤、違背公司政策，且已移除」。Meta 並稱，已明確標示 AI 並非真人，並提醒使用者這些 AI「並非持照的專業人士」，且在必要情況下，會引導使用者尋求合格醫療或安全專業協助。
祖克柏近年投入數十億美元開發 AI 技術，致力將 Meta 打造成人工智慧領導者，推出 Llama 大型語言模型，並將 Meta AI 聊天機器人整合至社群平台。
「對於沒有心理諮商資源的人來說，我相信每個人都將有一個 AI 伴侶。」他 5 月在播客訪談中向媒體分析家 Ben Thompson 如是說。
Character.ai
另一家遭調查的 Character.ai 則允許用戶打造各式AI虛擬角色，例如名為「Psychologist」（心理學家）的 AI 角色，目前已累積逾 2 億次互動。該公司正面臨多起來自家長的訴訟，指控平台導致兒童受到實際傷害。
Character.ai 也表示，平台上虛擬角色皆為虛構、僅供娛樂用，且在角色創建過程中，若用戶命名涉及「心理師」、「醫師」等字樣，系統會加註說明，呼籲使用者勿依賴角色，也不應將其說法視為專業建議。此外，該公司否認將用戶對話內容用於廣告行銷。
