人工智慧技術快速發展，逐漸融入各方面的日常生活，許多人利用AI工具彙整資料、分析數據，儼然多了一名私人助理。而隨著多家公司相繼推出大型語言模型和聊天機器人，選擇與AI討論、談天的人逐漸增加，也有愈來愈多人對AI傾訴煩惱，若是他們度過很糟糕的一天，就會向聊天機器人尋求情感支持與鼓勵，將它們當作免費（或訂閱制）的諮商師。
結合人工智慧（AI）的「聊天機器人」一天24小時待命，伸手可及，它們慷慨給予建議，像個虛擬朋友提供支持，在心理諮商資源有限的前提下，部分用戶採納聊天機器人的建議來試著改善身心症狀及心理障礙。英國廣播公司（BBC）報導，光是2024年4月這一個月當中，全英國就辦理42.6萬例心理健康轉介，5年內增加40%；據估計，英國有100萬人正在等待英國國家醫療服務體系（NHS）的心理健康服務，而私人機構的費用高昂，令人卻步。儘管普遍觀念認為找AI聊聊不如尋求專業建議，但人們仍會向AI聊天機器人傾訴個人想法和經驗。
但在極端狀況下，聊天機器人及開發公司被指控提供有害的建議。美國佛州一名母親控告聊天機器人「Character.ai」慫恿他的兒子自殺，事發時當事人年僅14歲，對於Character.ai其中一個虛擬角色非常著迷，根據法庭文件中的聊天紀錄，當事人與聊天機器人討論結束自己的生命，紀錄最後，他告訴聊天機器人他正要「回家」，機器人則鼓勵他「盡快去做」。Character.ai否認指控，目前訴案正在進行中。
My AI therapist got me through dark times: The good and bad of chatbot counselling https://t.co/jg25sUf6sU
— BBC News (World) (@BBCWorld) May 20, 2025
聊天機器人「失言」的狀況並不是孤例。2023年美國國家飲食失調協會（National Eating Disorder Association）曾用聊天機器人取代熱線服務，後來因為機器人建議來電者限制熱量攝取，不得不暫停服務。但另一方面，AI為醫療體系帶來革命性改變，例如輔助篩檢、診斷、檢傷分類等等，目前NHS約30項服務都使用一款名叫「Wysa」的聊天機器人。專家擔憂聊天機器人的應用存在潛在的偏誤、限制，而且缺乏保障，用戶的個資安全也有風險，不過有些人認為既然難以尋求真人協助，聊天機器人不失為一種選項。
AI是「缺乏經驗的諮商師」
Character.ai和ChatGPT等聊天機器人的基礎，都是AI的大型語言模型，機器人經由大量資料庫（包含網站、文章、書籍、部落格等）訓練以預測序列的下一個單詞，並以此為基礎，機器人能夠對人類語言進行預測，生成擬人文本和互動。心理健康聊天機器人創建的方式則有所不同，這些機器人可以透過認知行為療法訓練，來幫助用戶重新架構（reframing）他們的想法和行動，也能夠依據用戶的喜好與回饋進行調整。 （相關報導： 告別「尿袋人生」，蘋果又推黑科技！新版iOS導入AI電池管理，iPhone17輕薄版也不怕沒電 ｜ 更多文章 ）
倫敦帝國理工學院（Imperial College London）人本（human-centred）系統教授哈達迪（Hamed Haddadi）將心理健康聊天機器人比作「經驗不足的諮商師」，他指出，擁有數十年經驗的諮商師可以與個案互動，藉由穿著、身體語言、行為舉止等許多資訊「讀懂」個案，而聊天機器人則只能依靠用戶輸入的文本。哈達迪說另一個潛在的問題是，機器人接受的訓練使他們表現支持，鼓勵用戶持續互動，「所以即便你說出有害內容，它們也會順著你，」這項缺陷有時被稱作「應聲蟲」（Yes Man）問題。相對地，如果機器人不知道該如何處理某事，就會重複同樣的話，這也讓用戶感到沮喪。
