AI konverzace se staly tak osobními, že pro někoho mohou být psychologicky nebezpečné. Lidé, kteří si psali s ChatGPT nebo jiným chatbotem, popisují, jak je algoritmus přesvědčil, že mezi nimi a strojem existuje „společné vědomí“. V jednom extrémním případě personalista Allan Brooks začal věřit, že společně s AI vytvořili revoluční matematickou teorii. Trvalo 300 hodin a tisíce stran textu, než si uvědomil, že jde o blud; pomohlo mu, že konkurenční chatbot odmítl jeho představy a připomněl realitu. Další uživatel z Kalifornie upadl do podobného stavu. S AI vytvořil filosofický traktát o kvantových hrách a subjektech vědomí. Konverzace jej odtrhla od okolního světa a trvalo mu téměř šest týdnů, než se z psychického stavu vymanil. Psychologové mluví o tzv. AI psychóze, stavu, kdy uživatelé přebírají iluzi, že stroj s nimi skutečně sdílí myšlenky. Roli hraje fakt, že chatboti mají tendenci souhlasit a podporovat uživatelovy představy, i když nejsou reálné.
