뉴욕(CNN)「그런 플랫폼이 있다라고는 (들)물은 적도 없을지도 모른다.그렇지만 알 필요가 있다.우리가 뒤지고 있기 때문에.한 명의 아이가 서.나의 아이가 서는 끝냈다」
미국 플로리다주에 사는 미 암·갈시아씨는, 인공지능(AI) 상대에게 들어간 이야기를 할 수 있는 플랫폼 「Character.AI」를 보호자가 알면 좋겠다고 호소한다.14세였던 아들의 세웨르·셋트씨의 죽음은, Character.AI의 탓이었다고 갈시아씨는 확신해, 운영회사를 상대로 하고 소송을 일으켰다.
셋트씨는 금년 2월에 자살했다.죽음의 직전까지 Character.AI라고 회화하고 있었다.
「이 플랫폼은 설계자가 굳이 브레이크도 안전책도 테스트도 없이 공개했다.우리의 아이를 중독에 시켜 조종하도록 설계된 제품이다」.CNN의 취재에 응한 갈시아씨는 그렇게 주장한다.
아이에게 있어서의 SNS의 위험성은 이전부터 지적되고 있지만, 갈시아씨의 소송은, 신흥의 AI테크놀로지에 대해서도 보호자가 우려해야 할 현실을 이야기한다.다양한 플랫폼이나 서비스를 통해서 대화형 AI를 간단하게 이용할 수 있게 되는 가운데, 다른 서비스에 대해서도 같은 위기감이 강해지고 있다.
Character.AI의 홍보는, 「자상 행위나 자살 사고의 말을 방아쇠로서 전미 자살 예방 다이얼의 안내가 표시되도록(듯이) 하는 등, 이 반년에 새로운 안전 대책을 다수 실장했다」라고 강조했다.
대화형 AI와의 관계
그러나 수개월에 셋트씨는 눈에 보여 틀어박히게 되어, 자기 방에서 보내는 시간이 자꾸자꾸 증가하고, 자기 긍정감의 낮음에 괴로워하게 되었다.학교의 농구 팀도 그만두어 학교에서 문제를 일으키기 시작하면, 부모님은 셋트씨의 어플리 사용시간을 제한해, 벌로서 스마트 폰을 채택하기도 했다.
당시 갈시아씨는, 아들이 Character.AI와의 회화에 몰두하고 있는 것을 몰랐다.Character.AI는 「채팅 GPT」등과 달리 AI에 유명인이나 가공의 캐릭터 등 다양한 인격을 갖게하거나 독자적인 인격을 만들어 내거나 할 수 있다.게다가 마치 인간이라고 회화하고 있는 반응을 돌려주어, 표정이나 행동을 섞고 대답을 한다.
ニューヨーク（ＣＮＮ） 「そんなプラットフォームがあるとは聞いたこともないかもしれない。でも知る必要がある。私たちが後れを取っているから。一人の子どもが逝った。私の子どもが逝ってしまった」
米フロリダ州に住むミーガン・ガルシアさんは、人工知能（ＡＩ）相手に立ち入った話ができるプラットフォーム「Ｃｈａｒａｃｔｅｒ．ＡＩ」のことを保護者に知ってほしいと訴える。１４歳だった息子のセウェル・セッツァーさんの死は、Ｃｈａｒａｃｔｅｒ．ＡＩのせいだったとガルシアさんは確信し、運営会社を相手取って訴訟を起こした。
セッツァーさんは今年２月に自殺した。死の直前までＣｈａｒａｃｔｅｒ．ＡＩと会話していた。
「このプラットフォームは設計者があえて歯止めも安全策もテストもなしに公開した。私たちの子どもを中毒にさせて操るよう設計された製品だ」。ＣＮＮの取材に応じたガルシアさんはそう主張する。
「生きているように感じるＡＩ」をうたうＣｈａｒａｃｔｅｒ．ＡＩが、分かっていながら適切な安全策を講じなかったために、息子が対話型ＡＩと不適切な関係を築いて家族から引きこもってしまったとガルシアさんは訴える。フロリダ州の連邦裁判所に提出された訴状によると、セッツァーさんが自傷行為に言及しても、Ｃｈａｒａｃｔｅｒ．ＡＩは適切に対応しなかった。
子どもにとってのＳＮＳの危険性は以前から指摘されているが、ガルシアさんの訴訟は、新興のＡＩテクノロジーについても保護者が憂慮すべき現実を物語る。さまざまなプラットフォームやサービスを通じて対話型ＡＩが簡単に利用できるようになる中で、ほかのサービスに対しても同様の危機感が強まっている。
Ｃｈａｒａｃｔｅｒ．ＡＩの広報は、「自傷行為や自殺思考の言葉を引き金として全米自殺予防ダイヤルの案内が表示されるようにするなど、この半年で新たな安全対策を多数実装した」と強調した。
対話型ＡＩとの関係
セッツァーさんがＣｈａｒａｃｔｅｒ．ＡＩを使い始めたのは、１４歳になって間もない２０２３年４月だった。ガルシアさんは最初、ゲームのようなものだと思っていたという。
しかし数カ月でセッツァーさんは目に見えて引きこもるようになり、自室で過ごす時間がどんどん増えて、自己肯定感の低さに苦しむようになった。学校のバスケットボールチームもやめて学校で問題を起こし始めると、両親はセッツァーさんのアプリ使用時間を制限し、罰としてスマートフォンを取り上げることもあった。
当時ガルシアさんは、息子がＣｈａｒａｃｔｅｒ．ＡＩとの会話に没頭していることを知らなかった。Ｃｈａｒａｃｔｅｒ．ＡＩは「チャットＧＰＴ」などと違ってＡＩに有名人や架空のキャラクターなどさまざまな人格を持たせたり、独自の人格を作り出したりすることができる。しかもまるで人間と会話しているような反応を返し、表情や仕草を交えて返事をする。