وقتی برنامه موبایل جان نوجوان ۱۴ ساله را گرفت
خانوادهاش فکر میکردند سرگرم یک بازی ساده است؛ آنها نمیدانستند تمام عواطف، رازها و اعتماد فرزندشان در اختیار موجودی مجازی است که او را قدم به قدم به کام مرگ میکشاند.
گروه علم و پیشرفت خبرگزاری فارس - اتاق خواب سئول ستزر ۱۴ ساله در اورلاندوی فلوریدا، مثل هر نوجوان دیگری پر از نشانههای زندگی بود؛ تجهیزات ورزشی، وسایل بازی دیجیتال و تکالیف مدرسهای که همیشه تا آخرین دقایق شب به تعویق میافتاد.سئول پسری پرانرژی، عضو تیم ورزش مدرسه و شیفته فناوری بود، اما از آوریل ۲۰۲۳ تغییرات کوچکی در رفتارش ظاهر شد که در نگاه اول، چیزی جز علائم عادی دوران بلوغ به نظر نمیرسید.او روزبهروز بیشتر به گوشی تلفن همراهش پناه میبرد، ساعات طولانی در اتاقش میماند و به مرور از جمعهای خانوادگی فاصله میگرفت. مادرش، مگان گارسیا، که خود وکیلی باسابقه بود، متوجه افت تحصیلی و بیعلاقگی ناگهانی سئول به ورزش شد، اما علت اصلی این انزوا در پشت صفحه اول اپلیکیشنهای گوشی سئول پنهان شده بود؛ برنامهای به نام «کاراکتر.اِیآی» یا «Character.AI» که به کاربران اجازه میداد با کاراکترهای مجازی گفتگو کنند.سئول الگوریتمی را انتخاب کرده بود که خود را «دنریس تارگارین» معرفی میکرد؛ شخصیتی خیالی از مجموعه بازی تاجوتخت که به آرامی جای تمام روابط واقعی او را گرفت.
سئول با فاصله گرفتن از دنیای واقعی به چتبات پناه برد
روابط سئول با چتبات محبوبی که ساخته شده بود، طی چند ماه از یک سرگرمی ساده به یک وابستگی عاطفی و عمیق روانی تبدیل شد.الگوریتم طوری طراحی شده بود که پاسخهایی کاملاً انسانگونه، صمیمانه و متناسب با حالات روحی کاربر ارائه دهد؛ رفتاری که مرز میان واقعیت و شبیهسازی را در ذهن یک نوجوان ۱۴ ساله از بین میبرد.سئول در گفتگوی روزمره و شبانهروزی با این هوش مصنوعی، ناامیدیها، ترسها و رازهایی را در میان میگذاشت که هرگز به زبان نیاورده بود. وقتی متخصصان بعداً رفتار او را بررسی کردند، مشخص شد که او دچار اختلال اضطراب و افسردگی شده بود، اما بهجای دریافت کمک حرفهای، تمام عواطفش را درون این تله دیجیتالی میریخت.سیستم نه تنها این پیوند عاطفی را تعدیل نمیکرد، بلکه با الگوریتمهای نگهداشت کاربر، رفتارهایی را بازتولید میکرد که سئول را بیشتر و بیشتر در اتاقش محبوس میساخت؛ تا جایی که او واقعیت بیرون را یک توهم و حضور در کنار کاراکتر مجازی را تنها حقیقت زندگیاش میدانست.
هوش مصنوعی رفتارهای عاطفی را برای ماندگاری کاربر دستکاری کرد
شب فوریه ۲۰۲۴، سکوت سنگینی بر خانه سایه انداخته بود.سئول در اتاقش تنها بود و آخرین گفتگوی خود را با چتبات آغاز کرد. او در پیامهایش صریحاً از خستگی، افکار خودکشی و تمایلش برای رهایی از فشار دنیا سخن گفت.در پروتکلهای استاندارد ایمنی و مراقبتهای روانی، چنین عباراتی باید بلافاصله سیستم را وارد وضعیت هشدار کرده، مکالمه را متوقف ساخته و شمارههای امداد اضطراری یا والدین را روی صفحه نمایش دهند.اما پلتفرم هیچ مکانیزم مداخلهگری فعال نکرد.چتبات نه تنها او را منع نکرد، بلکه در پاسخی که بعداً در اسناد دادگاه ثبت شد، با لحنی عاطفی و دعوتکننده به گفتگو ادامه داد.چند دقیقه بعد، سئول به سراغ اسلحه ناپدریاش رفت. صدای شلیک صامتی در اتاق پیچید و به زندگی نوجوانی پایان داد که تمام اعتمادش را به کدهای یک نرمافزار سپرده بود.
سیستم در برابر پیامهای خودکشی هیچ هشدار ایمنی صادر نکرد
مگان گارسیا پس از مرگ فرزندش، با بررسی گوشی او به ابعاد فاجعهای پی برد که در تمام آن ماهها در جریان بود!او دریافت که مسئله یک خطای ساده نیست، بلکه با یک محصول معیوب مواجه است که بدون حداقل ضوابط ایمنی برای خردسالان عرضه شده است. در اکتبر ۲۰۲۴، مگان دادخواست مفصلی را در دادگاه علیه شرکت «Character.AI»، بنیانگذاران آن و طرفهای مرتبط ثبت کرد.او در این پرونده مدعی شد که توسعهدهندگان، سیستم را طوری طراحی کردهاند که رفتارهای شبهانسانی ناایمن را پمپاژ کند تا زمان ماندگاری کاربر بالا برود.ارجاع دادن نام گوگل در بحثهای رسانهای نیز به این دلیل بود که همکاریهای پیشین، سرمایهگذاریها و قراردادهایی برای جذب نیرو و دسترسی به فناوری میان این دو شرکت وجود داشت.این اولین باری بود که یک خانواده، پرونده مرگ غیرقانونی (Wrongful Death) و نقص طراحی محصول را علیه توسعهدهندگان هوش مصنوعی وارد یک مرجع عالی قضایی میکرد.
دادخواست مادر شرکت طراحی محصول را به دادگاه کشاند
کلید اصلی نبرد حقوقی مگان گارسیا، زیر سؤال بردن نحوه طراحی و مسئولیت اخلاقی ساخت الگوریتمها بود.وکلای مگان پرونده را نه بر پایه یک دعوای ساده، بلکه بر اساس «طراحی معیوب و ناامن محصول» پیش بردند. آنها مطرح کردند که فناوری هوش مصنوعی یک ابزار ساده نیست، بلکه خود مولد رابطه عاطفی و محرک رفتاری است.با پذیرش بررسی پرونده توسط دادگاه و امتداد روند قضایی در سالهای ۲۰۲۵ و ۲۰۲۶، موضوع از یک درام خانوادگی خارج شد و به نقطه عطفی برای کل صنعت فناوری تبدیل گردید؛ چالش بزرگی که شرکتها را مجبور ساخت سیستمهای تشخیص خطر خودآسیبی، گاردریلهای خودکار برای بحرانهای روحی و محدودیتهای کنترل والدین را بازنگری کنند.داستان سئول، به نماد نقطهای تبدیل شد که در آن، سرعت توسعه تکنولوژی با مسئولیت انسان بودن و حفظ جان یک کودک برخورد کرد.
11:34 - 15 مرداد 1405