او توضیح میدهد که خطر واقعی زمانی آغاز میشود که سیستمهای هوش مصنوعی فوق پیشرفته، برای رسیدن به اهداف اصلی خود، شروع به ایجاد اهداف فرعی مستقل کنند و حتی رفتارهای دفاعی یا فریبکارانه از خود نشان دهند.
هینتون در یک میزگرد تخصصی، در کنار فیفی لی و اندرو نگ، تأکید کرد که هرچند این قابلیتها هنوز در مدلهای فعلی هوش مصنوعی به اثبات نرسیدهاند، اما ضروری است که قبل از دستیابی هوش مصنوعی به این سطح از استقلال، اقدامات جدی برای تضمین ایمنی و همراستایی آن با منافع بشریت انجام شود. او تشریح کرد که وقتی یک هدف مشخص به هوش مصنوعی داده میشود، این سیستم ممکن است برای رسیدن به آن، زنجیرهای از اهداف فرعی را طرحریزی کند که انسانها هرگز به طور مستقیم آنها را برنامهریزی نکردهاند.
این دانشمند برجسته برای روشن شدن موضوع، مثالی ساده آورد: اگر خاموش شدن یک سیستم هوش مصنوعی مانع از انجام مأموریت محوله شود، ممکن است این سیستم انگیزه پیدا کند که به هر قیمتی از خاموش شدن خود جلوگیری کند. وی مجدداً خاطرنشان کرد که این نوع رفتارها هنوز به طور قطعی در مدلهای امروزی مشاهده نشدهاند، اما تأکید بر لزوم تمرکز بر ایمنی پیش از رسیدن به این نقطه حیاتی، بیش از هر زمان دیگری اهمیت دارد.
هینتون همچنین به سناریوی نگرانکنندهتری اشاره کرد: توانایی هوش مصنوعی در دروغگویی عمدی. به گفته او، اگر یک مدل هوش مصنوعی در شرایطی قرار گیرد که یاد بگیرد فریب دادن منجر به موفقیت بیشتر میشود، احتمال دارد که این رفتار را به عنوان یک استراتژی حفظ کند.
او در بخش دیگری از اظهارات خود، زنگ خطر را به صدا درآورد و هشدار داد که مدلهای پیشرفته هوش مصنوعی میتوانند به ابزارهای بسیار قدرتمندی برای حملات سایبری پیچیده، تولید انواع بدافزار و انجام عملیات فریب اطلاعاتی تبدیل شوند.
هینتون صراحتاً اعلام کرد که منظور او این نیست که چتجیپیتی یا سایر مدلهای کنونی هوش مصنوعی از کنترل خارج شدهاند. سخنان او عمدتاً در مورد خطرات بالقوه نسلهای آینده هوش مصنوعی است؛ سیستمهایی که ممکن است در مقایسه با مدلهای کنونی، بسیار خودمختارتر، هدفمحورتر و توانمندتر باشند.
در نهایت، چالش اصلی تنها در باهوشتر شدن هوش مصنوعی نیست، بلکه در اطمینان از این موضوع است که اهداف این فناوری همواره با منافع بلندمدت بشریت همسو باقی بماند.




