افشای راز هوش مصنوعی! محققان افکار پنهان مدل‌ها را آشکار کردند

این کشف مهم، آسیب‌پذیری قابل توجهی را نمایان ساخته که به افشای ۶۲ کلید فعال API و ۳۳ رمز عبور از گزارش‌های عمومی چت‌ها منجر شده است؛ اطلاعاتی که توسعه‌دهندگان بدون اطلاع از محتوای پنهان و حساس آن‌ها، در فضای اینترنت به اشتراک گذاشته بودند.
تیمی متشکل از محققان برجسته از مؤسسه پژوهشی MATS، مؤسسه اِلیس توبینگن، مؤسسه سیستم‌های هوشمند ماکس پلانک و شرکت امنیتی Snyk، این نقص امنیتی را در مدل‌های استدلالی شناسایی کرده‌اند. این مدل‌ها پیش از آنکه پاسخ نهایی را به کاربر ارائه دهند، مراحل پیچیده حل مسئله را در یک فضای داخلی و پنهان پردازش می‌کنند که به طور معمول از دید کاربران مخفی و رمزگذاری شده باقی می‌ماند.
این محققان در مقاله علمی خود عنوان کردند: «ما با رمزگشایی از ۳۱۵,۳۲۰ بلوک استدلالی که از مخازن عمومی استخراج شده بودند، موفق به بازیابی ۳۶۷ داده هویتی حساس و ۱۸۲ اعتبارنامه امنیتی شدیم.»
ریشه این نقص امنیتی به ساختار اساسی سیستم بازمی‌گردد؛ زیرا شرکت‌های بزرگی همچون گوگل، اوپن‌ای‌آی و آنتروپیک به جای استفاده از کلیدهای رمزگذاری اختصاصی برای هر کاربر یا مکالمه، از یک کلید رمزگذاری واحد و همگانی در سرتاسر اکوسیستم خود بهره می‌برند.
این یکپارچگی کلیدها بدین معناست که یک بلوک استدلالی رمزگذاری شده از مدل قدرتمند و پیشرفته Claude Opus ۴.۸، به سادگی می‌تواند به مدل ارزان‌تر و با حفاظت امنیتی کمتر، یعنی Claude Haiku ۴.۵ منتقل شود. از آنجایی که مدل ضعیف‌تر فاقد آموزش‌های امنیتی پیشرفته برای جلوگیری از افشای فرآیند تفکر داخلی خود است، با یک دستورالعمل ساده تمامی متن پنهان را به صورت واضح افشا می‌کند.
الکساندر پافیلوف، پژوهشگر ارشد این پروژه، در شبکه اجتماعی ایکس نوشت: «قابلیت انتقال میان‌مدلی به این معناست که Haiku ۴.۵ می‌تواند افکار مدل Opus ۴.۸ را بخواند.»
این روش آسیب‌پذیری با موفقیت بر روی خانواده مدل‌های GPT-۵.۶ و همچنین مدل‌های جمنای گوگل نیز آزمایش شد. هر سه شرکت پس از دریافت گزارش‌های امنیتی، بلافاصله وصله‌های نرم‌افزاری لازم را در سمت سرور اعمال کردند؛ با این حال، گزارش‌های قدیمی که پیشتر در پلتفرم‌هایی مانند گیت‌هاب منتشر شده‌اند، همچنان قابل رمزگشایی هستند و در معرض خطر افشا قرار دارند.