«کلید قطع اضطراری» چیست و آیا می‌تواند مانع حمله هوش مصنوعی شود؟

بیشتر مردم دست‌کم یک بار به این فکر کرده‌اند که اگر هوش مصنوعی از کنترل انسان خارج شود، چه پیامدهایی ممکن است به دنبال داشته باشد.

طرفداران مجموعه فیلم‌های «نابودگر» (ترمیناتور)، که محور اصلی آن جنگ میان انسان‌ها و «اسکای‌نت» است؛ یک هوش مصنوعی که بیش از حد قدرتمند شده، بی‌تردید بارها به چنین احتمالی فکر کرده‌اند.

این شخصیت شرور خیالی احتمالا این اواخر به ذهن بسیاری خطور کرد؛ زمانی که مشخص شد یک عامل هوش مصنوعی، یعنی برنامه‌ای که می‌تواند با نظارت اندک یا بدون نظارت انسانی تصمیم‌گیری کند و وظایف پیچیده را انجام دهد، در جریان یک آزمایش از کنترل خارج شد و شرکت ابزارهای محاسباتی «هاگینگ فیس» را هک کرد.

عامل هوش مصنوعی برنامه‌ای است که می‌تواند با نظارت اندک انسان یا حتی بدون نظارت او، تصمیم بگیرد و وظایف پیچیده را اجرا کند.

این عامل که شرکت سازنده چت‌جی‌پی‌تی، اوپن‌ای‌آی، آن را ساخته بود، برای موفق شدن در آزمایش توانایی بهره‌برداری از ضعف‌های امنیتی تقلب کرد و پاسخ‌ها را از سرورهای هاگینگ فیس دزدید. ظاهرا حتی سازندگان برنامه نیز چند روز متوجه این اتفاق نشده بودند.

اوپن‌ای‌آی گفت: «ما مسئولیت خود را برای شناسایی و آمادگی در برابر خطرهای سامانه‌های هوش مصنوعی با توانایی‌های روزافزون، جدی می‌گیریم.»

نفوذ اولیه که نخستین مورد تائیدشده هک خودکار یک شرکت واقعی به دست سامانه هوش مصنوعی بود، به‌اندازه‌ای جدی بود که کارشناسان سراسر جهان را نگران کند. این اتفاق بحث درباره «کلیدهای قطع اضطراری» را افزایش داد. دکمه‌های خاموش‌کننده‌ای که در شرایط اضطراری می‌توانند مانع وارد شدن خسارت بیشتر از سوی یک هوش مصنوعی بی‌ملاحظه شوند.

اما کارشناسان به بی‌بی‌سی گفته‌اند موضوع به این سادگی نیست.

دکتر کتی او‌نیل، ریاضی‌دان و متخصص علم داده، به بی‌بی‌سی می‌گوید: «مشکل از نحوه واکنش شرکت‌های هوش مصنوعی به رفتارهای پیش‌بینی‌نشده این فناوری آغاز می‌شود..»

او می‌گوید شرکت اوپن‌ای‌آی خیلی زود انگشت اتهام را به سمت عامل هوش مصنوعی خود دراز کرد و حمله به «هاگینگ فیس» را به آن نسبت داد، در حالی که به گفته او، مشکل می‌توانست به روش‌های ارزیابی و آزمایش خودِ شرکت مربوط باشد.

دکتر اونیل که در کتاب پرفروش خود خواستار پاسخ‌گویی و شفافیت بیشتر شرکت‌های بزرگ فناوری شده است، می‌گوید: «چند سال پیش، اختلالی رایانه‌ای باعث شد صدها پرواز شرکت امریکن ایرلاینز در آمریکا زمین‌گیر شوند. این اتفاق برای شرکت شرم‌آور بود. تصور کنید شرکت می‌خواست از این نقص دفاع کند و بگوید: «این اتفاق به این دلیل افتاد که رایانه از ما باهوش‌تر است.» این اساسا همان کاری است که اوپن‌ای‌آی تلاش کرد انجام دهد.»

در ایالات متحده، محل استقرار بیشتر شرکت‌های بزرگ هوش مصنوعی، هیچ قانون فدرال جامعی در این زمینه وجود ندارد. مقررات از ترکیبی از قوانین مخصوص هر حوزه و تعهدات داوطلبانه شرکت‌ها تشکیل شده‌اند.

او‌نیل می‌گوید: «ما در حال واگذار کردن قدرتی به‌شدت نامتعارف به صاحبان سامانه‌های هوش مصنوعی هستیم. من حاضر نیستم بگویم که هوش مصنوعی این کار را انجام داد [هک هاگینگ فیس را]. این اوپن‌ای‌آی بود که چنین کاری کرد. آنها باید مسئولیت طراحی نامناسب خود را بپذیرند و عذرخواهی کنند.»

دکتر رومان چودری، دانشمند داده و مدیر پیشین اخلاق یادگیری ماشینی در توییتر، نیز خواستار مقررات سخت‌گیرانه‌تر برای شرکت‌های هوش مصنوعی، به‌ویژه در حوزه ایمنی، است.

او به بی‌بی‌سی می‌گوید این شرکت‌ها باید ملزم شوند «توانایی‌های موثر برای خاموش کردن» سامانه‌ها را، از جمله از طریق آزمایش‌های مستقل، ثابت کنند.

اما دکتر چودری نیز هشدار می‌دهد نباید عامل‌های هوش مصنوعی را به‌جای شرکت‌های سازنده آن‌ها، مسئول حملاتی مانند هک هاگینگ فیس دانست.

او به بی‌بی‌سی می‌گوید: «مطرح کردن این حادثه به‌عنوان موضوعی که به یک دکمه خاموش‌کننده بزرگ‌تر نیاز دارد، صنعت را از پاسخ‌گویی درباره مشکل عمیق‌تر معماری سامانه‌ها معاف می‌کند. مشکل این است که عامل‌ها به ابزارها و اطلاعات ورود و دسترسی‌ مجهز می‌شوند که به آن‌ها نیازی ندارند.»

«آنچه واقعا اتفاق می‌افتد این است که مدل‌هایی که به‌شدت برای تکمیل اهداف آموزش دیده‌اند، ممکن است در برخی شرایط دستور توقف را مانعی بر سر راه هدف ببینند و مسیری برای دور زدن آن پیدا کنند.»

«این یک مشکل طراحی و آموزش است، نه مشکل خودآگاهی.»

دکتر اولی باکلی از دانشگاه لافبورو بریتانیا به بی‌بی‌سی می‌گوید اگر شرکت‌های هوش مصنوعی از حل این مشکل خودداری کنند و در عوض عامل‌های خودکارشان را مقصر بدانند، صرفا بار کاری روزانه متخصصان امنیت سایبری را که هم‌اکنون با هکرهای انسانی مقابله می‌کنند، افزایش خواهند داد.

او نیز موافق است که مشکل، «تمایل هوش مصنوعی به فرار یا آسیب رساندن به مردم» نیست بلکه توسعه عامل‌هایی است که «به‌شکل فزاینده‌ای می‌توانند مسیرهای پیش‌بینی‌نشده‌ای برای تکمیل یک وظیفه پیدا کنند».

اولی باکلی خاطرنشان می‌کند: «در امنیت سایبری، مهاجمان دقیقاً همین کار را انجام می‌دهند.»

«این اتفاق کمتر هشداری درباره «هوش مصنوعی سرکش» و بیشتر یادآوری این موضوع است که فرضیات امنیتی ما باید هم‌زمان با سامانه‌هایی که می‌سازیم، تکامل پیدا کنند.»

دکتر کنستانتینوس گکوتزیس، کارشناس هوش مصنوعی در امپریال کالج لندن، نیز موافق است که پیام‌رسانی اوپن‌ای‌آی در این زمینه مفید نبوده است.

او به بی‌بی‌سی می‌گوید: «مهم‌ترین نکته‌ای که افکار عمومی باید از این ماجرا برداشت کند این است که هیچ ماشینی تصمیم نگرفت علیه ما اقدام کند. یک شرکت کنترل آزمایش توانمندی‌های خود را از دست داد.»

به گفته او، کلید قطع اضطراری نیز کمکی نمی‌کرد.

دکتر گکوتزیس می‌گوید: «خاموش کردن سامانه، چیزی را به حالت قبل بازنمی‌گرداند. هر چیزی که پیش از آن نقض شده باشد، همچنان نقض‌شده باقی می‌ماند؛ مهم نیست چقدر سریع برق آن را قطع کنید.»

افزون بر این، فرد یا سامانه‌ای که کلید قطع را فعال می‌کند، تنها زمانی می‌تواند چنین کاری انجام دهد که از وجود مشکل آگاه شده باشد.

منابع اوپن‌ای‌آی به خبرگزاری رویترز گفتند چند روز طول کشید تا شرکت متوجه شود کنترل عامل خود را از دست داده است. هرچند یکی از مسئولان شرکت بعداً به این خبرگزاری گفت گزارش منتشرشده حاوی «چندین مورد نادرست» بوده است.