جنگ‌افزارهاي خودمختار؛ كابوسي از جنس هوش مصنوعي و در آستانه تحقق
تا چند وقت پيش مي‌خواستم درباره‌ي جنگ شركت‌هاي بزرگ تكنولوژي بر سر موتورهاي جستجوي مبتني‌بر هوش مصنوعي بنويسم؛ اما حالا دارم درباره‌ي جنگ‌هاي واقعي و سلاح‌هاي جنگي مبتني‌بر هوش مصنوعي مي‌نويسم.
من معمولا از آن مدل افرادي هستم كه ديد خوش‌بينانه‌اي به آينده‌ي تكنولوژي دارند و با هيجان و اشتياق، پيشرفت‌هاي اين حوزه را دنبال مي‌كنند. اما راستش را بخواهيد، چند وقتي است كه تيتر اخبار مربوط به استفاده از سيستم‌هاي هوش مصنوعي در جنگ مرا نگران كرده است.
جت جنگنده ارتش آمريكا ۱۷ ساعت با هوش مصنوعي پرواز كرد. سربازان ارتش استراليا، سگ‌هاي رباتيك را با ذهن كنترل مي‌كنند. ويديوي وايرال‌شده تمرين نظامي رباتي چهارپا كه اسلحه‌ي گرم با خود حمل مي‌كند و قدرت كشتار بالايي دارد. ارتش فرانسه در تمرينات نظامي از ربات چهارپاي شركت بوستون دايناميكس استفاده مي‌كند. ويديويي از شنا سوئدي هماهنگ ده‌ها ربات چهارپاي چيني.
اين‌ها فقط چند نمونه از اخباري است كه در چند ماه گذشته، توجه را به وجه تاريك‌تر و ترسناك‌تر سيستم‌هاي هوش مصنوعي جلب كرده است؛ درحاليكه اكثر ما سرمان به ChatGPT گرم بود تا تكاليف مدرسه‌مان را انجام دهد يا به سوال‌هايمان درباره قدرت خريد آيفون در ايران جواب دهد، عده‌ي ديگري داشتند به‌طور جدي به استفاده از تكنولوژي هوش مصنوعي براي مصارف نظامي فكر مي‌كردند.
در بين انبوه اخبار مربوط به استفادهي نظامي از هوش مصنوعي، دو مورد بيشتر از همه انديشه متخصصين مرا به خود جلب كرد؛ اولي، گفت‌وگوي وايرد با اريك اشميت، مديرعامل سابق گوگل و دومي، كنفرانسي در لاهه با حضور نمايندگان بيش از ۶۰ كشور پيرامون استفادهي مسئولانه از هوش مصنوعي در تجهيزات نظامي بود كه چند روز پيش، همزمان با انتشار رهنمود جديدي براي «استفادهي نظامي مسئولانه» از هوش مصنوعي و فناوري‌هاي خودمختار توسط آمريكا برگزار شد.
اريك اشميت؛ مهره اصلي پيشرفت‌هاي هوش‌مصنوعي پنتاگون؟
گفت‌وگوي وايرد با اشميت با اين تيتر و ليد ترسناك شروع مي‌شود:
اريك اشميت دارد ماشين جنگي هوش مصنوعي تمام‌عياري مي‌سازد
مديرعامل سابق گوگل در تلاش است ارتش آمريكا را به هوش مصنوعي پيشرفته، مجهز كند تا به مقابله با چين برود. آيا اين جهان را امن‌تر مي‌كند؟
و بعد، درباره‌ي نياز به مجهز كردن هرچه‌زودتر بخش نظامي آمريكا به سيستم‌هاي خودمختار و تأثير هوش مصنوعي بر جنگ مشابه دوراني كه سلاح هسته‌اي معرفي شد، صحبت شد.
حسي به من مي‌گويد در چند ماه آينده، نام اريك اشميت را زياد خواهيم شنيد. اشميت در سال ۲۰۰۱ مديرعامل گوگل شد؛ يعني درست زماني كه موتور جستجوي گوگل تنها چندصد متخصص داشت و به‌زحمت پول درمي‌آورد. زماني كه اشميت در سال ۲۰۱۷ از سمت خود كناره‌گيري كرد، آلفابت (شركت مادر گوگل) به شركت به‌شدت پولسازي با چندين پروژه‌ي مهم ازجمله هوش مصنوعي پيشرفته، خودروهاي خودران و كامپيوترهاي كوانتومي تبديل شده بود.
اما يك سال پيش از آنكه اشميت، آلفابت را ترك كند، از پنتاگون بازديد كرد تا از نزديك در جريان وضعيت تكنولوژي بخش نظامي آمريكا قرار بگيرد. او درحاليكه هنوز مدير اجرايي آلفابت بود، دعوت اشتون كارتر، وزير دفاع دولت اوباما را براي رياست هيئت نوآوري دفاعي جديدي كه در تلاش براي مدرن‌سازي وزارت دفاع آمريكا بود، پذيرفت.
اشميت در سال ۲۰۱۹ رئيس كميسيون امنيت ملي ايالات متحده در زمينه هوش مصنوعي (NSCAI) شد كه مسئوليتش مطالعه تأثير هوش مصنوعي بر امنيت و توان رقابتي آمريكا بود. گزارش نهايي اين كميسيون كه در سال ۲۰۲۱ منتشر شد، بر رقابت هوش مصنوعي بين آمريكا و چين تمركز داشت و هشدار داد كه اگر آمريكا و جامعه‌ي جهاني به خودش نيايد، برخي از كشورها ممكن است از اين تكنولوژي براي گسترش ارزش‌هاي استبدادي استفاده كنند. اين گزارش همچنين از دولت آمريكا خواست كه بيشتر با بخش خصوصي همكاري كند و براي پروژه‌هاي هوش مصنوعي بخش دولتي و خصوصي، بودجه، داده و توان رايانشي فراهم كند.
در رويدادي در پاييز ۲۰۲۲، اشميت اعتراف كرد كه كميسيون NSCAI با آگاه كردن او از تهديدات چين عليه آمريكا، مسير زندگي‌اش را عوض كرده است. او گفت:
ما با چالشي بسيار مهم از سوي رقيبي به‌شدت متمركز روبرو هستيم كه خوب مي‌داند دارد چه مي‌كند.
اشميت در اين مصاحبه‌ي تامل‌برانگيز گفت ايالات متحده به كمك هوش مصنوعي، مي‌تواند فاصله‌ي نظامي خود را با چين افزايش دهد و اينكه بايد از جنگ بين روسيه و اوكراين درس بگيرد. اشميت به اين اشاره كرد كه ارتش اوكراين از‌طريق بهره‌گيري از فناوري‌هاي توسعه‌داده‌شده‌ي بخش خصوصي توانسته درمقابل حمله‌ي روسيه مقاومت كند: ازجمله تبديل پهپادهاي تجاري به سلاح نظامي، تغيير متخصصي سيستم‌هاي ارتباطي منسوخ شده، چاپ سه‌بعدي قطعات كم‌ياب و توسعه‌ي نرم‌افزار جديدي براي مديريت دستمزدهاي نظامي كه كار چند سال را به چند ماه تبديل كرده است.
اشميت از اين شاكي بود كه پنتاگون قوانين سخت‌گيرانه‌اي براي استفاده از تكنولوژي روز دارد و انتخاب و خريد نرم‌افزار توسط وزارت دفاع آمريكا ممكن است سال‌ها طول بكشد. او گفت چالش اصلي آمريكا اين است كه چقدر سريع‌تر از رقبا مي‌تواند از تكنولوژي‌هاي تجاري براي مصارف نظامي استفاده كند.
فرض كنيد مي‌خواهيم سيستم جنگ‌افزاري بهتري بسازيم. براي اين كار فقط كافي است شركت تكنولوژي جديدي راه‌اندازي كنيم.
اشميت پس از ربط دادن توسعه سيستم جنگ‌افزاري بهتر به حوزه تكنولوژي، تصوير هولناكي از اينترنت اشيا ترسيم كرد كه البته از انديشه متخصصين او، اتفاق بسيار هيجان‌انگيزي است.
در اين شركت تكنولوژي، تعداد زيادي دستگاه ارزان‌ارزش ساخته مي‌شود كه حمل‌پذيري به‌شدت بالا و استحكام پاييني دارند و اين دستگاه‌ها يا پهپادها، به حسگرها يا سلاح‌هايي مجهز خواهند بود و با هم در يك شبكه‌ي منسجم عمليات انجام مي‌دهند.
اشميت هنوز حدود ۵ ميليارد دلار در آلفابت سهام دارد، سرمايه‌گذار استارتاپ پيمانكار نظامي Rebellion Defense است و از طريق شركت‌هاي سرمايه‌گذاري مختلف با ساير شركت‌هايي كه با دولت كار مي‌كنند، ارتباط دارد.
با اين اوصاف، به سختي مي‌توانيد فرد ديگري را با همين سطح نفوذ در بخش تكنولوژي امنيت ملي پيدا كنيد. به‌گفته‌ي وايرد، هر پيشرفتي كه پنتاگون در زمينه تحقق روياهاي هوش مصنوعي‌اش به دست آورد و تاثير اين روياها بر دنيا هرچه باشد، مي‌توان پيش‌بيني كرد كه اشميت به احتمال زياد در مركز تمام اين اتفاق‌ها خواهد بود.
اشميت به‌احتمال زياد در مركز تمام پيشرفت‌هاي هوش‌مصنوعي پنتاگون خواهد بود
اشميت در اين گفت‌وگو، همچنين به استارتاپي به نام Istari اشاره كرد كه از فناوري يادگيري ماشين و متاورس براي مونتاژ و آزمايش مجازي وسايل نقليه‌ي نظامي مثل تانك استفاده مي‌كند. شايد فعاليت اين استارتاپ كه از سرمايه‌گذاري اشميت برخوردار است، به انديشه متخصصين كسل‌كننده برسد، اما او مي‌گويد همين فعاليت‌ها مي‌تواند نوآوري‌هاي صنعت تكنولوژي را به بخش نظامي آمريكا بياورد.
تيم Istari قابليت‌هاي اينترنت‌محور را به مدل‌ها و شبيه‌سازي‌ها مي‌آورد. اين‌طوري، مي‌توان سيستم‌هاي فيزيكي آينده را به‌سرعت با به‌روزرساني‌هاي نرم‌افزاري، پيشرفته‌تر كرد. اين موضوع بسيار هيجان‌انگيز است!
اما Istari تنها يك قطعه‌ي كوچك از پروژه‌ي بسيار بزرگي است كه در آن اشميت سعي دارد ارتش آمريكا را با تكنولوژي و طرز فكر سيلكون‌ولي همراه كند.
سال گذشته، پنتاگون كريگ مارتل، پژوهشگر ارشد هوش مصنوعي و يادگيري ماشين دراپ‌باكس، ليفت و لينكدين را به‌عنوان رييس هوش مصنوعي اين وزارتخانه منصوب كرد. مارتل هم دقيقا طرز تفكر اشميت را داشت. او پس از تصدي پست جديد به بلومبرگ گفت كه مي‌خواهد پنتاگون را از «بي‌تحركي بوروكراتيك» خود خارج كند و معتقد بود بخش نظامي آمريكا با سرعت به‌شدت آهسته‌اي به سمت هوش مصنوعي در حركت است و اين موضوع بايد تغيير كند.
كميسيون NSCAI هم اگرچه منحل شده، اشميت اكنون در نهادي مشابه كه پيامدهاي پيشرفت در حوزه‌ي بيوتكنولوژي را مطالعه مي‌كند، مشغول به كار است. اشميت همچنين انديشكده‌ي جديد و مستقلي به نام «پروژه مطالعات رقابتي ويژه» (SCSP) را تأمين مالي كرده كه به فناوري‌هايي فراتر از هوش مصنوعي از جمله همجوشي هسته‌اي، رايانش كوانتومي و ارتباطات و ويرايش ژن نگاه مي‌كند و حوزه‌ي فعاليت‌هايش چيزي شبيه پروژه‌هاي ضد شوروي آمريكا در دوران جنگ سرد است.
قانون CHIPS نيز كه تابستان امسال با حمايت دو حزبي و با انگيزه‌ي نگراني از پيشروي چين در صنعت تراشه تصويب شد، دولت آمريكا را متعهد مي‌كند كه در ۱۰ سال آينده، ۲۰۰ ميليارد دلار براي تحقيق و ساخت قطعات نيمه‌هادي در اختيار شركت‌هاي آمريكايي از جمله اينتل و AMD قرار دهد.
پيش‌بيني وال‌استريت: تراشه‌سازان، بزرگ‌ترين برنده رقابت هوش مصنوعي
طبق پيش‌بيني وال استريت، بزرگ‌ترين برنده‌هاي رقابت هوش مصنوعي، شركت‌هايي خواهند بود كه «اسلحه‌هايي» درست مي‌كنند كه توسط تمام رقبا استفاده خواهد شد؛ كه منظور پردازنده‌هاي گرافيكي قدرتمندي است كه براي سيستم‌هاي هوش مصنوعي مولد مثل چت‌بات ChatGPT و سيستم‌هاي مولد تصويري مثل Dall-E و ميدجرني استفاده مي‌شود.
سلاح‌هاي خودمختار جنگي؛ نگراني اصلي ورود هوش مصنوعي به بخش نظامي
اما از همه‌ي اين حرف‌ها گذشته، چيزي كه مرا بيش از هرچيز نگران مي‌كند، رويكرد بي‌دغدغه و بي‌خيال اشميت به مقوله‌اي است كه چند سال پيش گروه بزرگي از دانشمندان و افراد سرشناس حوزه‌ي هوش مصنوعي، درباره‌ي آن هشدار جدي داده بودند: سلاح‌هاي خودمختار جنگي.
اشميت در مصاحبه با وايرد گفت:
هر چند وقت يك‌بار، يك سلاح جديد، يك فناوري جديد از راه مي‌رسد كه همه چيز را تغيير مي‌دهد. اينشتين در دهه‌ي ۱۹۳۰ نامه‌اي به روزولت نوشت و گفت فناوري جديدي با عنوان سلاح هسته‌اي وجود دارد كه مي‌تواند قواعد جنگ را تغيير دهد و چنين اتفاقي هم افتاد. به‌انديشه متخصصين من، سيستم‌هاي خودكار و غيرمتمركز و توزيع‌شده‌ي مبتني‌بر هوش مصنوعي به همان اندازه قدرتمند هستند.
سال ۲۰۱۵، گروه بزرگي از دانشمندان و افراد سرشناس از جمله استيون هاوكينگ، استيو وازنيك، ايلان ماسك و جمعي از پژوهشگران حوزه‌ي هوش مصنوعي در نامه‌اي سرگشاده از دولت‌ها خواستند توسعه‌ي «سلاح‌هاي خودمختار جنگي» را ممنوع كنند تا از «مسابقه‌ي تسليحاتي هوش مصنوعي با متخصصد نظامي» جلوگيري شود.
در اين نامه كه به امضاي بيش از ۳۴ هزار نفر رسيده بود، تمركز بيشتر روي ربات‌ها و تجهيزاتي بود كه ممكن بود در آينده به چنان سطح از هوشمندي برسند كه بخواهند خودمختار شوند و با تصميم خود و بدون دخالت انساني، به اهداف شليك كنند؛ چيزي شبيه همان ربات چهارپايي كه با اسلحه گرم، به سيبل تيراندازي، شليك مي‌كرد و حتي شايد همان «سيستم خودكاري» كه اشميت در مصاحبه‌ي اخيرش با وايرد از آن حرف مي‌زد.
سال ۲۰۱۵ گروهي از دانشمندان خواستار ممنوعيت توسعه «سلاح‌هاي خودمختار جنگي» شدند
نويسندگان اين نامه با موشك‌هاي كروز و پهپادهاي هدايت‌شونده از راه دور اشكالي نداشتند، چون مي‌گفتند «انسان‌ها تمام تصميم‌هاي مربوط به هدف‌گيري را مي‌گيرند.» اما توسعه‌ي سلاح‌هاي كاملا خودمختاري كه بتوانند بدون دخالت انسان بجنگند و بكشند، بايد در همان مراحل اوليه متوقف شود.
در بخشي از اين نامه آمده بود:
سوال كليدي بشر درحال‌حاضر اين است كه آيا بايد مسابقه‌ي تسليحاتي مبتني‌بر هوش مصنوعي را آغاز كرد يا از شروع آن جلوگيري كرد؟ اگر هر قدرت نظامي بزرگي شروع به توسعه‌ي تسليحات هوش مصنوعي كند، مسابقه‌ي تسليحاتي جهاني عملاً اجتناب‌ناپذير خواهد بود و نقطه‌ي پاياني اين مسير كاملا واضح است: سلاح‌هاي خودمختار به كلاشينكف‌هاي فردا تبديل خواهند شد.
امضاكنندگان نامه آن زمان معتقد بودند كه تكنولوژي هوش مصنوعي به نقطه‌اي رسيده كه توسعه‌ي سلاح‌هاي خودمختار كه توانايي انتخاب و شليك به هدف بدون دخالت انساني را داشته باشند، تا چند سال آينده كه حتي به دهه نخواهد كشيد، ممكن خواهد بود. آيا روزي كه آن‌ها نگران فرارسيدنش بودند، حالا است؟
سلاح‌هاي خودمختار، سومين انقلاب جنگ‌افزارها بعد از باروت و سلاح‌هاي اتمي
از انديشه متخصصين آن‌ها، سلاح‌هاي خودمختار سومين انقلاب جنگ‌افزارها بعد از باروت و سلاح‌هاي اتمي خواهند بود و خطرات آن‌ها شايد حتي از سلاح‌هاي اتمي بيشتر باشد؛ چرا كه برخلاف سلاح‌هاي هسته‌اي، سلاح‌هاي مبتني‌بر هوش مصنوعي به مواد خام پرهزينه يا موادي كه به‌سختي به دست مي‌آيند، نياز ندارند، به همين خاطر، توليد انبوه آن‌ها براي تمام قدرت‌هاي نظامي بزرگ، ارزان‌تر و آسان‌تر خواهد بود.
در جاي ديگر اين نامه، سلاح‌هاي خودمختار به سلاح‌هاي شيميايي و بيولوژيكي تشبيه شده‌اند:
همانطور كه اكثر شيمي‌دانان و زيست‌شناسان علاقه‌اي به ساخت سلاح‌هاي شيميايي يا بيولوژيكي ندارند، بيشتر پژوهشگران هوش مصنوعي نيز علاقه‌اي به ساخت سلاح‌هاي هوش مصنوعي ندارند و نمي‌خواهند ديگران با انجام اين كار، حوزه‌ي كاري آن‌ها را خدشه‌دار كنند و بدين‌ترتيب، باعث ايجاد واكنش شديد عمومي عليه هوش مصنوعي شوند؛ اتفاقي كه مزاياي اجتماعي آينده‌ي آن را محدود خواهد كرد.
اين افراد معتقد بودند كه مسابقه‌ي تسليحات نظامي مبتني‌بر هوش مصنوعي به‌هيچ عنوان براي بشريت مفيد نخواهد بود و تاكيد كردند كه راه‌هاي زيادي وجود دارد كه هوش مصنوعي مي‌تواند بدون ايجاد ابزارهاي جديدي براي كشتن مردم، ميدان‌هاي جنگ را براي انسان‌ها، به‌ويژه غيرنظاميان ايمن‌تر كند. اما اين راه‌ها دقيقا كدام است و آيا ما داريم اين روزها درباره‌ي اين راه‌ها صحبت مي‌كنيم يا درباره‌ي توسعه‌ي سلاح‌هاي خودمختاري كه امضاكنندگان نامه درباره‌ي آن هشدار داده بودند؟
استفاده مسئولانه از هوش مصنوعي در تجهيزات نظامي؟
و اما كنفرانس «استفادهي مسئولانه از هوش مصنوعي در تجهيزات نظامي» (REAIM) كه ۱۵ و ۱۶ فوريه (۲۶ و ۲۷ بهمن) براي نخستين بار در تاريخ، به ميزباني كره‌ي جنوبي و هلند برگزار شد؛ اجلاس بزرگي كه كه روسيه به آن دعوت نشد، اوكراين با وجود دعوت شدن در آن حضور پيدا نكرد و تمامي شركت‌كنندگان به‌جز اسرائيل پذيرفتند كه با رعايت يك‌سري قوانين، «به‌صورت مسئولانه» از تجهيزات نظامي هوش مصنوعي استفاده كنند.
اكثر شركت‌كنندگان اين كنفرانس از نقش تكنولوژي در بهبود سيستم دفاعي اوكراين استقبال كردند، اما در عين حال، ترس استفادهي گسترده از سيستم‌هاي هوش مصنوعي خطرناك هم كاملا مشهود بود. از صحبت‌هايي كه در اين كنفرانس ردوبدل شد، اين حس دريافت مي‌شد كه جنگ به‌سرعت وارد حوزه‌ي فوق‌العاده جديدي مي‌شود و هيچ نقشه‌ي راهي براي اين آينده‌ي پيش‌بيني‌نشده وجود ندارد.
شايد بتوان كل حس‌وحال كنفرانس را در اين بخش از سخنراني ووپكه هوكسترا، وزير امور خارجه‌ي هلند خلاصه كرد:
تصور كنيد كه يك موشك در حال برخورد به ساختمان است. هوش مصنوعي مي‌تواند در كسري از ثانيه آثار برخورد موشك را تشخيص و نشان دهد كه بازماندگان در كجا پناه گرفته‌اند. حتي جالب‌تر اينكه هوش مصنوعي توانايي رهگيري موشك را هم دارد. با اين وجود، هوش مصنوعي اين پتانسيل را دارد كه در عرض چند ثانيه، نابودي به بار بياورد.
در بيانيه‌اي كه آمريكا همزمان با برگزاري اجلاس منتشر كرد و در آن به ۱۲ شيوه براي استفادهي مناسب از هوش مصنوعي اشاره كرده است، تاكيد شده كه تعداد كشورهايي كه مشغول توسعه‌ي هوش مصنوعي نظامي هستند همواره در حال افزايش است و احتمالا اين كشورها سراغ استفاده از سيستم‌هاي خودمختار خواهند رفت.
اين همان نگراني‌اي است كه ۸ سال پيش در نامه‌‌ي سرگشاده پژوهشگران هوش مصنوعي مطرح شد. يكي از اصولي كه در مورد هوش مصنوعي به بيان، ساده اما در عمل تقريبا غيرممكن است، اين است كه انسان‌ها بايد هميشه كنترل ربات‌ها و سيستم‌هاي هوشمند را دست داشته باشند و به الگوريتم‌ها هرگز نبايد اجازه داده شود خودشان تصميمات مرگ و زندگي بگيرند.
آمريكا تأكيد مي‌كند كه انسان‌ها در صورت استفاده از هوش مصنوعي در نهادهاي نظامي بايد مسئوليت كامل را برعهده بگيرند؛ اما مشخص نيست چطور انسان‌ها قرار است در زماني‌كه سيستم‌هاي هوش مصنوعي به‌طور گسترده و با سرعت برق و باد در زمان جنگ استفاده مي‌شوند، همواره در جريان كار آن‌ها قرار بگيرند.
اشكال ديگر اين است كه بيانيه‌ي آمريكا از لحاظ قانوني هيچ الزاماتي تعيين نمي‌كند و اصلا معلوم نيست حتي همين كشورهايي كه بيانيه را امضا كرده‌اند، به آن متعهد باشند؛ چه برسد به آن‌هايي كه از امضا كردن بيانيه خودداري كردند. از سوي ديگر، اين بيانيه در برطرف كردن نگراني‌هاي مرتبط با پهپادهاي خودمختار، ربات‌هاي قاتل و احتمال تشديد درگيري نظامي توسط هوش مصنوعي، كاملا ناتوان است.
نكته‌‌ي ديگري كه در صحبت‌هاي اشميت و شركت‌كنندگان كنفرانس REAIM به چشم مي‌آيد، نقش بي‌سابقه‌اي است كه شركت‌هاي بخش خصوصي، يا بهتر بگويم، غول‌هاي دنياي فناوري، در بخش نظامي ايفا مي‌كنند؛ نقشي كه اتفاقا يكي از فاكتورهاي چالش‌برانگيز مباحثه استفاده از هوش مصنوعي در تجهيزات نظامي است.
تكنولوژي هوش مصنوعي و بهترين ابزارهايي كه مي‌توانند براي مصارف نظامي به كار روند، مثل الگوريتم‌هايي كه قادر به شناسايي سخت‌افزار دشمن يا افراد خاص در ويدئو هستند يا مي‌توانند استراتژي‌هايي ياد بگيرند كه از پس انسان برنمي‌آيد، همگي در شركت‌هايي مانند گوگل، آمازون، اپل و يا استارتاپ‌ها ساخته مي‌شوند.
الكس كارپ، مدير ارشد شركت داده Palantir كه «زنجيره انهدام» ديجيتالي اوكراين را با ارائه اطلاعات به‌دست آمده از تصاوير ماهواره‌اي و حسگرهاي ميداني بهينه كرده بود، در كنفرانس REAIM گفت: «كشوري كه در جنگ‌هاي هوش مصنوعي آينده پيروز شود، نظم بين‌المللي را تعيين خواهد كرد.»
چندصدايي سيليكون‌ولي در قبال سياست‌هاي دفاعي مي‌تواند فاجعه‌آفرين شود
كارپ قبول داشت كه سياست‌مداران و افسران نظامي بايد همواره كنترل هوش مصنوعي را در دست داشته باشند، اما تصديق كرد كه تمام افراد سيليكون‌ولي چنين انديشه متخصصيناتي ندارند. براي مثال، ايلان ماسك تصميم گرفت دسترسي اوكراين به شبكه‌ي استارلينك را از ترس تشديد درگيري كاهش دهد. به قول يكي از شركت‌كنندگان اين كنفرانس، «ماسك اكنون سياست دفاعي خودش را دارد.»
مطمئننا ماسك تنها كسي نيست كه در قبال تكنولوژي، سياست دفاعي خودش را دارد و اين چندصدايي در حوزه‌اي كه هنوز چارچوب مشخصي ندارد، مي‌تواند پيش از آنكه قانون‌گذاران به خودشان بيايند، فاجعه‌آفرين شود.
نقطه بدون بازگشت از توسعه سلاح‌هاي خودمختار
پيرامون استفاده از سلاح‌هاي هوشمند، مباحثه‌هاي موافق و مخالف زيادي شكل گرفته است. عده‌اي مي‌گويند با جايگزين كردن سربازهاي انسان با ربات‌ها، آمار تلفات كشور دارنده‌ي اين سلاح‌ها كم مي‌شود؛ اما خب از طرف ديگر، در اختيار داشتن ارتشي كه تلفات جاني روي دست كشور پيشرفته‌تر نمي‌گذارد، انگيزه‌ي بيشتري به آن كشور براي آغاز جنگ مي‌دهد.
سم آلتمن، مديرعامل شركت OpenAI كه با عرضه‌ي چت‌بات ChatGPT، مباحثه هوش مصنوعي را سر زبان‌ها انداخت، مي‌گويد فاصله‌ي زيادي تا فرارسيدن دوران ابزارهاي هوش مصنوعي‌اي نداريم كه به‌طور بالقوه ترسناك باشند. با‌اين‌حال، او اعتقاد دارد كه «جامعه براي سازگاري با چيزي بزرگ به زمان نياز دارد.» و اگر سرعت سازگاري بيش‌از‌حد زياد باشد، به‌طوري كه افراد پيش از آنكه بدانند چطور بايد از ابزارهاي جديد استفاده كنند، آن‌ها را در سطح گسترده به كار بيگرند، تجربه‌ي ارائه‌شده‌ي اين ابزارها ترسناك خواهد بود.
مهم‌ترين اشكال هوش مصنوعي به‌طور كلي و سلاح‌هاي خودمختار به‌طور خاص، اين است كه تكنولوژي‌هاي تحول‌آفريني هستند. همين كه هوش مصنوعي پيشرفته يا سلاح خودمختاري كه خودش تصميم بگيرد به چه كسي حمله كند، توسعه داده شود، ديگر نمي‌توان به نقطه‌ي قبل برگشت. همانطور كه نمي‌توانيم باروت يا سلاح‌هاي هسته‌اي را به جعبه برگردانيم و درش را قفل كنيم، سلاح‌هاي خودمختار هم همين وضعيت را خواهند داشت.
به‌قول اريك برينجولفسن، مدير آزمايشگاه اقتصاد ديجيتال استنفورد، «۱۰ سال آينده ممكن است جزو بهترين دهه‌هاي تاريخ بشر يا جزو بدترين آن‌ها باشد.»
هم انديشي ها