مدل هوش مصنوعي مايكروسافت در بنچمارك SuperGLUE بهتر از انسان ظاهر شد

طي سال‌هاي اخير پيشرفت‌هاي عظيمي در تعليم شبكه‌هاي هوش مصنوعي با ميليون‌ها پارامتر به دست آمده و مايكروسافت به‌تازگي مدل هوش مصنوعي DeBERTa را از طريق تعليم نسخه‌ي عظيم‌تر آن با ۴۸ لايه‌ي ترنسفورمر، با ۱٫۵ ميليارد پارامتر به‌روزرساني كرده است.

تقويت چشمگير عملكرد DeBERTa باعث شده است اين مدل براي نخستين بار، در پردازش و فهم زبان SuperGLUE از انديشه متخصصين نمره‌ي متوسط كلان، سريع‌تر از انسان ظاهر شود. در اين آزمايش مدل DeBERTa امتياز ۸۹٫۹ كسب كرد و انسان موفق‌ به كسب امتياز ۸۹٫۸ شد. تفاوت امتيازها با درانديشه متخصصينگرفتن معيارهاي پايه‌ بيشتر مي‌شود (۹۰٫۳ در برابر ۸۹٫۸).

بنچمارك SuperGLUE شامل وظايف متنوع مبتني‌ بر پردازش زبان طبيعي (NLP) است؛ شامل مواردي نظير پاسخ‌دهي به سؤال و استنتاج زبان طبيعي. مدل DeBERTa مايكروسافت با كسب نمره‌ي متوسط كلان ۹۰٫۸، در رتبه‌ي نخست بنچمارك SuperGLUE جاي مي‌گيرد. 

براساس گزارش MSPoweruser، مدل DeBERTa مي‌تواند PLM-هاي پيشين نظير BERT،اRoBERTa و UniLM را با استفاده از سه تكنيك نوين، بهبود ببخشد. يكي از اين تكنيك‌ها، مكانيسم دقت منظم‌شده (Disentangled Attention) نام دارد و تكنيك دوم در حقيقت نسخه‌ي بهبوديافته‌ي ابزار Mask Decoder محسوب مي‌شود. مايكروسافت همچنين به نوعي تعليمِ رقابتي‌ مجازي براي بهينه‌سازي مدل DeBERTa اشاره مي‌كند.

مدل ۱٫۵ ميليارد پارامتري DeBERTa در مقايسه ‌با T5 گوگل كه شامل ۱۱ ميليارد پارامتر است، مصرف انرژي بسيار كمتري دارد و به ‌شكلي ساده‌تر امكان فشرده‌سازي اپليكيشن‌ها با تنظيمات مختلف را فراهم مي‌كند. عملكرد بهتر DeBERTa hc انسان در بنچمارك SuperGLUE دستاورد بسيار مهمي در حوزه‌ي هوش مصنوعي عمومي محسوب مي‌شود.

با وجود نمايش عملكرد خوب، مدل مايكروسافت با هيچ متر و معياري به سطح هوش انسان در زمينه‌ي درك زبان طبيعي (NLU) دست پيدا نمي‌كند. ذهن انسان در زمينه‌ي يادگيري دانش از وظايف مختلف براي حل كردن وظيفه‌اي جديد، عملكردي بسيار هوشمندانه دارد. 

مايكروسافت قصد دارد اين فناوري را با نسخه‌ي جديد مدل بازنمايي زبان طبيعي Microsoft Turing ادغام كند. شركت ردموندي از اين مدل در Bing،اOffice،اDynamics و Azure Cognitive Services براي ممكن ‌شدن انواع كارها نظير تعاملات انسان-انسان و تعاملات انسان-دستگاه استفاده مي‌كند. مايكروسافت تصميم دارد مدل ۱٫۵ ميليارد پارامتري DeBERTa و كد منبع آن را در دسترس عموم قرار دهد.