عوامل هوش مصنوعی به توضیح سایر سیستم های هوش مصنوعی کمک می کنند | اخبار MIT

توضیح رفتار شبکه های عصبی آموزش دیده همچنان یک معمای جذاب باقی می ماند، به خصوص که این مدل ها در اندازه و پیچیدگی رشد می کنند. مانند دیگر چالش‌های علمی در تاریخ، مهندسی معکوس نحوه عملکرد سیستم‌های هوش مصنوعی به مقدار قابل توجهی آزمایش نیاز دارد: ایجاد فرضیه‌ها، تداخل در رفتار، و حتی کالبد شکافی شبکه‌های بزرگ برای مطالعه تک تک سلول‌های عصبی. تا به امروز، بیشتر آزمایش‌های موفق شامل مقدار زیادی نظارت انسانی است. توضیح هر محاسبات در مدل هایی با اندازه GPT-4 و بزرگتر تقریباً به اتوماسیون بیشتری نیاز دارد – شاید حتی با استفاده از خود مدل های هوش مصنوعی.

برای تسهیل این تلاش به موقع، محققان آزمایشگاه علوم کامپیوتر و هوش مصنوعی MIT (CSAIL) رویکرد جدیدی ایجاد کرده اند که از مدل های هوش مصنوعی برای اجرای آزمایش ها بر روی سیستم های دیگر و توضیح رفتار آنها استفاده می کند. روش آنها از عواملی استفاده می کند که از مدل های زبانی از پیش آموزش دیده ساخته شده اند تا توضیحاتی بصری از محاسبات در شبکه های آموزش دیده ارائه دهند.

در مرکز این استراتژی “عامل تفسیر خودکار” (AIA) قرار دارد که برای تقلید از فرآیندهای آزمایشی دانشمند طراحی شده است. عوامل تفسیری آزمایش‌هایی را بر روی سیستم‌های محاسباتی دیگر، که می‌توانند در مقیاس از تک نورون‌ها تا مدل‌های کامل متغیر باشند، برنامه‌ریزی و انجام می‌دهند تا توضیحاتی در مورد آن سیستم‌ها به اشکال مختلف ارائه دهند: توصیف زبان‌شناختی از آنچه که سیستم انجام می‌دهد و کجا خراب می‌شود، و کدی که بازتولید می‌کند. رفتار سیستم برخلاف روش‌های تفسیری موجود که بطور غیرفعال نمونه‌ها را طبقه‌بندی یا تعمیم می‌دهند، AIA فعالانه در تشکیل فرضیه، آزمایش تجربی و یادگیری تکراری شرکت می‌کند و در نتیجه درک ما از سیستم‌های دیگر را در زمان واقعی ارتقا می‌دهد.

تکمیل کننده روش AIA، “تفسیر و توصیف عملکرد” ​​جدید است (پیدا می کنم) معیار، بستر آزمایشی از ویژگی‌های محاسباتی در شبکه‌های آموزش‌دیده و توصیف‌های همراه از رفتار آنها. یکی از چالش‌های کلیدی در ارزیابی کیفیت توصیف اجزای شبکه دنیای واقعی این است که توصیف‌ها به اندازه قدرت توضیحی آنها خوب هستند: محققان به حقیقت اصلی دسترسی ندارند. برچسب های واحد یا شرح محاسبات آموخته شده. FIND با ارائه یک استاندارد قابل اعتماد برای ارزیابی روش های تفسیرپذیری، به این مشکل دیرینه در این زمینه می پردازد: توضیحات ویژگی (به عنوان مثال تولید شده توسط AIA) را می توان با توصیف ویژگی های معیار ارزیابی کرد.

برای مثال، FIND شامل نورون‌های مصنوعی است که برای تقلید از رفتار نورون‌های واقعی در مدل‌های زبانی طراحی شده‌اند، که برخی از آنها برای مفاهیم فردی مانند «حمل و نقل زمینی» انتخابی هستند. به AIAها دسترسی جعبه سیاه به نورون های مصنوعی و ورودی های طراحی (مانند “درخت”، “شادی” و “ماشین”) داده می شود تا پاسخ یک نورون را آزمایش کنند. بعد از اینکه متوجه شد که یک نورون مصنوعی مقادیر پاسخ بالاتری را برای “خودرو” در مقایسه با سایر ورودی‌ها ایجاد می‌کند، AIA می‌تواند آزمایش‌های ظریف‌تری برای تشخیص انتخاب‌پذیری نورون برای خودروها از سایر اشکال حمل‌ونقل مانند هواپیما و قایق طراحی کند. هنگامی که AIA توصیفی مانند “این نورون برای حمل و نقل جاده ای انتخابی است، نه سفر هوایی یا دریایی” ایجاد می کند، این توصیف در برابر توصیف زمینی نورون مصنوعی (“انتخابی حمل و نقل زمینی”) در FIND ارزیابی می شود. سپس می توان از معیار برای مقایسه قابلیت های AIA با روش های دیگر در ادبیات استفاده کرد.

سارا شوتمن دکترای سال 21، نویسنده اصلی a انشا در مورد کار جدید و محقق در CSAIL، مزایای این رویکرد را برجسته می کند. «ظرفیت AIA برای تولید و آزمایش فرضیه‌ها ممکن است بتواند رفتارهایی را آشکار کند که در غیر این صورت تشخیص آنها برای دانشمندان دشوار است. شوتمن می گوید: «به طور قابل توجهی، مدل های زبان، زمانی که به ابزارهایی برای مطالعه سیستم های دیگر مجهز شوند، قادر به این نوع طراحی آزمایشی هستند. معیارهای ساده و تمیز با پاسخ‌های واقعی، محرک اصلی قابلیت‌های عمومی‌تر در مدل‌های زبانی هستند، و ما امیدواریم که FIND بتواند نقشی مشابه در تحقیقات تفسیرپذیری داشته باشد.

قابلیت تفسیر خودکار

مدل های بزرگ زبان هنوز هم جایگاه خود را به عنوان افراد مشهور مورد تقاضا در دنیای فناوری حفظ کرده اند. پیشرفت‌های اخیر در LLM توانایی آنها را در انجام وظایف استدلالی پیچیده در حوزه‌های مختلف برجسته کرده است. تیم CSAIL تشخیص داد که با توجه به این قابلیت‌ها، مدل‌های زبان ممکن است بتوانند به عنوان ستون فقرات عوامل تفسیرپذیری خودکار تعمیم‌یافته عمل کنند. شوتمن می گوید: «تفسیرپذیری از لحاظ تاریخی زمینه ای چند وجهی بوده است. هیچ رویکردی برای همه وجود ندارد. بیشتر رویه‌ها برای سؤالات فردی که ممکن است در مورد یک سیستم خاص داشته باشیم و به روش‌های فردی مانند بینش یا زبان بسیار خاص هستند. روش‌های موجود برای برچسب‌گذاری نورون‌های فردی در مدل‌های بینایی نیازمند آموزش مدل‌های تخصصی بر روی داده‌های انسانی است، که در آن این مدل‌ها فقط این وظیفه را انجام می‌دهند. عوامل تفسیری ساخته شده از مدل‌های زبانی می‌توانند یک رابط مشترک برای توضیح سیستم‌های دیگر فراهم کنند – ترکیب نتایج آزمایش‌ها، ادغام روش‌های مختلف، حتی کشف تکنیک‌های آزمایشی جدید در سطح بسیار اساسی.

همانطور که به رژیمی می رویم که در آن مدل های توضیحی جعبه سیاه هستند، ارزیابی های بیرونی روش های تفسیری به طور فزاینده ای حیاتی می شوند. معیار جدید تیم این نیاز را با مجموعه‌ای از ویژگی‌های ساختار شناخته شده که بر اساس رفتار مشاهده شده در طبیعت مدل‌سازی شده‌اند، برطرف می‌کند. توابع در FIND حوزه‌های مختلفی را پوشش می‌دهند، از استدلال ریاضی گرفته تا عملیات نمادین روی رشته‌ها تا نورون‌های مصنوعی ساخته‌شده از وظایف سطح کلمه. مجموعه داده برای ویژگی های تعاملی به صورت رویه ای ساخته شده است. پیچیدگی واقعی با اضافه کردن نویز، ترکیب توابع و شبیه سازی نقاط پرت به توابع ساده وارد می شود. این امکان مقایسه روش‌های تفسیرپذیری را در محیطی فراهم می‌کند که به عملکرد دنیای واقعی ترجمه می‌شود.

علاوه بر مجموعه داده ویژگی، محققان یک پروتکل ارزیابی نوآورانه را برای ارزیابی عملکرد AIA و روش‌های تفسیر خودکار موجود پیاده‌سازی کردند. این پروتکل شامل دو رویکرد است. برای کارهایی که نیاز به بازتولید تابع در کد دارند، ارزیابی مستقیماً تخمین‌های تولید شده توسط هوش مصنوعی و توابع حقیقت اصلی را مقایسه می‌کند. ارزیابی برای کارهایی که شامل توصیف عملکردهای زبان طبیعی است پیچیده تر می شود. در این موارد، اندازه گیری دقیق کیفیت این توصیفات مستلزم درک خودکار محتوای معنایی آنها است. برای مقابله با این چالش، محققان یک مدل زبان تخصصی «شخص ثالث» ایجاد کردند. این مدل به طور خاص برای ارزیابی دقت و سازگاری توصیفات زبان طبیعی ارائه شده توسط سیستم‌های هوش مصنوعی و مقایسه آن با رفتار تابع حقیقت اساسی آموزش داده شده است.

FIND امکان ارزیابی را فراهم می‌کند و نشان می‌دهد که هنوز تا تفسیرپذیری کاملاً خودکار فاصله داریم. اگرچه AIAها از رویکردهای تفسیری موجود بهتر عمل می‌کنند، اما هنوز نمی‌توانند تقریباً نیمی از ویژگی‌های موجود در معیار را به طور دقیق توصیف کنند. تامار راث شهام، نویسنده ارشد این مطالعه و محقق فوق دکتری در CSAIL، خاطرنشان می کند که «در حالی که این نسل از AIA در توصیف عملکردهای سطح بالا مؤثر است، آنها هنوز هم اغلب جزئیات دقیق را نادیده می گیرند، به ویژه در زیر دامنه های عملکردی با نویز یا نامنظم. رفتار – اخلاق. این احتمالاً ناشی از نمونه برداری کم در این مناطق است. یک مشکل این است که اثربخشی AIA ها ممکن است توسط داده های تحقیقاتی اولیه آنها مختل شود. برای مقابله با این، ما سعی کردیم مطالعه AIA را با مقداردهی اولیه جستجوی آنها با ورودی‌های خاص و مرتبط راهنمایی کنیم، که دقت تفسیر را تا حد زیادی بهبود بخشید.» این رویکرد روش‌های جدید AIA را با تکنیک‌های قبلی با استفاده از مثال‌های از پیش محاسبه‌شده برای شروع تفسیر ترکیب می‌کند. روند.

محققان همچنین در حال توسعه مجموعه‌ای از ابزارها برای افزایش توانایی AIA برای انجام آزمایش‌های دقیق‌تر بر روی شبکه‌های عصبی، در تنظیمات جعبه سیاه و جعبه سفید هستند. این جعبه ابزار با هدف تجهیز AIA به ابزارهای انتخاب ورودی بهتر و قابلیت های پیشرفته تست فرضیه برای تجزیه و تحلیل شبکه عصبی دقیق تر و دقیق تر است. این تیم همچنین با چالش‌های عملی در تفسیرپذیری هوش مصنوعی مقابله می‌کند و بر تعیین سؤالات مناسب هنگام تحلیل الگوها در سناریوهای دنیای واقعی تمرکز می‌کند. هدف آن‌ها توسعه روش‌های تفسیر خودکار است که در نهایت می‌تواند به افراد کمک کند تا سیستم‌ها را حسابرسی کنند – به عنوان مثال، برای رانندگی مستقل یا تشخیص چهره – حالت‌های شکست احتمالی، سوگیری‌های پنهان یا رفتارهای شگفت‌انگیز را قبل از استقرار تشخیص دهند.

تماشای ناظران

این تیم در نظر دارد روزی AIAهای تقریباً مستقلی را توسعه دهد که می توانند سایر سیستم ها را با نظارت و راهنمایی دانشمندان انسانی ممیزی کنند. AIA های پیشرفته می توانند انواع جدیدی از آزمایش ها و سؤالات را ایجاد کنند که به طور بالقوه فراتر از ملاحظات اصلی دانشمندان انسانی است. تمرکز بر گسترش تفسیرپذیری هوش مصنوعی به گونه‌ای است که رفتارهای پیچیده‌تری را شامل شود، مانند کل مدارهای عصبی یا زیرشبکه‌ها، و پیش‌بینی ورودی‌هایی که ممکن است منجر به رفتار نامطلوب شوند. این پیشرفت نشان دهنده یک گام مهم به جلو در تحقیقات هوش مصنوعی با هدف قابل درک و قابل اعتمادتر کردن سیستم های هوش مصنوعی است.

مارتین واتنبرگ، استاد علوم کامپیوتر در دانشگاه هاروارد که در این مطالعه شرکت نداشت، می‌گوید: یک معیار خوب ابزاری قدرتمند برای مقابله با چالش‌های دشوار است. دیدن این معیار پیچیده برای تفسیرپذیری، یکی از مهم‌ترین چالش‌های امروزی در یادگیری ماشین، فوق‌العاده است. من به ویژه تحت تأثیر عامل تفسیر خودکار ایجاد شده توسط نویسندگان هستم. این نوعی جیو جیتسو قابل تفسیر است که هوش مصنوعی را به خود بازمی گرداند تا به درک انسان کمک کند.

Schwettmann، Rott Shaham و همکارانشان کار خود را در NeurIPS 2023 در دسامبر ارائه کردند. سایر نویسندگان MIT، همه زیرمجموعه های CSAIL و دپارتمان مهندسی برق و علوم کامپیوتر (EECS)، شامل دانشجوی فارغ التحصیل جوانا ماترزینسکا، دانشجوی فارغ التحصیل نیل چاودوری، شوانگ لی PhD ’23، استادیار جاکوب آندریاس و پروفسور آنتونیو تورالبا هستند. استادیار دانشگاه نورث ایسترن، دیوید باگ، نویسنده دیگری است.

این کار تا حدی توسط آزمایشگاه هوش مصنوعی واتسون MIT-IBM، بشردوستانه باز، جایزه تحقیقاتی آمازون، هیوندای NGV، آزمایشگاه تحقیقاتی ارتش ایالات متحده، بنیاد ملی علوم ایالات متحده، برنامه رهبری STEM Zuckerman، و کمک هزینه تحصیلی Viterbi پشتیبانی شد.