چت بات‌های مدرن دائماً در حال یادگیری هستند و رفتار آنها همیشه تغییر می‌کند. اما عملکرد آنها نیز می‌تواند کاهش یا بهبود یابد. مطالعه‌ای که اخیراً منتشر شده است نشان می‌دهد که چت‌بات‌ها می‌توانند در طول زمان توانایی کمتری در انجام وظایف خاص داشته باشند. برای رسیدن به این نتیجه، محققان خروجی‌های مدل‌های زبان بزرگ (LLM) GPT-3.5 و GPT-4 را در مارس و ژوئن 2023 مقایسه کردند. آنها تنها در سه ماه، تغییرات قابل‌توجهی را در مدل‌هایی مشاهده کردند که زیربنای ChatGPT است.
به عنوان مثال، در ماه مارس، GPT-4 توانست اعداد اول را با دقت 97.6 درصد شناسایی کند. تا ژوئن، دقت آن به تنها 2.4 درصد کاهش یافته بود.
این آزمایش همچنین سرعتی را که مدل‌ها می‌توانستند به سؤالات حساس پاسخ دهند، بررسی کرد؛ اینکه چگونه می‌توانستند کد تولید کنند و ظرفیت استدلال بصری آنها چگونه است؟ در میان تمام مهارت‌هایی که آزمایش کردند، تیم نمونه‌هایی از کاهش کیفیت خروجی هوش مصنوعی را در طول زمان مشاهده کرد.
یادگیری ماشینی (ML) متکی بر یک فرآیند آموزشی است که به موجب آن مدل‌های هوش مصنوعی می‌توانند با پردازش مقادیر زیادی از اطلاعات، هوش انسانی را تقلید کنند.
مشکل این است که چنین مدل‌هایی می‌توانند پاسخ‌های نادرست را نیز “یاد بگیرند”. اگر کیفیت داده‌های آموزشی آنها بدتر شود، خروجی آنها نیز بدتر می‌شود.
از آنجایی که ربات‌های چت تمایل دارند به محتوای تولید در وب متکی باشند، در معرض نوعی مسمومیت داده‌ها هستند. این دقیقاً همان چیزی است که در سال 2016 برای ربات توییتر مایکروسافت، Tay اتفاق افتاد. کمتر از 24 ساعت پس از راه‌اندازی آن، سلف ChatGPT شروع به ارسال توییت‌های تحریک‌آمیز و توهین‌آمیز کرد. توسعه‌دهندگان مایکروسافت نیز به سرعت آن را به حالت تعلیق درآوردند. چت بات‌های معاصر محصول محیط خود هستند و در برابر حملات مشابه آسیب‌پذیرند.
با این حال، داده‌های عمداً خراب تنها منبع اطلاعات نادرستی نیست که توسعه‌دهندگان ربات چت باید مراقب آن باشند. با افزایش محبوبیت ابزارهای هوش مصنوعی، محتوای تولیدشده توسط هوش مصنوعی در حال افزایش است. محققان کشف کردند که وقتی از محتوای تولیدشده با هوش مصنوعی به عنوان داده‌های آموزشی استفاده می‌شود، مدل‌های ML شروع به فراموش کردن چیزهایی می‌کنند که قبلاً یاد گرفته‌اند.
آنها با ابداع اصطلاح “فروپاشی مدل” خاطرنشان کردند که خانواده‌های مختلف هوش مصنوعی وقتی در معرض محتوای ساخته‌شده مصنوعی قرار می‌گیرند، همگی تمایل به انحطاط دارند.
از این رو، این مطالعه حدس می‌زند که نسل‌های آینده ChatGPT ممکن است در معرض خطر فروپاشی مدل باشند. اگر هوش مصنوعی محتوای آنلاین بیشتری تولید کند، عملکرد ربات‌های گفت‌وگو و دیگر مدل‌های ML تولیدی ممکن است بدتر شود.
در آینده، منابع محتوای قابل اعتماد برای محافظت در برابر اثرات مخرب داده‌های با کیفیت پایین اهمیت زیادی پیدا خواهند کرد و شرکت‌هایی که دسترسی به محتوای مورد نیاز برای آموزش مدل‌های ML را کنترل می‌کنند، کلیدهای نوآوری بیشتر را در دست دارند.