گزارش: توانایی های مدل های جدید Gemini در تجزیه و تحلیل داده ها آنقدرها که گوگل ادعا می کند خوب نیست

مدل های پیشرفته هوش مصنوعی گوگل، Gemini 1.5 Pro و 1.5 Flash، به عنوان ابزارهایی با توانایی پردازش و تحلیل حجم بالای داده ها معرفی شده اند. گوگل ادعا کرده که این مدل ها می توانند وظایف پیچیده ای مانند خلاصه سازی اسناد حجیم و جست وجو در ویدیوها را انجام دهند. اما تحقیقات جدید نشان می دهند مدل های جدید Gemini در واقع به اندازه ای که گوگل ادعا می کند کارآمد نیستند.تک کرانچ گزارش کرد، دو مطالعه مختلف به بررسی عملکرد این مدل ها در پردازش داده های گسترده، مانند کتاب های حجیمی چون «جنگ و صلح» پرداخته اند. نتایج نشان می دهند که مدل های Gemini در پاسخ به سوالات مربوط به این داده ها، تنها 40 تا 50 درصد از موارد را به درستی پاسخ داده اند.
به عنوان مثال، در آزمایشی که بر اساس کتابی با 260 هزار کلمه انجام شد، مدل 1.5 Pro تنها در 46.7 درصد موارد پاسخ صحیح داده است، در حالی که مدل Flash تنها 20 درصد موفق به پاسخ گویی درست شد.

بیشتر بخوانید:

موتورولا و گوگل برای اضافه کردن Gemini به گوشی های تاشوی ریزر 2024 توافق کردند
گوگل مسیج به هوش مصنوعی Gemini مجهز شد

توانایی های مدل های جدید Gemini ؛ محدودیت های پنجره متنی
اصطلاح «پنجره متنی» به حجم داده هایی اطلاق می شود که مدل قبل از تولید خروجی می تواند بررسی کند. مدل های جدید Gemini قادر به پردازش تا 2 میلیون توکن (معادل تقریبی 1.4 میلیون کلمه یا دو ساعت ویدیو) هستند. با این حال، در آزمایش ها مشخص شد که این مدل ها در درک و تحلیل داده های حجیم چندان موفق نیستند.
در یکی از آزمایش ها، محققان از مدل ها خواستند تا در مورد کتاب های داستانی انگلیسی به سوالات درست/غلط پاسخ دهند. نتایج نشان داد که مدل ها در ارزیابی اطلاعات پنهان و ضمنی که برای خوانندگان انسانی روشن است، اما به صورت صریح در متن بیان نشده، دچار مشکل هستند.
مدل های جدید Gemini در درک مضمون و پنهان مطالب با مشکل مواجه می شوند
توانایی های مدل های جدید Gemini در بررسی ویدیوها
در مطالعه دیگری، توانایی مدل Flash در تحلیل محتواهای ویدیویی بررسی شد. مدل در پاسخ به سوالات مربوط به تصاویر در یک مجموعه ویدیوئی، عملکرد مطلوبی نداشت. به عنوان مثال، در آزمایشی که مدل باید اعداد نوشته شده روی تصاویر را تشخیص می داد، دقت آن تنها 50 درصد بود.
واکنش ها به ادعاهای گوگل
اگرچه هیچ کدام از این مطالعات به صورت علمی بررسی نشده اند، اما نشان می دهند که گوگل در مورد قابلیت های مدل های Gemini اغراق کرده است. محققان معتقدند که یکی از راه حل های مقابله با این ادعاهای نادرست، توسعه معیارهای سنجش دقیق تر و تاکید بیشتر بر ارزیابی های مستقل است.
به طور کلی، فناوری هوش مصنوعی تولیدی با چالش هایی روبه روست و شرکت ها و سرمایه گذاران از محدودیت های آن ابراز نگرانی کرده اند. این مسئله باعث شده تا نیاز به ارزیابی دقیق تر و واقع بینانه تر از قابلیت های این مدل ها بیشتر احساس شود.
بیشتر بخوانید:

گوگل ویژگی اسکرول بی  نهایت را حذف کرد و به سیستم جستجوی صفحه به صفحه بازگشت
گوگل هوش مصنوعی Imagen 3 را برای مشترکان Gemini Advanced منتشر می کند
گوگل Translate بزرگترین بروزرسانی خود را دریافت کرد؛ پشتیبانی از 230 زبان با کمک هوش مصنوعی