PipesHub — Сравнение RAG-пайплайнов и агентного цикла на FRAMES

🧪 В эксперименте по оценке 18 RAG-пайплайнов против агентного цикла на FRAMES была достигнута точность 92.7%. Лучший RAG-пайплайн показал 78.9%. Интересно, что заголовки и расширение запросов не так сильно помогли, как ожидалось. Наиболее удивительным стало влияние реранковеров: маленький реранкер снизил точность на 9%. Тестирование показало, что модели иногда заполняют пробелы из памяти, даже когда им предписано опираться на извлеченные документы. Все ответы были проверены по фактическому прочитанному тексту. Полный отчет доступен здесь: ссылка.