Тестирование навыка Ponytail на Sonnet: результаты 24 запусков
🧪 Результаты эксперимента с навыком Ponytail на Sonnet: 24 запуска показали 23% сокращение кода, но экономия на токенах и времени не подтвердилась. При тестировании с 8 задачами правильность выполнения составила 100%, а стоимость снизилась на 6.5%. Однако время выполнения увеличилось на 2.3%. Это указывает на то, что сокращение кода действительно имеет место, но экономия на токенах и времени зависит от конкретной модели. Есть ли у кого-то подобные результаты на Sonnet или Opus?
Источник:
www.reddit.com