Назад к ленте

Headroom: Компактное решение для сжатия токенов AI

Headroom: Компактное решение для сжатия токенов AI
📦 Headroom — мощный инструмент, который сжимает выходные данные, логи, файлы и RAG-чанки, прежде чем они достигнут LLM. Это позволяет сократить количество токенов на 20% для кодирующих агентов и на 60-95% для JSON, при этом получая те же ответы. Программа работает локально, что гарантирует защиту ваших данных. Она поддерживает несколько методов интеграции, включая библиотеку и прокси, и может работать с различными AI-агентами, такими как Claude, Codex и другие.
Источник: github.com

Похожие проекты