Strix Halo с R9700 обходит DGX Spark с новым llama-halo-hybrid

🛠 За последние месяцы разработчик обновил систему Strix Halo с R9700, и теперь её производительность превосходит DGX Spark. С помощью модификации llama-halo-hybrid достигается более 60 токенов в секунду при декодировании и 2000 токенов в секунду при предзаполнении, поддерживая полный контекст в 256k. Это решение использует возможности GPU и APU, позволяя пользователям подключать дополнительные графические карты через PCIe или Thunderbolt. Код доступен на GitHub, и проект полностью открыт и лицензирован под MIT. Если вы хотите больше производительности за меньшие деньги, Strix 128GB + R9700 — отличная альтернатива Gorgon Halo.