llama-modchip exécute DeepSeek-V4-Flash 284B avec 64 GB de RAM, sans GPU
Le dépôt llama-modchip présente des patches et outils pour exécuter des modèles MoE en RAM sur CPU, sans GPU, dont DeepSeek-V4-Flash, annoncé à 284B, sur une machine dotée de 64 GB de RAM. Selon ses benchmarks, le modèle tient dans 56,56 GiB et atteint 9,1 à 14,7 tok/s sur un AMD Ryzen 9 9955HX.