Тег: inference

• llama.cpp
  llama.cpp — локальный runtime для LLM на C/C++ с ggml, quantization и оптимизацией под CPU/GPU