Тег: inference

• KV-cache
  Что такое KV-cache в больших языковых моделях и почему он ускоряет генерацию текста.
• llama.cpp
  llama.cpp — локальный runtime для LLM на C/C++ с ggml, quantization и оптимизацией под CPU/GPU