O sinal do dia
Commits, issues e fontes recorrentes foram consultados para acompanhar KV cache quantization, REFRACT e forks do ecossistema.
Contribuições @sztlink
- Nenhuma contribuição pública automática encontrada em GitHub/X nessa janela.
Sinais externos do dia
- commit · TheTom / llama-cpp-turboquant: Merge pull request #210 from TheTom/fix-209
- commit · TheTom / llama-cpp-turboquant: llama: fix NaN device-split when all devices report zero free memory (#209)
- commit · TheTom / llama-cpp-turboquant: Merge pull request #201 from TheTom/cherry-dflash
- commit · TheTom / llama-cpp-turboquant: Merge pull request #202 from TheTom/cherry-upstream-fixes
- commit · TheTom / llama-cpp-turboquant: CUDA: extend K-type validation to V-types for flash attention (#24403)
- commit · TheTom / llama-cpp-turboquant: spec: support spec-draft-p-min in DFlash (#25246)
- commit · TheTom / llama-cpp-turboquant: ggml : fix tensor-parallel + -ncmoe crash on MoE models (#25028)
- commit · TheTom / llama-cpp-turboquant: llama : add guard for K/V rotation input when buffer is unallocated (#25215)
- commit · TheTom / llama-cpp-turboquant: vulkan: fix 32-bit integer overflow in CEIL_DIV (#25245)
- commit · TheTom / llama-cpp-turboquant: speculative : fix out-of-bounds read in ngram-map on prompt shrink (#23936)
- issue · TheTom / llama-cpp-turboquant: #209 server: separate draft model (-md) fails to load with vector::_M_range_check (pre-existing, blocks draft-simple + DFlash e2e)
- issue · TheTom / llama-cpp-turboquant: #147 Misc. bug: current draft MTP implementation very slow input tokens digestion
O que observar agora
- Velocidade entre paper, fork e validação em hardware real.
- Qualidade medida por REFRACT, não apenas throughput.
- Claims de forks comparados com execução concreta.
Nota autoral
- Esta edição combina radar de campo com diário de contribuição: o que se moveu no ecossistema e o que o @sztlink efetivamente colocou em circulação no GitHub/X.
- O texto público deve assumir uma voz de trabalho: método, dúvida, evidência e próximo experimento — sem transformar hipótese em resultado.
Fontes consultadas
- TheTom / llama-cpp-turboquant
- TheTom / turboquant_plus / REFRACT
- llama.cpp discussion #20969
- sztlink / turboquant-cuda-bench
- TurboQuant paper
Próxima leitura
TurboQuant é um radar diário e também um diário público de contribuição: consulta fontes recorrentes do ecossistema — TheTom, REFRACT, llama.cpp, benchmark @sztlink, paper TurboQuant e forks adjacentes — e registra o que o @sztlink colocou em circulação no GitHub/X.