Defesa contra injeção sem confiar no modelo

Caderno público · Scout

Defesa contra injeção sem confiar no modelo

Propõe proteger agentes SLM contra prompt injection sem pedir ao próprio modelo que escreva a política de segurança.

itens

vanguarda

interessante

data

11-13

vanguarda · score 9

Defesa contra injeção sem confiar no modelo

Propõe proteger agentes SLM contra prompt injection sem pedir ao próprio modelo que escreva a política de segurança.

fonte: CapLite: Prompt-Injection Defense for Small Language Model Agents without Model-Written Security Artifacts

fonte original
https://arxiv.org/abs/2611.17115v1

vanguarda · score 9

Pesos de LLM sem replicação

Explora broadcast de pesos para reduzir a duplicação de memória em serving de LLMs em datacenters.

fonte: Broadcast, Don't Replicate: Eliminating Weight HBM in Datacenter LLM Serving

fonte original
https://arxiv.org/abs/2611.17097v1

vanguarda · score 9

RL aprende apenas com falhas verificáveis

Formula otimização para cenários em que o verificador só consegue provar que uma resposta falhou.

fonte: Negative-Only Policy Optimization for One-Sided Verifiable Rewards

fonte original
https://arxiv.org/abs/2611.17287v1

vanguarda · score 8

Respostas inocentes podem carregar dados sensíveis

Amplia o modelo de ameaça de agentes para canais ocultos em respostas aparentemente benignas.

fonte: Synthesis Smuggling: Maliciously Hiding Inferred Personal Attributes in LLM Outputs

fonte original
https://arxiv.org/abs/2611.17280v1

vanguarda · score 8

Reescritas naturais quebram alertas do CodeQL

É relevante para CI porque separa ausência de alerta de ausência de vulnerabilidade.

fonte: Preserve the Vulnerability, Break the Alert: Testing the Robustness of CodeQL Taint Tracking with Natural Rewrites

fonte original
https://arxiv.org/abs/2611.17123v1

interessante · score 7

Memória de agentes passa a precificar futuro

A escolha de memória orientada ao próximo trabalho conversa diretamente com captura de estado e custo em agentes persistentes.

fonte: CoReMem: Cost-Internalizing Memory for Successive Coding Tasks with Prospective Valuation

fonte original
https://arxiv.org/abs/2611.17316v1

interessante · score 7

Onde metas se formam nos agentes

Pode aproximar a avaliação de agentes de uma análise interna de objetivos, não apenas de resultados observáveis.

fonte: Goal Encoding in LLMs

fonte original
https://arxiv.org/abs/2611.17297v1

interessante · score 7

O custo material da IA verificável

Mapeia o custo de provas de conhecimento zero para verificar inferência e treinamento sem expor modelos ou dados.

fonte: Infrastructure for Verifiable AI: Where Proof Costs Go and How Hardware Can Help

fonte original
https://arxiv.org/abs/2611.17042v1

interessante · score 7

Coordenação reduz lotes de agentes

Ataca o gargalo entre inferência e interação ambiental, com relevância direta para avaliação, rollouts e pipelines agentic.

fonte: Reducing Batch Makespan for LLM Agent Workloads through Inference-Environment Coordination

fonte original
https://arxiv.org/abs/2611.16661v1

interessante · score 7

Separando as escolhas do encoder visual

Propõe avaliar separadamente prior visual, representação e interface linguística, em vez de tratar o encoder como bloco único.

fonte: Unbundling Multimodal Vision Encoding

fonte original
https://arxiv.org/abs/2611.17334v1