Dois tenants, uma bridge: como achamos e corrigimos um vazamento entre tenants no VirtFoundry

O VirtFoundry é o IaaS multi-tenant que eu construo sobre Kubernetes: uma API em Go grava CRDs e um operator transforma isso em VMs KubeVirt e redes Multus. Antes de fechar a 0.13.0 auditei o projeto inteiro, e o primeiro achado foi o que mais importa num produto multi-tenant: as redes “isoladas” de tenants diferentes usavam a mesma bridge Linux.
A prova
Ler código é indício, não resultado, então testei no homelab. Criei um segundo tenant, subi VMs nos dois e deixei cair no mesmo nó. Uma VM de sonda no tenant default deu ping numa VM do tenant smoke:
ping 10.0.0.3 -> 3 packets transmitted, 3 received, 0% packet loss
arp 10.0.0.3 -> fa:6b:0a:61:17:59 (o MAC da VM do outro tenant)Toda rede isolada gerava uma NetworkAttachmentDefinition apontando para virtfoundry-br0, sem VLAN e com o mesmo CIDR padrão. Mesmo nó, mesmo domínio de broadcast, então nada barrava o ARP. (VMs em nós diferentes não se viam, porque a bridge não tinha uplink. O vazamento era entre tenants no mesmo nó.)
O conserto
- Uma bridge por tenant. O operator a nomeia como
vfbmais 8 caracteres hex do hash do namespace, e o core usa a mesma regra. O nome da rede CNI vira<namespace>-<nome>, então cada tenant também ganha o seu escopo de IPAM. - Um CIDR único por tenant. O core agora recusa um CIDR de VPC que se sobreponha ao de outro tenant. Antes, todo tenant recebia
10.0.0.0/16. - O host nunca roteia entre bridges de tenants. O DaemonSet bridge-keeper mantém
FORWARD -i vfb+ -o vfb+ -j DROPacima das regras ACCEPT de entrada e saída devfb+. Sem esse DROP, o próprio nó roteava de um tenant para o outro.
O que quebrou no teste
O conserto foi a parte fácil. Três coisas só apareceram com VMs reais:
- A saída morreu. A policy
FORWARDdo host era DROP, e a regra que deixava as VMs saírem tinha sido posta à mão no nó, fora do chart. O keeper agora cuida dessas regras, e o NAD usaisGatewayeipMasq. - O keeper ignorava regras novas. Ele lia o script uma vez, na partida. Agora relê a cada ciclo, então uma mudança no ConfigMap vale sem reiniciar o pod.
- Um endereço legado voltava sempre. Tirei o
10.0.0.1/24da bridge antiga três vezes e ele voltou. Oip monitore o journal do NetworkManager mostraram um perfil, e por trás dele um DaemonSet de spike esquecido que recolocava o endereço a cada ciclo. Remover o DaemonSet pelo Argo CD resolveu de vez.
Depois
Com dois tenants vivos ao mesmo tempo, cada VM varreu a faixa do outro tenant e só alcançou a si mesma, e as duas alcançaram o gateway da LAN e a internet. Repeti o teste depois que a configuração durável chegou pelo GitOps.
Também na 0.13.0
- Um
service_offering_iddesconhecido devolve 400. Antes, subia uma VM de 1 vCPU sem avisar ninguém. - Uma falha ao gravar o Instance não responde mais 201 para uma VM que só existia no cache.
- Criar uma VPC com nome que já existe devolve 409 em vez de sobrescrever.
- Os namespaces do control plane do VKS não colidem mais entre clusters, e o token de join dos workers é renovado antes de expirar.
Nota de upgrade
Defina platform.networking.isolated.bridge.address como string vazia. As bridges dos tenants recebem o gateway pelo NAD, e um endereço fixo na bridge legada faz o host rotear aquele CIDR por uma bridge sem portas. Tenants que já compartilham um CIDR o mantêm, então dê a cada um uma faixa distinta antes de rodarem VMs no mesmo nó.
As notas da release estão no changelog . Se você roda VMs multi-tenant em Kubernetes, confira qual bridge as suas redes isoladas realmente usam.


kubectl get events