Notre-Dame, Panamza et le « Comité invisible »…