Charles Émile Waldteufel est issu d'une lignée de musiciens dont le fondateur fut Moyse Lévy, musicien ambulant, qui se choisit le pseudonyme de Waldteufel qui deviendra le nom officiel de la famille en 1808.
Un de ses fils, Lazare Lévy (1801-1884), alias Louis Waldteufel, violoniste et chef d'orchestre, eut quatre fils :
Achille (1830-?), Isaac (1832-1884), dit Léon, chef d'orchestre des bals de la cour et de la présidence, Salomon dit Édouard (1834-?) et Charles Émile, dit Émile, qui fut le plus connu et le plus prolifique compositeur de la famille.