Kavaljersbyggnaden uppfördes 1724 som skola vid Solna kyrka, men flyttades 1730 till nuvarande läge i Ulriksdal. Även här användes den som skola. Under 1800-talets tre första decennier var detta Solnas enda skola.
Omkring 1860 lät Karl XV sin glade dryckesbror Daniel Hwasser hyra huset och döpte om det till Kavaljersbyggnaden. Vid denna tid tillkom förstukvisten och och påkostade panelbeklädnaden med lisener och lövsågade fönsteromfattningar.