覲廷書室於1870年落成後不久,清暑軒亦告建成.清暑軒毗鄰覲廷書室,用作為到訪賓客的下榻居所.
清暑軒樓高兩層呈曲尺形,雖是獨立建築,但在第二層有通道與覲廷書室相連.
內部的木刻,漏窗及斗栱等裝飾華麗,充分顯示出傳統華宅的氣派.