Akbar décida de faire d'Agra sa capitale en 1558. Le fort étant en ruines, il le fit reconstruire afin d'en faire un palais résidentiel pour son fils Jahângîr. La construction, qui employa près de 4 000 personnes, s'étendit sur huit années pour s'achever en 15733. Le monument, originellement en briques, fut reconstruit avec du grès rouge venant du Rajasthan.
À partir de ce moment-là, le fort ne fut plus seulement une place militaire mais aussi un lieu de résidence. L'architecture est de style hindou, le style moghol s'affirmera plus tard sous Shâh Jahân.
Pendant la Révolte des cipayes, le fort, assiégé par les rebelles, servit de refuge aux Britanniques.