Ferenc József császár 1854-ben alapított az iskolát, Budai, Császári, Királyi Fő reáltanoda néven. 1857-1859 között Petschnig János ( mai Eötvös József Gimnázium) rajztanára tervei alapján kezdték építeni. Az épület Neogót sárga és vörös nyers téglákból épült. 1920-ban kapja a Toldy Ferenc nevet. Az évek alatt sajnos sokszor sérült az épület, a méltán híres botanikus kertje, mely az I.világháborúban szenvedett károkat- De a II. világháború is végzetes volt az épületre, ekkor az oldalszárny kapott hatalmas bombatámadást, amiben a könyvtárban található több tízezres könyvritkaságok vesztek oda, 660 darabot tudtak végül megmenteni. Híres a bejárati ajtón található arany oroszlán, mely a mondás szerint, ha reggel kétszer megérintik akkor szerencsés napja lesz a diáknak. Sajnos 1986-ban ellopták a kilincset azóta egy másolat van a helyén. 2007-ben a Magyar Örökség díjat kapta meg az iskola.