A Magyar Tudományos Akadémia Könyvtárának megalapítása gróf Teleki József, az MTA első elnöke nevéhez fűződik, aki 1826-ban 30 000 kötetes családi könyvtárának felajánlásával vetette meg a Tudós Társaság első tudományos intézményének alapjait.

A Könyvtár 1831-ben, az Akadémiával egyszerre kezdte meg működését. A különböző forrásokból gyarapodó gyűjtemény a szükséges rendező és feldolgozó munka után 1844-ben, a mai Petőfi Sándor utca 3. sz. alatti Trattner-Károlyi házban nyitotta meg kapuit az Akadémia tagjai és más tudósok számára. A szabadságharc bukását követő időszakban a Könyvtár nehéz körülmények között működött.

Az intézmény életében döntő fordulatot jelentett az Akadémia új székházának átadása 1865-ben, amikor a Könyvtár az August Stüler tervei alapján készült palotában nyert méltó és korszerű elhelyezést, így lehetővé vált, hogy 1867-ben az alapító szándékának megfelelően „a haza összes polgárainak használatára” megnyílhasson.