Venne aperta al pubblico nel 1742 nei locali situati sotto la Specola astronomica. Sin dal 1823 ha sede nel palazzo quattrocentesco della Sapienza di cui occupa le ali poste a nord ovest del piano nobile, dove sono  situati i locali destinati all'utenza, le sale di consultazione e gli uffici, e le ali a sud ovest del secondo piano, adibite a magazzini librari. Il Palazzo è stato chiuso con Ordinanza sindacale a partire dal 29 maggio 2012 per problemi dovuti alla staticità strutturale e la Biblioteca attualmente offre i sui servizi al pubblico nella sede distaccata di Piazza San Matteo in Soarta, 2. Il primo nucleo librario fu costituito dalla biblioteca privata del Prof. Giuseppe Averani (1662-1738) ricevuto per disposizione testamentaria. Il nucleo originario fu accresciuto, negli anni successivi, con lasciti, doni di privati e con lo smembramento delle biblioteche delle Corporazioni religiose soppresse.