Das hoch über der Stadt thronende Palais, in dem die weltberühmte Sammlung der Albertina beherbergt ist, wurde in den Jahren 1742 bis 1745 sowie 1801 bis 1807 errichtet.
Die Albertina birgt eine der größten und wertvollsten grafischen Sammlungen der Welt. Gegenwärtig umfasst sie annähernd 50.000 Zeichnungen und eine Million Druckgraphiken aller maßgebenden Kunstepochen von der Spätgotik bis zur zeitgenössischen Kunst. Das Fundament der im Jahr 1999 gegründeten Foto-Sammlung bildet die von Josef Maria Eder essentiell geförderte Sammlung der Höheren Grafischen Bundeslehr- und Versuchsanstalt. Hier finden sich neben Atelierfotografie, früher Farbfotografie und piktorialistischen Arbeiten vor allem Wissenschaftsfotografie.
Der Bogen herausragender Werke spannt sich von Leonardo, Michelangelo und Raffael über Albrecht Dürer, Rembrandt und Rubens zu Lorrain, Delacroix, Manet und Cézanne. Im 20. Jahrhundert zeichnen die Albertina wichtige Bestände von Schiele, Klimt und Kokoschka bis zu Warhol, Rauschenberg und Baselitz aus.
Die Architektursammlung umfasst etwa 25.000 Pläne, Skizzen und Modelle, unter ihnen große Konvolute und Nachlässe unter anderem von Francesco Borromini, Johann Bernhard Fischer von Erlach, Adolf Loos und Lois Welzenbacher. Das Herzstück der Sammlung bilden die Architekturmodelle von Otto Wagner, Le Corbusier, Mies van der Rohe und Alvar Aaalto. Auch die Plakatsammlung der Albertina setzt sich aus mehreren Beständen zusammen.