Ana kampüsün ortasında, görkemli bir yapıda yer alan Sterling Memorial Kütüphanesi, Yale Üniversitesinin en büyük kütüphanesidir. 1930 yılında tamamlanan binanın mimarı James Gamble Rogers'dir (1889 mezunu). Binaya ismini veren ise, bağışçı John Williams Sterling'dir (1864 mezunu). Kütüphanede, 16 katta, 4 milyon kitap vardır. Binanın mimarisi Avrupa'daki Gotik Katedrallere benzemektedir. 18 metre yükseklikteki tavanı, pencere yapıları, küçük şapelleri ve kilisesi ile Gotik mimarinin en güzel örneklerinden biridir. Bütün binayı süsleyen 3.300 adet vitray sanatçı G. Owen Bonawit tarafından yapılmıştır. Kütüphaneye 1998 yılında St. Gilmore müzik kitaplığı eklenmiştir.