Dzięki staraniom dyrektora Ottona Günthera i gdańskich naukowców oraz dziennikarzy i dzięki poparciu miejskich radnych w sierpniu 1900 roku podjęta została decyzja o wzniesieniu nowego gmachu przeznaczonego wyłącznie na cele i potrzeby biblioteczne.

Plac pod budowę przyszłej Biblioteki usytuowany był w północnej części Starego Miasta, na terenach pofortyfikacyjnych u zbiegu dzisiejszych ulic Wałowej i Łagiewniki, niedaleko kościoła św. Jakuba, poprzedniej siedziby książnicy.

Bibliotekę wybudowano według projektu Karla Kleefelda w stylu neogotyckim, nawiązującym tym samym do gotyckiego charakteru poprzednich siedzib gdańskiej książnicy.

Kształt budowli wyznaczył przede wszystkim rozkład pomieszczeń wewnątrz, określony przez zasady ówczesnego budownictwa bibliotecznego oraz przez funkcje jakie miała spełniać nowa Biblioteka: funkcja placówki naukowej oraz publiczno-oświatowej.

Elementem dominującym gmachu był magazyn usytuowany na skraju działki. Nie przytłaczał on jednak bryły całego budynku. Ścianę z głównym wejściem od rogu ulic oraz oba skrzydła charakteryzuje bogata ornamentyka, m. in. fryz z herbami gdańskich rodów, zasłużonych dla Biblioteki.

Magazyn zaplanowany był na przyjęcie 250 000 tomów. Jego długość wynosiła 16,11 m, szerokość 15,27 m, a wysokość 16 m. Podzielony został na sześć pięter wyposażonych w dwustronne, ustawione prostopadle do okien regały z cynkowanego żelaza.

Mała katalogowa w raz z wypożyczalnią (75 m2) zajmowała centralne pomieszczenie na trzecim poziomie. Wyposażona była w książkowy katalog systematyczny, katalog alfabetyczny oraz stół dla pracowników.

Czytelnia posiadała 9 m szerokości i 11 m długości. Do dyspozycji czytelników były cztery stoły po osiem miejsc każdy. Na ścianie przy drzwiach znajdował się regał dla czasopism, a na ścianie przeciwległej umieszczono księgozbiór podręczny. W celu ułatwienia dostępu do górnych półek zbudowano galeryjkę, na którą wchodziło się krętymi schodami. Element dekoracyjny czytelni oraz galerii nad holem głównym Biblioteki stanowiły wykonane w drewnie herby miast Prus Zachodnich.

Pracownie i pomieszczenia dla pracowników usytuowane były poza rejonami dostępnymi dla czytelników.

Oddana do użytku czytelników w 1905 roku nowa siedziba Biblioteki była przedsięwzięciem nowoczesnym ze względu na zastosowane rozwiązania techniczne oraz użyte materiały budowlane.

Już po II Wojnie Światowej pojawiła się konieczność poszerzenia warunków lokalowych sprzyjających pracy naukowej oraz przechowywaniu szybko rosnących zbiorów bibliotecznych. Decyzja o rozbudowie budynku została podjęta w 1967 roku. Po licznych perypetiach i zmianach projektów w latach 1971–1975 dobudowano skrzydło Biblioteki od strony ul. Łagiewniki. W nowo wzniesionej części o kubaturze 8 380 m2 i powierzchni 2 324 m2 znalazły miejsce: czytelnia ogólna, sala konferencyjna, wypożyczalnia, magazyn zbiorów specjalnych, pracownie biblioteczne, pracownia introligatorsko konserwatorska i pracownia reprograficzna.