Opevněné hradiště u soutoku Labe s Orlicí bylo od 10. století součástí hradské soustavy přemyslovských knížat. V roce 1225 udělil král Přemysl Otakar I. Hradci městská práva a počátkem 14. století se stalo věnným městem českých královen. Během husitských válek, které město postihly, byl roku 1423 zničen královský hrad.

V první polovině XVI. století došlo k obnovení části zřícenin a okolo roku 1556 ke zřízení soudu purkrabského pro kraj hradecký. Když byl tento úřad přenesen do Prahy, císař Josef I. zvláštním listem ze dne 23. září 1706 ve Vídni přepustil „dům purkrabský biskupu Tobiášovi ku potřebě jeho, a aby pro sebe a své kanovníky sídla zde upravil“.

Za biskupa Tobiáše Jana Beckera byla zahájena stavba biskupské rezidence, biskupského semináře s kostelem sv. Jana Nepomuckého, kanovnické domy v blízkosti chrámu sv. Ducha, biskupský zámek a farní kostel v Chrasti. Většinu staveb však dokončili jeho nástupci.

Roku 1706 se biskupu Beckerovi podařilo získat budovu hradeckého purkrabství, která se nacházela v blízkosti bývalého královského hradu. Purkrabský dům měl jedno poschodí, v přízemí se nacházela klenutá síň, v níž se konala zasedání purkrabského soudu. Zdi síně zdobily malby rytířských erbů. Tento prostor později sloužil jako seminární oratoř.

Biskup Becker pro svoji rezidenci zakoupil tři domy. Potřebnější než stavba rezidence se mu však jevilo zřízení semináře. Proto za finanční podpory papežské stolice bylo v roce 1709 započato se stavbou kostela sv. Jana Nepomuckého a restaurování budovy purkrabského soudu pro seminář. Práce na restaurování semináře trvaly pět let a v květnu 1714 do semináře nastoupilo 6 alumnů pod vedením rektora Jiřího Prušy. Zřízení bohosloveckého semináře mělo pomoci s výchovou kněžského dorostu.

Prostory semináře však postupem doby nedostačovaly a proto bylo v roce 1765 zakoupeno spáleniště sousedního měšťanského domu č. 91 a adaptováno pro potřeby semináře.

Roku 1776 na místě dřevěného plotu uzavírajícího nádvoří před kostelem nechali postavit přepažující zeď s branou, nad níž nákladem diecézního duchovenstva byla umístěna socha sv. Jana Nepomuckého.

Na teologickém učilišti studovalo ve školním roce 1802–1803 celkem 94 bohoslovců, v dalších letech zůstal počet obdobný. Nejméně studentů zaznamenal rok 1836 – pouze 75 bohoslovců a nejvíce rok 1807, kdy jich studovalo celkem 145. V roce 1816 seminář rozšířila knihovna s výpůjčním právem omezeným na duchovní osoby.

S rozšířením počtu studentů přestaly dostačovat dosavadní budovy semináře. Biskup Trautmansdorf proto v roce 1805 pro účely semináře zakoupil sousední budovu č. 92.

Stavební rozvoj semináře však zasáhl 24. srpna 1814 požár, který zničil velkou část města. Oheň zničil střechu semináře i kostela, v budovách alumnátu byly poničeny všechny stropy i klenby v přízemí a ohni podlehla i většina nábytku a knih. Z důvodů havarijního stavu semináře museli být seminaristé v následujících letech ubytováni v soukromých domech a rekonstrukční práce trvaly až do roku 1820.

Zákon č. 50/1874 ř. z. upravil poměr katolických fakult a vzdělávání kandidátů duchovního stavu. Každá diecéze měla vlastní kněžský seminář. Pro bohoslovecké studium byly zřízeny teologické fakulty při Karlově univerzitě v Praze a v Olomouci mimo univerzitní svazek. Fakulty měly ráz učilišť státních a veřejných, diecézní učiliště se stala biskupskými domácími ústavy. Nad nimi nevykonávala státní správa přímý dozor, brala však na vědomí jmenování profesorů. Tato právní úprava platila i po roce 1918.

Historie biskupského semináře se uzavřela vládním nařízením ze dne 14. 7. 1950 o bohosloveckých fakultách. Na základě tohoto nařízení byl dne 26. 7. 1950 biskupský seminář v Hradci Králové zrušen.

Již v roce 1950 se do prostor bývalého semináře přestěhovala knihovna Lékařské fakulty Univerzity Karlovy v Hradci Králové, která zde po mnoha dočasných přesunech získala trvalé působiště.