Kwidzyn to dawny gród Prusów, zajęty przez Krzyżaków w 1233 roku - w tym samym roku otrzymał prawa miejskie. .W latach 1285-1587 był siedzibą biskupstwa pomezańskiego. Zamek kapituły pomezańskiej w Kwidzynie został zbudowany na przełomie XIII i XIV wieku. Warownię zbudowaną z cegły na planie zbliżonym do kwadratu (48,7 x 49,6 m) wzniesiono na wysokim, prawym brzegu pradoliny Wisły. Do 1338 roku wybudowano skrzydło wschodnie, sąsiadujące z pierwotnym kościołem, a następnie skrzydło południowe połączone wielką wieżą-dzwonnicą. W latach 1343-1355 wzniesiono od wschodu kościół, połączony z zamkiem. W drugiej połowie XIV wieku wybudowano od zachodu gdanisko, do którego prowadzi wsparty na arkadach, kryty ganek o długości 54 m. Od północy wzniesiono wieżę studzienną, również połączoną z zamkiem gankiem o długości 18 m. 

   Od strony północnej rozciągało się podzamcze, w którego obrębie znajdowały się budynki gospodarcze. Warownia była niszczona w czasie wojny trzynastoletniej, oraz  w roku 1478 i 1520. W 1526 roku po sekularyzacji Prus siedzibą kapituły zarządzało duchowieństwo protestanckie, a następnie od roku 1551urzędnicy administracji Prus Książęcych. W 1798 roku rozebrano skrzydło południowe i częściowo wschodnie. Wnętrza zostały przebudowane w związku z adaptacją na urzędy i szkołę. Dopiero Fryderyk Wilhelm IV w 1854 roku wstrzymał rozbiórki. Po 1874 roku rozpoczęto prace renowacyjne, które doprowadziły do zniekształcenia gotyckich elewacji. W okresie międzywojennym mieściło się na zamku regionalne muzeum. Obecnie ma tu siedzibę oddział Muzeum Zamkowego w Malborku. W Kwidzynie istniała też druga warownia zbudowana przez Krzyżaków na południowy-zachód od miasta. Została ona zniszczona przez wojska polskie w 1520 roku i nieodbudowana.

   Obecnie w zamku mieści się Muzeum Zamkowe.