Od 1599 r. Obory należały do dóbr Łukasza i Anny (z Galewskich) Rudzowskich. W 1605 roku małżonkowie "...dla własnej i swych poddanych wygody i duchownego pożytku...", jak zapisano w akcie erekcyjnym, postanowiło wznieść w Oborach kościół, a posługę duchową oddać pod opiekę ojców karmelitów. Za wieczystą opiekę nad kościołem obiecali ojcom wybudować świątynię i klasztor oraz przekazać połowę dóbr Obory. Na miejsce budowy kościoła wyznaczono szczyt góry Grodzisko (dzisiaj: Kalwaria). Było to najwyższe wzniesienie w okolicy, więc doskonale nadawało się na założenie Karmelu. 
   Pierwszy niewielki klasztor powstał wraz z drewnianym kościołem. W roku 1636 spłonął. Jak podaje kronika, ważne zmiany w klasztorze przyniósł rok 1683, kiedy z klasztoru wyprowadzili się karmelici dawnej reguły (antique observantiae) i przenieśli do Krakowa, a na ich miejsce przybyli karmelici o ostrzejszej regule (strictoris obsevantiae). Gdy sprowadzili się do Obór, zajmowali już kilka klasztorów w prowincji wielkopolskiej (Poznaniu, Bydgoszczy i Gdańsku). Ludność nazywała ich „Belgami”, ponieważ część zakonników pochodziła z Belgii i Niemiec. W połowie XVIII w. nastąpił okres korzystniejszy dla konwentu, uwieńczony budową klasztoru i rozbudową kościoła. 

   19 czerwca 1741 roku karmelici oborscy przystąpili do budowy murowanego, dwupiętrowego budynku klasztornego.  Prace budowlane trwały 12 lat i zakończyły się 7 maja 1753 roku. Klasztor XVIII-wieczny wraz z kościołem tworzy czworobok. Ścianę północną i zachodnią wypełnia klasztor, południową – kościół, a wschodnią – zakrystia z małym korytarzem. Jedno ramię klasztoru łączy się z narożnikiem frontowym kościoła pod wieżą, gdzie początkowo była furta klasztorna. Drugie ramię, za pośrednictwem korytarza, łączy się na wysokości pierwszego piętra z  chórem klasztornym umieszczonym nad zakrystią. W 1718 roku do kompleksu klasztorno-kościelnego dobudowano refektarz zakonny i kuchnię. Wewnątrz klasztor ma układ jednotraktowy z korytarzami wzdłuż wirydarza. We wschodnim krańcu skrzydła północnego znajduje się klatka schodowa. Budowę świątyni ukoronowała wzniesiona w latach 1748–1749 czworoboczna wieża wysokości 45 m. Kościół i klasztor oborski posiada wyposażenie głównie barokowo-rokokowe z XVII i XVIII wieku.

   W latach 2004-2005 powstała plenerowa droga krzyżowa jako wotum za 400 lat istnienia klasztoru. Golgota leżąca na naturalnym wzgórzu, wznoszona jest z  polnych kamieni przywożonych przez pielgrzymów z różnych części Polski.

   Naprzeciwko bramy kościoła, znajduje się wzgórze zwane niegdyś Grodziskiem. Na szczyt wzgórza prowadzą malownicze schody ułożone z polnych kamieni. To tu z początkiem XVII w. stanął pierwszy kościół w Oborach, z fundacji małżonków Rudzowskich, strawiony pożarem w 1612 r. 
   W 1686 r. na szczycie Grodziska wzniesiona została kaplica zwana Kalwarią, upamiętniająca pierwszą fundację. Umieszczono w niej duży krucyfiks, znajdujący się tu do dzisiaj. W 1747 r. ojcowie karmelici obok Kalwarii postawili też dużą, drewnianą kaplicę ze stacjami drogi krzyżowej, w której odprawiano nabożeństwo Drogi Krzyżowej. Niestety nie przetrwała ona do naszych czasów.
Od XVIII w. wzgórze Grodzisko zyskało nazwę Kalwaria. Obecnie na Kalwarii znajduje się cmentarz oborski. Pierwotnie przeznaczony był na miejsce pochówku zakonników i dobrodziei klasztoru, jednak od momentu erygowania parafii w Oborach w 1971 r. stał się miejscem spoczynku także parafian. Po prawej stronie cmentarza znajduje się trójkondygnacyjna katakumba, w której spoczęły prochy dobrodziejów fundacji w Oborach i innych zasłużonych dla ziemi dobrzyńskiej. W jednej z nisz przez jakiś czas ukryta była Cudowna Figura Matki Bożej Bolesnej.