Swarzewo znane jest z kultu otaczającego cudowną figurkę Matki Boskiej Swarzewskiej

Od w. XIX pielgrzymi przybywają na dwa odpusty, w niedzielę po 16 lipca i w niedzielę po 8 września. Pierwszy odpust nosi nazwę Matki Boskiej Szkaplerznej – „odpust mały”, drugi natomiast Narodzenia NMP, Matki Boskiej Siewnej lub „duży odpust”.

   Najstarsze zapiski kościelne podają, że w Swarzewie wzniesiono kaplicę pod wezwaniem Narodzenia NMP. Mówią one również, że jest ona nawiedzana przez licznych pielgrzymów przybywających tu w dzień odpustu. W XIX w. istniał już zwyczaj uroczystego obchodzenia dwóch odpustów w Swarzewie.