Pogrzebień to jedna z najstarszych miejscowości Ziemi Raciborskiej. Posiadłość wraz z pałacem (a raczej dworkiem) należała do rodziny Larischów,  których córka Luiza wyszła w 1815 roku za mąż za zamożnego śląskiego poetę epoki romantyzmu Josepha von Eichendorffa. (Naprzeciwko pałacu znajduje się pamiątkowy głaz ze zniszczonego pomnika poety z pobliskiego lasu „Widok”.)

   Posiadłość tę zakupił w 1882 roku Adam Baildon (syn Johna) dla swojego jedynego syna Aleksandra. W latach 1885–1887 dworek został gruntownie przebudowany we włoskim stylu willowym (neorenesansowym) m.in.  wyposażony w cenne białe marmurowe schody. Ta modernizacja nadała budowli cechy pałacu. 

   W 1915 r. dobra pogrzebieńskie wraz z pałacem dostały się w posiadanie Jadwigi Voigt, która w 1928 roku sprzedała je spółce parcelacyjnej „Ślązak”. Następnie pałac z przyległościami nabyło 19 marca 1930 roku zgromadzenie Salezjanów urządzając w nim Małe Seminarium Duchowne istniejące do 1940 roku. W okresie okupacji hitlerowskiej utworzono w pałacu obóz przejściowy dla reemigrantów niemieckich z Besarabii i niemieckiej Bukowiny, a następnie obóz przeznaczony dla ludności polskiej pod nazwą „Polenlager 82”, który z kolei stał się obozem dla dzieci (Kinderlager). W  1946 roku pałac przejęły Siostry Salezjanki. W pałacu tym przebywała przez jakiś czas i zmarła w opinii świętości 30.08.1951 roku siostra Laura Meozzi (1873–1951), a w klasztorze można zwiedzić jej „pokój pamiątek”.

   Obok pałacu rośnie stary jesion – najstarsze i najgrubsze drzewo w całej gminie – jego pień ma ponad 5 metrów obwodu. Jest to trzeci, pod względem wieku i grubości jesion w Polsce.