Pierwsza wzmianka o posiadłości pochodzi z 1597 roku. Na początku XVIII wieku stała tu już gospoda nazywana "Pempkenkrug". Istniejący do dziś dworek przy dzisiejszej ul. Bytowskiej nr 4 powstał pod koniec XVIII wieku na fundamentach wcześniejszej budowli.
W 1898 roku posiadłość zakupił Hugo Mrozek i uruchomił tu restaurację. Około 1900 roku spłonęła kuźnica żelaza. Zachowane jej ujęcia przedstawiane były jeszcze przez długi czas. W 1913 roku po śmierci męża posiadłość przejęła żona Elsa Mrozek wraz z córką Edith. W marcu 1945 przed przejściem przez dolinę wojsk radzieckich panie Elsa i Edith Mrozek opuściły posiadłość.
Po drugiej wojnie światowej własnością zarządza nowa właścicielka, która niebawem opuszcza posiadłość. W 1959 roku jej właścicielem zostaje Alfred Wilbik. W 1964 roku obiekt przejmuje Skarb Państwa i wykwaterowuje lokatorów. Następnie od 1978 roku dwór próbuje przywrócić do dawnej świetności Pracownia Konserwacji Zabytków i zaadoptować go, jako dom pracy twórczej. Remont jednak został przerwany z powodu braku środków.
W 2000 roku zakupiła zniszczony dwór i kilka zrujnowanych przyległych bezpośrednio budynków spółka "Dwór Oliwski", z zamiarem odtworzenia starych budowli i przystosowania ich do funkcji hotelowo-gastronomicznej. W styczniu 2002 roku została w nim otwarta restauracja "Dwór Oliwski".