Pierwsza wzmianka o posiadłości pochodzi z 1597 roku. Na początku XVIII wieku stała tu już gospoda nazywana "Pempkenkrug". Istniejący do dziś dworek przy dzisiejszej ul. Bytowskiej nr 4 powstał pod koniec XVIII wieku na fundamentach wcześniejszej budowli. Gdy właścicielem posiadłości był Jan Jeży Junker (1801-1821) założona została księga wieczysta podająca budynki wchodzące w jej skład: dwór, stodoła z 1802 roku, spichlerz, stajnia, kuźnica miedzi i budynek fabryczny oraz zabudowania mieszkalne dla robotników. Następnie to własność: Hildebrandta, Mastbauma i Kuttenkaulera.

W 1898 roku posiadłość zakupił Hugo Mrozek i uruchomił tu restaurację. Wymieniona wcześniej kuźnica przerobiona w między czasie na kuźnicę żelaza spłonęła około 1900 roku. Zachowane jej ujęcia przedstawiane były jeszcze przez długi czas (ostatnie znane na pocztówce wysłanej w 1925 roku). Po tej katastrofie kuźnia nie została odbudowana. Urządzono w jej miejscu małą kaskadę i pozostawiono do ozdoby koło młyńskie. W 1913 roku po śmierci męża posiadłość przejęła żona Elsa Mrozek wraz z córką Edith. Najprawdopodobniej w latach XX 20 wieku od strony wschodniej i zachodniej dobudowano werandy dla gości. W latach 1939-1945 w czasie II wojny światowej w posiadłości pracowali robotnicy przymusowi, głownie z Polski, 2 chłopców z Wilna i Kolasa z Kaszub. W marcu 1945 przed przejściem przez dolinę wojsk radzieckich panie Elsa i Edith Mrozek opuściły posiadłość, która oficjalnie należała do nich do 1959 roku.

Po drugiej wojnie światowej jak wspomina jedna z pracownic przymusowych własnością zarządza nowa właścicielka, która po nie otrzymaniu zezwolenia na otwarcie w tym miejscu dużej chlewni opuszcza posiadłość. W 1959 roku jej właścicielem zostaje Alfred Wilbik (ur. 18.02.1909, zm. 04.12.1971, cmentarz oliwski). W 1964 roku obiekt przejmuje Skarb Państwa i wykwaterowuje lokatorów. W tym czasie legły w gruzach niektóre budynki gospodarcze. Następnie od 1978 roku dwór próbuje przywrócić do dawnej świetności Pracownia Konserwacji Zabytków i zaadoptować go, jako dom pracy twórczej. Remont jednak nie został przerwany z powodu braku środków.

W 2000 roku zakupiła zniszczony dwór i kilka zrujnowanych przyległych bezpośrednio budynków spółka "Dwór Oliwski", z zamiarem odtworzenia starych budowli i przystosowania ich do funkcji hotelowo-gastronomicznej. W styczniu 2002 roku została w nim otwarta restauracja "Dwór Oliwski". Aktualnie mieści się w dawnej posiadłości Schwabego jeden z nielicznych w trójmieście pięciogwiazdkowych hoteli.
Oprócz w części odnowionych, a w części nowych budynków zachował się staw młyński i odnowiona przez nowych właścicieli tama z przepustem i małym skalistym wodospadem.

Zdjęcie lotnicze, które wykonałem w 1994 roku, przedstawia fragment lasów oliwskich. Od ogródków działkowych, w kierunku lewego górnego rogu, rozciąga się Dolina Zgniłych Mostów. Po prawej - wzgórze Konik, a za nim - Dolina Świeżej Wody, zwana także Doliną Ewy, z widocznym w głębi Wzniesieniem Marii. Dach w prawym dolnym rogu, to Dwór Oliwski. Pozioma droga w dolnej części zdjęcia - to Młyńska Droga. W dolnej środkowej części zdjęcia widoczny jest fragment stawu młyńskiego młyna XV, który był usytuowany trochę poniżej widocznego Dworu Oliwskiego.

©  Fot. Krzysztof Kamiński.