Młyn istniał już w XVI wieku. Pierwsza wzmianka pochodzi z 1597 roku, kiedy właścicielem stawu i młyna był Kacper Jenisch, a dwór i ogród należał wówczas do konwentu cysterskiego.
Od 1601 roku staw i młyn przeszedł w ręce gdańszczanina Jakuba Schwabego. W 1611 roku Schwabe odkupił jeszcze od konwentu cysterskiego dwór z ogrodem owocowym i domkiem ogrodnika oraz ziemię uprawną. W 1615 Schwabe popełnił samobójstwo ze względu na malwersacje, których się dopuścił, jako urzędnik miejski. Sprawa była tak głośna, że przyjęła się nazwa posiadłości "Schwabenthal" i nazywa doliny Schwabego.
Od 1642 roku właścicielem był Jan von Bergen. Młyn pracował, jako folusz do 1700 roku. Potem Jan Metzger uruchomił w nim kuźnicę miedzi.
W latach 1801-1821 właścicielem Schwabenthal był Jan Jerzy Junker, do którego należało wówczas pięć włuk i pięć morgów ziemi, dworek, ogród, stodoła, stajnia, spichlerz i kuźnia miedzi z budynkiem mieszkalnym dla robotników.
Od 1827 roku młyn przerobiony został na kuźnicę żelaza przez Hildebrandta, kolejnego właściciela.
W 1898 roku właścicielem posiadłości był Hugo Mrozek. Kuźnica żelaza spłonęła około 1900 roku i nigdy nie została odbudowana. W 1913 roku po śmierci męża posiadłość przejęła żona Elsa Mrozek wraz z córką Edith. W latach 1939 - 1945 w czasie wojny w posiadłości pracowali robotnicy przymusowi, głownie z Polski, 2 chłopców z Wilna i Kolasa z Kaszub. W marcu 1945 przed przejściem przez dolinę wojsk radzieckich panie Elsa i Edith Mrozek opuściły posiadłość, która oficjalnie należała do nich aż do 1959 roku.

Po marcu 1945 roku dolina Schwabego utrąciła swą nazwę, ponieważ została wchłonięta przez Dolinę Radości.

Po II wojnie światowej nowa właścicielka gospodarowała w dworku, lecz w latach siedemdziesiątych po nie otrzymaniu zezwolenia na otwarcie w tym miejscu dużej chlewni posiadłość opuściła.
W 1974 roku posiadłość przezła na własność Skarbu Państwa. W tym czasie legły w gruzach ostatnie budynki gospodarcze.
W latach osiemdziesiątych dwór próbowali przywrócić do dawnej świetności Pracownie Konserwacji Zabytków i zaadoptować go, jako dom pracy twórczej.
W 2000 roku zakupiła zniszczony dwór i kilka zrujnowanych przyległych bezpośrednio budynków spółka "Dwór Oliwski", z zamiarem odtworzenia starych budowli i przystosowania ich do funkcji hotelowo-gastronomicznnej. W styczniu 2002 roku została w nim otworzona restauracja "Dwór Oliwski". Aktualnie mieści się w dawnej posiadłości Schwabego jeden z nielicznych w trójmieście pięciogwiazdkowych hoteli. Oprócz w części odnowionych, a w części nowych (stodoła) budynków zachował się również staw młyński i odnowiona przez nowych właścicieli tama z przepustem i małym skalistym wodospadem.