Najstarszy cmentarz w Oliwie powstał przy kościele św. Jakuba. W 1308 roku pochowano na nim rycerzy pomorskich. Opat Rüdiger (1291-1313) przebywając w Gdańsku w dniu 13.11.1308 roku zdołał zabrać z miejsca kaźni rycerzy pomorskich, przewieść ich do Oliwy i pochować. Tak opisuje to wydarzenie Kronika Oliwska (Antonina Jelicz, "By czas nie zaćmił i niepamięć", Warszawa 1975): "... poddali miasto, do którego panowie wchodząc ze swoim wojskiem rozkazali wymordować wszystkich rycerzy pomorskich, których w nim zastali. A pan Rüdiger, opat oliwski, powodowany pobożnością, wystawił się na niebezpieczeństwo i pośród pocisków i mieczy, dopóki mu dozwolono, przyjmował spowiedź od skazanych, a zabitych kazał przewieźć do Oliwy i pogrzebać na cmentarzu przyklasztornym św. Jakuba."
Około 1960 roku wykonano rewaloryzację kościoła św. Jakuba i uporządkowano teren wokół niego likwidując przy tym stary cmentarz. Przed likwidacją znajdowały się tam jeszcze stare nagrobki (Franciszek Mamuszka, "Oliwa. Okruchy z dziejów zabytki", Gdańsk 1985): "m.in. klasycystyczny z 1799 r., i przy nim płyta nagrobna z 1834 r. Obok niej stały słupki z 1729 r., a także nagrobek z 1788 r."

Po kasacie klasztoru w 1831 roku cmentarzyk przy kościele św. Jakuba, na którym chowano przedstawicieli katolickich i ewangelickich przestał wystarczać, co spowodowało, iż w 1878 roku przestano tu chować zmarłych a na nowy cmentarz założony w 1832 roku przeznaczono początkowo dwie morgi ziemi pomiędzy ulicami Ludolfiner Straße (Czyżewskiego) i Saltzmann Straße (Opacka). W 1835 roku cmentarz powiększono o część ewangelicką usytuowaną bardziej na północ. Na cmentarze prowadziły dwie bramy znajdujące się przy ul. Czyżewskiego.
W XIX wieku zbudowano w części katolickiej małą kapliczkę a w 1909 roku na jej miejscu z inicjatywy proboszcza Franciszka Schrötera firma Klawikowski wybudowała nową za 8.573 marki. Kapliczkę zaprojektował Singer, późniejszy architekt kaplicy św. Piotra w Jelitkowie (1923).
W 1920 rokoku powiększono cmentarz o następne 2 części: katolicką od strony północnej i ewangelicką od strony południowej. W 1921 roku po stronie północnej powstał jeszcze cmentarz komunalny, na którym chowano innowierców i bezwyznaniowców.
Po wojnie w 1945 roku część komunalna została zlikwidowana (obecnie znajduje się w tym miejscu budynek i parking przy ul. Czyżewskiego 38) a cztery pozostałe części przejął kościół katolicki. Następnie w 1947 roku całość przeszła pod Zarząd Miasta (aktualnie Zarząd Dróg i Zieleni w Gdańsku) tworząc jeden cmentarz komunalny.

Cmentarz Oliwski (biuro ZDiZ: ul. Opacka 8) zajmujący obecnie powierzchnię 5 hektarów wpisany został w dniu 10.1.1985 roku do rejestru zabytków pod numerem 919. Chronione są: kaplica cmentarna z 1909 roku, kostnica przy ulicy Opackiej (wcześniej Saltzmannstraße 11), ogrodzenie cmentarza z kutych płaskowników i od strony ul. Czyżewskiego cztery bramy wejściowe prowadzące na istniejące dawniej 4 odrębne cmentarze.
Na cmentarzu znajduje się też wykorzystywany obecnie, jako pomieszczenie gospodarcze były grobowiec o wymiarach 4,35 x 5 m z dwuspadowym dachem krytym blachą.
Zachował się również stary drzewostan cmentarny w formie alei lipowych oraz pojedynczych drzew różnych gatunków ozdobnych sadzonych dawniej przy grobach.

Znajduje się tu szereg grobów z II połowy XIX i początku XX wieku. W 1985 roku Franciszek Mamuszka opublikował kilka nazwisk z nagrobków pochodzących z przed 1945 roku w ówczesnej części katolickiej: Antoni Pikarski (zm. 1922) - weteran powstania styczniowego, Kaszuba ze wsi Kliczkowy, Feliks Herstowski (zm. 1924) - nauczyciel gimnazjum w Chełmie, Józef Gruchała-Węsierski (grób zlikwidowano w 1980 roku) - działacz polski pod zaborem pruskim, Zygmunt Moczyński - działacz Polonii gdańskiej, Roman Grubba - kolejarz zamordowany 1.9.1939 w Szymankowie, działacze polscy: Jakub Strongowski, Antoni Leszczyński.
Pochowani są tu również: Mikołaj Krym (ur. 12.8.1843, zm. 1.2.1904) - proboszcz oliwski w latach 1883-1904, Magnus Bruski (ur. 1886, zm. 1945) - proboszcz oliwski w latach 1926-1935, Franciszek Halba (ur. 31.12.1875, zm. 5.12.1936) - konrektor szkoły podstawowej w Jelitkowie. Znajdują się groby: rodziny Landmann: Maria (ur. 11.6.1859, zm. 1942) - zasłużona dla kościoła za przekazanie dwóch działek w pobliżu katedry, rodziny Chmieleckich: Alfred (ur. 30.4.1890, zm. 6.8.1915), August (ur. 5.10.1843, zm. 20.1.1929), Rosalie (ur. 6.4.1855, zm. 30.10.1938).

Po 1945 roku na cmentarzu pochowani zostali m.in.: Stanisław Chlebowski - artysta malarz, Zdzisław Kałędkiewicz, Jan Kilarski, Brunon Jan Kędziorski (ur. 29.5.1942, zm. 21.11.2007) - proboszcz archikatedry oliwskiej w latach 1991-2007, Maciej Kilarski, Franciszek Mamuszka, Jerzy Stankiewicz, Stefan Szymański (ur. 4.8.1911, zm. 13.5.1961) - proboszcz parafii w Jelitkowie.


Jeszcze jeden cmentarz z kapliczką zbudowaną w 1880 roku mieścił się w Oliwie. Był usytuowany pomiędzy dworem I i II przy ul. Polanki. Należał do zespołu Dworu II, w którym od 1833 roku mieścił się przytułek dla bezdomnych i dom starców zlikwidowany w 1945 roku. Kapliczkę stojącą do dziś wpisano do rejestru zabytków w dniu 28.12.1972 roku pod numerem 636 (aktualnie 757).
Miesięcznik "30 dni" nr 3 z marca 2000 roku w artykule "Cmentarze, które były" podaje cmentarz w Jelitkowie, który istaniał przy ul. Kaplicznej.