Założenie klasztoru łączy się z następującą piękną legendą. Książę pomorski Sobiesław, polując w puszczy kaszubskiej, zapędził się za olbrzymim jeleniem daleko od swoich towarzyszów. Rozjuszone zwierzę ruszyło na prześladowcę i zadało mu ciężkie rany. Nieprzytomnego znalazł pewien pustelnik, przeniósł go do swojej pustelni i pielęgnował tak długo, dopóki chory nie odzyskał zdrowia. Tedy książę zwierzył opiekunowi swemu, że w czasie choroby miał widzenie, iż ma zostać chrześcijaninem i lud swój nauczyć wiary prawdziwej. Przyjął więc Sobiesław chrzest św. i z wdzięczności za odzyskanie zdrowia zbudował w tych stronach klasztor, dokąd sprowadził Cystersów, aby lud jego nauczali wiary chrześcijańskiej. Nazwę wzięło nowe opactwo od gałązki oliwnej, którą zakonnicy zatknęli na szczycie swej kaplicy, jako symbol pokojowej pracy.