W czasach przedchrześcijańskich miejscowa ludność zbierała się w tym miejscu, aby sławić słowiańskie bóstwa i czerpać wodę ze świętego źródła. W XII wieku za sprawą św. Ottona z Bambergu powstała tu drewniana kaplica pod wezwaniem Maryi, a także postawiono krzyż, symbol chrześcijaństwa. Od XIII wieku, gdy kaplica znajdowała się pod opieką cystersów, rozwijał się ruch pielgrzymkowy w to miejsce. W XIV wieku na miejscu starej kaplicy, miała powstać nowa. Jedna z hipotez głosi, że w jej bogatym wnętrzu znajdował się m.in. wizerunek Maryi oraz 12 figur apostołów, wykonanych ze złota. Na podstawie dokumentu z 1435 roku dowiadujemy się, że pielgrzymki w to miejsce w XIV wieku były jeszcze nieliczne, a ruch nasilił się dopiero w XV wieku. Pielgrzymowanie mogło mieć jeszcze miejsce do do końca XVI wieku, mimo wcześniej wprowadzanej na Pomorzu Zachodnim reformacji. Następnie przystąpiono do rozbiórki kościoła. Po 1544 roku cystersi opuścili to miejsce zabierając ze sobą figurę Maryi. W rezultacie pielgrzymowanie w to miejsce niemal całkowicie wygasło. 

Od 2002 roku miejsce to jest pustelnią franciszkanów z prowincji św. Maksymiliana Marii Kolbego w Gdańsku, z klasztoru w Darłowie. Pustelnię zaprojektowano w stylu pomorskim - oparto ją na wzornictwie budownictwa kaszubskiego. Odbywają się tu Msze św. z kaszubską liturgią słowa. Na jej dachach znajdują się krzyże - m.in. Krzyż Św. Ducha. W kaplicy przy pustelni czczona jest Iwerska Ikona Matki Bożej (Bramy Niebiańskiej). 

1 stycznia 2020 ustalono nazwę obiektu w formie Święta Góra Polanowska.


Na szczyt prowadzi droga krzyżowa z ludowymi rzeźbami. Nieco w bok od ścieżki dojściowej wypływa źródło zwane Studnią Zdrowia, z którym związane są legendy o uzdrowieniach.


fot. MOs810, CC BY-SA 3.0, via Wikimedia Commons