Kościół został zbudowany w XIX wieku.
Sanktuarium słynie głównie z gotyckiej figurki Matki Boskiej, patronki rybaków. Stoi w ołtarzu głównym na śródokręciu barokowego żaglowca. Ze ścian świątyni można odczytać spisaną wierszem w XVIII wieku historię Pięknej Madonny.
Swarzewo znane jest z odbywających się tu dwa razy do roku odpustów rybaków kaszubskich.