Middelalderkirken på Avaldsnes ble bygget til ære for helgenkongen Olav den Hellige. Det staselige kirkebygget ble reist av kong Håkon Håkonsson i perioden mellom 1248 og 1263. Olavskirken er i dag et av mange stoppesteder på pilgrimsveien nordover langs kysten til Nidaros i Trondheim. Dagens kirke er det tredje kjente kirkebygget på stedet. En av de tre misjonskongene, Olav Tryggvason, reiste allerede før år 1000 AD en liten trekirke på Avaldsnes. Denne ble senere erstattet av en annen kirke, bygget i tre eller stein.
Olavskirken er bygget i unggotisk stil. Byggearbeidene ble trolig utført av engelske fagfolk. Bruddsteinsmurene er opp mot to meter i tykkelse. Portaler og vinduer er rikt utsmykket med spisse buer øverst. Både hjørner, portal- og vindusinnfatninger er murt med myk lett formbar kleberstein. Det opprinnelige taket var trolig av bly. Kostbare blytak var som regel forbeholdt viktige kirkebygg eller andre såkalte monumentalbygg.
Avaldsnes har trolig hatt betydningsfull posisjon i den kongelige administrasjon. Tidlig på 1300-tallet gjorde kong Håkon V Magnusson Olavskirken til et av fjorten kongelige kapeller, institusjoner som var styrt av selveste kongsmakten. Til tross for at kirken hadde et solid presteskap var den unndratt geistelig påvirkning og myndighet. Olavskirken og tre andre viktige norske kirker ble definert som kollegiatkirke. Av disse er det i dag kun Olavskirken som fortsatt eksisterer.
Det bygningsmessige forfallet starter på 1400-tallet. Kirken er fortsatt kongelig kapell, men fungerer nå først og fremst som lokal soknekirke. Utover på 1500-tallet skalerer forfallet. Kirkeskip og tårn preges stadig sterkere av slett vedlikehold. Etter noen år raser store deler av kirketaket sammen. I flere hundre år skal kirken være uten kirketak. Rundt år 1630 tar kirkelyden konsekvensen av dette. En liten trekirke settes rett og slett opp inne i det sammenraste kirkeskipet. På 1700-tallet står både tårn og skip i ruiner. Tårnrestene rives i 1834, og de første restaureringsarbeidene starter opp få år senere.
Olavskirken totalrenoveres nok en gang på 1920-tallet. Et nytt stort tårn reiser seg i vest. Høyde og form baserer seg på historisk informasjon, men tårnet blir likevel ingen tro kopi av middelalderutgaven. Det aller meste av interiøret byttes ut. Nyrestaurert kirke og interiør står ferdig i 1926. Restaureringsarbeidet avdekker kalkmalerier på tre av veggene i koret. Kirkedøra i kobber får ny form.
Kirkebygget var rikt utstyrt allerede på Håkon V Magnusson sin tid. I dag er det lite igjen av opprinnelig interiør. Dåpsfatet i døpefonten utgjør sammen med to messinglysestaker fra middelalderen de eldste gjenstandene i kirka. Dåpsfatet ble sannsynligvis laget i Tyskland en gang på 14-1500-tallet.
Kirken hadde opprinnelig tre alter. Men både alter, døpefont og kirkebenker er av nyere dato. To dekorerte steinheller i korgulvet avslører gravplassen til den islandske historiefortelleren Tormod Torfæus og en ukjent lokal kvinne. Torfæus var en betydelig skikkelse i Norge på 1600 -tallet og hadde nære bånd til Karmøy og kirken på Avaldsnes.
En krypkjeller og flere hemmelige lønneganger strekker seg under kirkegulvet. En liten portal er plassert lengst ute på det sørøstre hjørnet av koret. En plassering som avviker fra det som er normalt for kirkekor. Portaldøra kan kun åpnes og lukkes fra utsiden, den omtales derfor gjerne som «den snudde portal». Døra har sannsynligvis ledet til en gang eller et rom som var plassert sør for koret.
Utgravinger som ble gjennomført i forbindelse med Kongsgårdsprosjektet i 2012 avdekket rester av et større anlegg, en stor toetasjes hallbygning i stein datert til 1200-tallet eller tidlig på 1300-tallet. Østveggen i dette bygget følger linjen til østlige veggen i kirkekoret.
En mindre åttekantet steinbygning, «Kongens kapell» lå plassert mellom hallbygningen og kirken. Rester av denne var fortsatt synlig på 1840–tallet, men det meste var nok borte allerede tohundre år tidligere. Det lille steinhuset med en diameter på 6,8 meter ble trolig brukt som skrudhus, et frittstående sakristi der kanniker og prester kunne kle seg om før messe, og hvor kirken muligens oppbevarte verdifulle eiendeler.
Da prestegården ble revet i 1905 ble det oppdaget en 36 meter lang underjordisk gang med retning mot kirken. Den 110 centimeter dype krypsjakten var dekket av tunge steinheller. Deler av den hemmelige gangen var lagt gjennom fast fjell.
Under andre verdenskrig fungerte kirketårnet som landemerke for britiske piloter. Tyske myndigheter ønsket av den grunn at tårnet skulle rives. Et gigantisk kamuflasjeskjelett ble redningen. Tårnet overlevde krigen, men har utvendig ennå merker etter krigens handlinger.
Portalen på nordsiden av kirkebygget er i dag gjenmurt. Den buede døra var pilgrimenes inngang. Olavskilden på Torvastad var sammen med Olavskirken viktige besøksmål for gudfryktige pilgrimer på vei mot Nidaros. Det ble lenge hevdet at relikvier etter selveste hellige Olav ble oppbevart inne i kirken.
Ved ankomst måtte pilgrimene runde kirken tre ganger. Det var også viktig at de entret kirkebygget med ryggen vendt mot de onde maktene som hadde bosted i nord. I forbindelse med at kirken i 1308 fikk status som kongelig kapell fikk den også avlatsprivilegier. Syndere kunne på det viset kjøpe seg fri fra skjærsild, bot og anger ved å donere pengegaver til kirken. Oppmøte i kirken på Olavsdagen den 31.juli ga et helt år med avlatsfritak. En gyllen mulighet for folk fra nær og fjern til å slippe billig unna med betaling for nylige gjennomførte synder.