A primeira povoação deve ter sido fundada pelos celtas, numa ilha arenosa “baixa e hervosa” oito séculos antes de Cristo, ilha essa que tinha sido formada em frente ao estuário do Vouga. Segundo a tradição, a ilha era denominada “ilha Vaga”, de onde depois derivou o nome de Vagos, já no tempo dos romanos (Vacus).
Vagos foi uma das nove portas das célebres muralhas de Aveiro. Era a “porta sul”.
Vagos, que primeiro tinha sido uma vigairaria do padroado real, pertenceu ao Convento de S. Marcos do Campo da Ordem dos Jerónimos e depois foi priorado independente.
Na antiga igreja paroquial existia uma lápide que foi transferida para a igreja nova com a seguinte legenda :”El Rey D. Afonso deu esta igreja ao Mosteiro de S. Marcos a qual está unida in perpetuum no espiritual e temporal”.
D. Manuel concedeu foral à vila de Vagos em 12 de Agosto de 1514.
A história fala de Vagos no tempo de Sancho I, que confirmou a doação do Santuário de Nossa Senhora de Vagos ao Mosteiro de Grijó que pertencia aos padres Agostinhos.
Diz o Pe. António Carvalho da Costa na sua corografia, que a doação fora feita em 1220. Contudo, deverá tratar-se de erro tipográfico pois que D. Sancho sucedeu a seu pai no ano de 1185 e faleceu em 1212, não podendo desse modo ter feito a doação naquela data. O mesmo rei, pela muita devoção que tinha pela Nossa Senhora de Vagos, fez doação à sua ermida das terras de S. Romão, chamadas couto de S. Romão.
Quanto à origem da imagem e da era em que se edificou o seu santuário, não existe documento autêntico.
A tradição conta-nos, segundo uns, que a manifestação da Senhora teria sido revelada em sonhos a um lavrador. A ele se atribui a fábrica da Ermida e da Torre, e a passagem do braço de mar a pé enxuto. Segundo outros, contudo, a revelação teria sido feita ao rei D. Sancho. Mais refere a tradição que, passando um navio francês pela costa portuguesa, a bordo do qual se encontrava uma formosa imagem da Virgem, o mesmo enfrentou uma tão grande tempestade que o naufragou, despedaçando-se na costa. Entre o pouco que o capitão logrou salvar estaria a imagem, que resolveu esconder numa mata próxima da praia. O capitão e os tripulantes do navio participara o sucedido na povoação mais próxima, Esgueira, tendo o pároco local acompanhado os marinheiros para recuperar a imagem. Todavia não conseguiram descobrir o local onde aquela se encontrava. Ora estando D. Sancho I em Viseu, apareceu-lhe a Senhora em sonhos e pediu-lhe que fosse ao local onde se encontrava a sua imagem e ali edificasse uma casa onde fosse venerada. Assim fez o rei, que logo encontrou a imagem e mandou edificar uma capela e uma torre para defesa dos que assistissem ao culto de eventuais investidas de piratas mouros.
A Capela de Nossa Senhora de Vagos é designada hoje como Nossa Senhora da Conceição. O aspecto actual provém de uma remodelação do século passado. Não obstante deixa-se ver, pela porta principal e pela travessa, que outra, anterior e grande, se tinha feito, pelos meados do séc. XVI. Ao lado da porta axial rasgam-se postigos incaracterísticos. Acima do da direita permaneceu cravado um pequeno escudo com leão rompante, escudo e leão do tipo final do gótico, muito coberto de cal. Corresponde às armas dos Coelhos, sem a bordadura tradicional; parece ter feito parte do epitáfio de Estêvão Coelho, cavaleiro da Ordem de Cristo, falecido em 1515.
A igreja paroquial é dedicada a S. Tiago-maior apóstolo. Além da capela-mor há mais duas, fronteiras, abertas no corpo, junto aos ombros. A grande reforma do edifício deu-se na segunda metade do séc. XVIII. O arco da capela do evangelho é todavia do séc. XVII, da renascença decadente, ornado de pendurados nas faces das pilastras e de querubins na volta, tendo brasão que a talha não deixa ver convenientemente. Foi a capela privativa dos Cardosos.
A capela da Misericórdia situa-se no centro da vila. A origem desta capela encontra-se, segundo parece, numa confraria das Almas que sustentava um rudimentar hospital chamado de S. Tiago, onde se albergavam os itinerantes pobres e doentes. Fizeram depois uma capela mais vasta a que foi dado o título da Senhora da Misericórdia (sem formar a instituição consabida) e a irmandade reformou-se com o título de Senhor dos Passos, a qual continua a existir e é proprietária e administradora da capela. Foi reconstruída nos fins do séc. XIX.
A Capela de Santo António, na saída norte da vila e no entroncamento para a Capela da Senhora de vagos, talvez fosse a antiga Capela do Espírito Santo.
De citar ainda as capelas de S. Sebastião e de S. João Baptista.
Os restos da torre militar ficam a menos de dois quilómetros para além da actual capela da Senhora de Vagos, no meio das dunas. Deveria ter marcado pequena elevação, a dominar a linha da costa da época. Já no princípio do séc. XVIII se encontrava muito soterrada pelas dunas, mostrando ainda uma forma quadrada e tendo em altura cerca de uma dezena de metros. Apresenta hoje um só ângulo da construção, com cerca de quatro metros de altura. Tratava-se duma simples e precária torre de refúgio e vigia.
