O castelo de Vimianzo foi construído entre finais do século XII e comezos do XIII polos Mariño de Lobeira. Da primitiva fortaleza soamente quedan os restos do que puido ser unha torre do homenaxe no actual patio de armas. A comezos do século XV pasa a mans da familia Moscoso, e dende entón foi obxecto de encarnizadas disputas por parte do Arcebispo de Santiago e os Moscoso, dous dos poderes máis importantes da Galicia Medieval. Os Moscoso conseguirían o título de Condes de Altamira e chegaron a converterse nunha das familias nobiliarias con máis influencia da Península.
En 1467 prodúcense as Guerras Irmandiñas nas que o pobo, cansado das opresións económicas dos señores feudais, toma esta fortaleza, aínda que a rebelión non durou moito. O Arzobispo de Santiago Alonso II de Fonseca apodérase do castelo no ano 1472, para a súa reconstrución despois das revoltas populares. Pero uns anos máis tarde, Lope Sánchez de Moscoso, que se autoproclamou o primeiro Conde de Altamira, volverá a Galicia para recuperar a súa propiedade, polo que pertencerá a esta familia ata o século XIX.
No ano 1870 é adquirido por Ramón Martelo Núñez, presidente da Deputación da Coruña, e o seu fillo, o poeta Evarito Martelo restáurao para convertelo na súa residencia de verán. En 1965 o edificio sofre un devastador incendio, e posteriormente Dolores Martelo de la Maza lega esta propiedade ao Arzobispado de Santiago, que en 1973 a venderá á Deputación de A Coruña.
A Deputación rehabilitou o castelo para dedicalo a uso público, e actualmente está xestionado polo Concello de Vimianzo. A fortaleza de orixe medieval atópase en moi bo estado de conservación e está convertida nun museo de artesanía en vivo no que todo o ano se poden contemplar palilleiras, artesás do liño, cestería, prata e vidro, olería de Buño, coiro e maquetas de barcos, con exposicións permanentes destos traballos artesanais. O castelo está aberto todos os días do ano, excepto os luns e a entrada é gratuíta. Nunha das torres hai un centro de interpretación da Costa da Morte.
A fortaleza conta con murallas e foxo, sobre o que se tende unha ponte levadiza. O edificio está construído en planta poligonal e ten catro torres e un patio de armas, con uns fortes muros de case dous metros de grosor. Está situado na entrada do pobo a carón da estrada comarcal 552. A súa estratéxica situación parece ser a causa das continuas loitas no pasado entre a mitra compostelá e os Moscoso, xa que a súa proximidade á costa permitía controlar as rutas comerciais do mar do norte, os negocios da sardiña e do sal, e os suculentos botíns dos barcos que naufragaban na costa.
O primeiro fin de semana do mes de xullo en Vimianzo celébrase unha das festas con máis sona en Galicia nos últimos anos: o Asalto ao Castelo, onde se rememoran as Guerras Irmandiñas. Miles de persoas congréganse na localidade para escenificar as revoltas, e o mesmo que daquela, os irmandiños consiguen facerse co poder, e nun acto simbólico toman o castelo vimiancés.
Horario: Aberto todos os días excepto os luns. De 10.30 a 14.00 horas, e de 16.00 a 18.30 horas.
Entre o 1 de xullo e o 15 de setembro cámbiase o horario de 10.30 a 14.00 horas, e pola tarde, de 16.00 a 20.30 horas.