A novela relata a historia dos señores da casa da Barreira desde a súa creación até a súa decadencia e práctica desaparición tres xeracións despois de ser creada.

Don Ramón Frade é o máis novo dos Frade de Eirís e, por non ser morgado, fica privado dunha substanciosa herdanza. Por este motivo vese na obriga de traballar como tratante e comerciante. O traballo fai incrementar o seu patrimonio e, logo dun proveitoso matrimonio con Tereija (filla do Marqués de Gomesende), constrúe a magnífica casa da Barreira.

Nesa casa van nacer os seus catro fillos, que medran ao mesmo ritmo que a súa fortuna. No entanto, os señores seguen a manter unha excelente relación cos seus empregados, especialmente coa Ludivina, a doncela e a mellor amiga da señora. A súa felicidade só se ve alterada polas accións dos carlistas, que mesmo chegan a prender o señor (liberado grazas a un pagamento) e asasinan o Breixo, o esposo e pai da filla de Ludivina.

Ao morrer don Ramón, o seu primoxénito Armando pasa a ser o señor da Barreira. Coñecido polas súas andanzas amorosas, sempre acompañado polo seu irmán máis novo, chega a ter numerosos fillos ilexítimos, entre os que destaca Vertudes (que nace da súa relación con Tereixiña, a filla de Ludivina). No entanto, o señor pon fin á súa vida disipada ao casar con Mercedes, que se converte na segunda señora da casa da Barreira, e mantén e incrementa o patrimonio familiar.

Logo da súa repentina morte, a súa viúva casa co irmán menor de don Armando, José Manuel, que se ve na obriga de abandonar a casa cando o seu sobriño Álvaro se converte no terceiro señor da Barreira.

Os tempos van mudando, a familia está dividida entre a casa da Barreira e a casa de José Manuel, aínda que os máis novos pasan cada vez máis tempo na capital (en boa medida para desenvolver os seus estudos). Estas mudanzas tamén teñen a ver coa nova señora da Barreira, dona Amelia, que remata coa boa relación entre os señores e os seus criados e que impón unha relixiosidade e un protocolo esaxerado (en que destaca o seu incidente coa Vertudes na igrexa parroquial).

Finalmente, observamos como nos capítulos finais a casa da Barreira está cada vez máis tempo baleira. Os señores pasan a maior parte do ano en Souto e na vila os comerciantes enriquecidos vanos substituíndo como posuidores do poder social e económico. Só semella manter o orgullo da caste a Sabela, herdeira de Ludivina.