Olivier Bertin, peintre célèbre et mondain, voit défiler dans son atelier parisien les plus belles femmes de la haute société. Il se montre « difficile et se fait payer fort cher ». Il tombe un jour très amoureux de l'une d'elles, Anne de Guilleroy, séduit par sa grâce et son élégance. Fille d'un riche commerçant, elle est mariée à un député enrichi de la petite noblesse normande et mère d'une fillette de six ans. Elle devient très vite sa maîtresse.
Douze années passent, le peintre est aimé passionnément par cette femme mariée, maintenant d'âge mûr. Elle vit dans l'angoisse de le perdre, son attachement passionné grandit avec le temps ; elle consacre son existence à préserver leur amour, conservant sa coquetterie et son charme tout en sachant le flatter. Bertin lui voue quant à lui « une affection calmée, profonde, une sorte d'amitié amoureuse dont il avait pris l'habitude », sa passion originelle transformée avec le temps.
La fille d'Anne, Annette de Guilleroy, réapparaît après trois ans d'absence totale. Elle est devenue une belle jeune fille de dix-huit ans, tout juste sortie de l'adolescence. Mais l'artiste vieillissant compare, un jour, l'image, jeune, de sa maîtresse qu'il avait représentée sur une toile, et sa fille. Il retrouve dans le visage d'Annette, puis dans les intonations de sa voix, sa maîtresse jeune. Cette ressemblance troublante fait basculer l'existence des deux amants. Anne, qui a d'abord joué de cette confusion, réalise qu'Olivier tombe, sans s'en rendre compte, amoureux de sa fille, ou plutôt de l'image jeune d'Anne qu'il retrouve en celle-ci, croyant revivre son amour de jeunesse avec sa maîtresse rajeunie… Elle le met en garde de ce danger mais il est déjà trop tard.
Cette passion platonique et sans issue amène Bertin et son amie Anne à méditer sur la fuite du temps et la déchéance apportée par le vieillissement qui les atteint progressivement. Le peintre réalise sa propre déchéance, il a vieilli et perdu sa créativité, noyée par l'univers mondain trop conventionnel dans lequel il baigne, son art est considéré par la critique comme démodé. Le célibat, qui représentait pour lui la liberté quand il était jeune, devient une solitude insupportable. Il finit par envier la place du mari, pourtant trompé, et rêve d'une vie familiale.
Bertin, marqué par cette confusion permanente entre la mère et la fille, en est fortement troublé. Son amour secret pour la jeune fille est devenu « quelque chose d'irrésistible, de destructeur, de plus fort que la mort ». Sa passion le mène à l'anéantissement. Le peintre est victime d'un accident ou peut-être d'un suicide. Agonisant, il exige de sa maîtresse qu'elle détruise ses lettres d'amour afin qu'on ne les trouve pas. Elles achèvent de se consumer dans le feu de la cheminée en laissant couler la cire des cachets, comme des gouttes de sang, qui « semblaient sortir du cœur même des lettres, comme d'une blessure ».
L’œuvre s’achève sur la mort du peintre, plongé dans une profonde détresse morale. Il s'éteint « détendu, impassible, inanimé, indifférent à toute misère, apaisé soudain par l'Éternel Oubli ».
