Frederic e Helene vivem um casamento feliz e uma vida confortável em Paris. Ele é sócio de um escritório na cidade e tem o costume de fantasiar relações com outras mulheres, apesar de não ter a intenção de trair a esposa. Tudo muda, porém, quando a sedutora Chloe reaparece em sua vida. Com jeito espirituoso, ela era amante de um amigo dele e um dia passa em seu escritório. Os encontros começam a se tornar constantes e aos poucos Frederic se apaixona por ela, embora diga à esposa, que está grávida, que sua presença o incomoda.

Os constantes encontros como amigos acabam se tornando um inevitável jogo de sedução, que deixa Frederic num dilema moral. Amor à Tarde é o último dos seis Contos Morais do francês Eric Rohmer. O diretor é o mesmo de Conto de Primavera, Pauline na Praia e O Raio Verde.