By the Sea volgt een Amerikaanse schrijver Roland (Pitt) en zijn vrouw, Vanessa (Jolie Pitt), die verblijven in een rustig en pittoresk resort aan de kust in Frankrijk in 1970, midden in een huwelijks crisis.
Wanneer ze tijdens hun vakantie in contact komen met het pasgetrouwd stel Lea (Laurent) en François (Poupaud), en dorpsbewoners Michel (Arestrup) en Patrice (Bohringer), worden Roland en Vanessa geconfronteerd met hun eigen onopgeloste problemen.