Manchester by the Sea vertelt het verhaal van de familie Chandler, een arbeidersgezin uit Massachusetts.
Nadat zijn oudere broer Joe (Kyle Chandler) plotseling komt te overlijden, krijgt Lee (Casey Affleck) de voogdij over zijn neef (Lucas Hedges). Lee wordt herinnerd aan een tragisch verleden met zijn vrouw Randi (Michelle Williams) in de omgeving waarin hij is opgegroeid.