Lee Chandler (Casey Affleck) jest dozorcą, który stroni od ludzi. Mężczyzna wraca do rodzinnego miasta, gdy otrzymuje wiadomość o śmierci starszego brata Joe (Kyle Chandler). Ku swojemu zdziwieniu, Lee zostaje opiekunem prawnym bratanka Patricka (Lucas Hedges). Mężczyzna musi poradzić sobie z wychowaniem nastolatka, spotkaniem z byłą żoną Randi (Michelle Williams) i lokalną społecznością, która zna powody jego wyjazdu z Manchester-by-the-Sea sprzed lat.