Der er gået et halvt år, siden Matthew Crawley omkom på tragisk vis. Mary har født hans barn, men hun er stadig i dyb sorg, og hendes far og farmor er ikke enige om, hvordan familien bedst kan hjælpe hende videre. Blandt tjenestefolkene er der udsigt til knuste hjerter, da herskabstjeneren Jimmy endelig viser interesse for køkkenpigen Ivy. Samtidig rager den beregnende Thomas uklar med husets nye barnepige.