Bien que mal reçu dans sa famille à Nuenen, petit village au Sud d’Eindhoven, Vincent sera finalement accepté et y passera deux années.
Après une période de tensions familiales, Vincent saura se rendre utile en s’occupant de sa mère qui vient de se casser le col du fémur.
Il se sent bien à Nuenen d’autant qu’il fréquente Margot, une voisine qui visite souvent sa mère.

Margot, plus âgée que lui, en est très amoureuse. Ils font ensemble de grandes promenades et envisagent de se marier. Mais la famille de Margot ne veut pas entendre parler de cette union et s’y oppose violemment.
Margot, désespérée, accablée par ses sœurs, tente de se suicider.

Vincent se retrouve une fois de plus en guerre avec sa famille et son entourage. Il est mal vu à cause de son allure et de ses manières et devra quitter la maison familiale pour aller vivre dans l’atelier qu’il a loué au sacristain catholique Schaffrat.

Quelque temps après, il est accusé par Schaffrat d’avoir engrossé une jeune paysanne qui lui a servi de modèle (pour les « Mangeurs de pommes de terre ») et interdit à ses ouailles de poser pour lui.

Vincent n’est pas coupable et s’en défend violemment, mais sa situation à Nuenen est devenue intenable. Il doit encore partir.