故事发生在20世纪20至30年代的上海。陈绍常（石挥）创办小学多年，并亲自担任校长。他早年丧妻，独自将两个儿子建中、建平和女儿建英抚养成人。与他同住的大姐多次劝他续弦，陈绍常虽然并非没有这个念头，但因亲眼见到挚友的女儿刘敏华遭受后母虐待，最终打消了再婚的想法。
不久，陈绍常的挚友去世，刘敏华只得随继母迁居外地，两人自此分别，整整十年未曾谋面。再次相逢时，刘敏华（朱嘉琛）已经成长为一名独立坚强、温婉贤淑的新女性。由于不愿继续受继母摆布，她请陈绍常帮忙介绍工作，后来成为他的同事。
成年后的建中（韩非）如愿进入一家银行任职，并因得到经理赏识而结识了经理的女儿冯丽君（李浣青）。不久，他成了经理家的乘龙快婿，社会地位也随之提高。建中夫妇认为陈绍常只是个地位卑微的小学校长，有损他们的颜面，便劝他退休回家享清福。陈绍常尽管百般不情愿，最终还是顺从了他们的安排，由刘敏华接替了他的工作。
然而，赋闲在家的生活并没有想象中轻松。日复一日的漫长时光，仿佛他那块已经坏掉的老怀表，始终停滞不前。当他向家人倾诉自己的苦闷时，家人不是责怪他身在福中不知福，就是各自忙碌、无暇理会。陈绍常的失落感与日俱增，同建中夫妇之间的矛盾也越来越深。
又一年清明节，陈绍常前往祭拜亡妻，恰好遇见来祭奠母亲的刘敏华。他感叹人到了晚年只能等待死亡，刘敏华却认为，正值中年的他仍处在人生和事业的黄金时期，并劝他重新回学校教书。陈绍常听从了她的建议，瞒着建中再次走进学校任教。事情败露后，建中对他的态度更加冷淡，但陈绍常已经下定决心，不再放弃自己的生活。
后来，他意外发现自己与刘敏华早已彼此倾心，于是决定同她结婚。这一决定让建中夫妇更加恼怒。
