他的高祖辈中过进士，只是到他祖父的时候家道中落，到了他父亲就更不用说了。
吴生的父亲是个病废之人，在社会上并不受待见，家里家外全靠老婆养活。有时候病一发作，就打老婆出气。
他祖父虽然当家，但早已老迈，而家里有十多张嘴等着吃饭，这一副重担显然只能落在吴母的肩上了。
吴母除了干家务外，还靠给人家做针线活贴补家用。夙兴夜寐，每天从晚上做到鸡叫方才停止，这样没日没夜的干也只能得个三十几文钱。
当时的一两银子合四百文钱，而这三十几文钱只够买五升米。
全家十口人每天早、午饭各用米两升，晚饭一升半，也就是说每天需要用米五升半，而家中缺粮时一天只能吃三四升米。
因为家中有个老人，所以吴母在下锅时，总要额外留出一把米，让公公能够吃稠的。而她自己呢，经常是半饥半饱，再加上长期熬夜，因此显得面容憔悴。
但即便是这样省吃俭用、勤俭持家，吴家的日子还是过得饥一顿饱一顿，并且一直入不敷出，仍在继续败落。
吴生也是个懂事的孩子，在他十九岁中秀才后就开始外出谋生，贴补家用。
恰好这一年有一个朋友请他伴读，答应提供一顿午餐，早、晚饭还得在家里吃。
到了二十岁时，朋友请他辅导孩子读书，不过书由朋友自教，吴生只负责给那个学童看文章，闲暇时也可以找别的活干。这次的报酬是：每月给米三斗，三钱蔬菜银子。
虽然工资微薄，但吴生认为还是划算。加上东家留客相陪、朋友请客以及学友聚会，一个月至少要有十次。如此算下来自己还能剩个三斗米钱，全家也能够吃五六天。
但现实总是残酷的，这位朋友突然变卦，答应只供给他伙食，而不再给钱米。
吴生磨破了嘴皮子，与这位朋友讨价还价，但这位朋友还是不松口。所谓“人在屋檐下，不得不低头”，廉价劳动力有的是，不差自己一个。吴生觉得虽然不能兼济家人，但至少可以独善其身，也就答应了。
不过他毕竟是老大，责任心重。吴生觉得虽然自己吃饱了，但家人还饿着肚子，于是在闲暇之余帮别人抄写，这样一月也可得个七八分银子。这些钱加上母亲的女红钱，也就勉强够日常花销了。
可吃饱是吃饱了，一旦遇到个头疼脑热、急病什么的，根本没钱医治，只能听天由命了。
吴生尽管在东家那里进食，但到底心里还是挂念着家中父母兄弟。每次想到自己有鱼有肉吃，可家中年迈的祖父却只能吃糠咽菜，便觉得愧疚，食不甘味，后来索性也就不吃了。
即便是在这样极端艰苦地条件下度日，吴生在教书、抄书之余，依然刻苦学习，以期能够在科举考试中大显身手，彻底改变自己的命运。
在他二十三岁时，父亲去世，按规定守丧期间是不能参加科考的。
二十七岁时，他成为了廪生，但当年母亲就去世了，紧接着祖父也亡故了。这样接连两次需要服丧，就更不能进考场了。
这些天命之变，让他根本无法依靠科举改变命运，根本没有反抗的余地。