年7月2日，中央决定在庐山召开政治局扩大会议，时任国防部长的彭德怀接到通知后，并不想去，因为他刚才国外访问回来，有很多事要做，副部长黄克诚提醒他：“这次会议是毛主席主持的政治局扩大会议，你是政治局委员，你怎么能不去呢！”
6月29日，彭德怀与贺龙元帅从北京出发，乘火车到达武汉，然后换乘轮船，于7月1日早晨到庐山，7月2日，毛主席主持的政治局扩大会议正式开幕，会议开始时毛主席提出读书、形势、任务、综合平衡、群众路线等19个问题要大家讨论。
会议刚开始，大家的情绪还是比较高的，彭德怀还在开会的同时，利用闲暇时间游览了含鄱口、仙人洞等景点，直到7月14日，所有的一切都变了。
彭德怀深思熟虑后，写了一封信“万言书”，他让自己的随行参谋王承光，将信交给了毛主席的秘书高智，7月15日，彭德怀还问高智，毛主席有没有看信，让人彭德怀惊讶的是，16日，毛主席就下令把这封信印发给众人，上面还写了一个名字“彭德怀同志的意见书”
7月23日，毛主席亲自开会，带头批评彭德怀的意见书，此后，彭德怀受到了错误的批判，他被撤销了军队内的职务，只保留中央委员、中央政治局委员的职务。
年国庆前夕，彭德怀搬出了中南海，移居到北京西北郊的挂甲屯吴家花园居住。
从年搬进吴家花园，直到年担任三线总指挥离开吴家花园，那么，彭德怀是怎么度过这6年的？
10月21日，毛主席找到彭德怀谈话，说他可以学点马克思主义的哲学、政治经济学。
由此，彭德怀来到了中央党校，当时彭真，中央办公厅主任杨尚昆等人，还专门将党校的的常委伍辉文、刘子正等人请了过去，彭真说：“彭总到党校，请你们带他学习、读书，主要是学些哲学、政治经济学。党史他都经历了，比你们知道的更多，这方面你们还要向他学习。有些问题清理清理，你们与彭总商量研究，订一个学习计划。”
彭真接着说：“不要一个人犯了错误就谁也不敢接近了，都是同志，开诚布公地对待。你们帮助彭总读书，有什么问题可以开诚布公地谈。”
由于，中央党校专门开了个会议，讨论如何帮助彭德怀读书学习。
在学习的同时，彭德怀还在吴家花园种了一些庄稼，譬如南瓜，茄子，辣椒等等，不仅如此，他还和警卫人员一同开辟了一个池塘，用来养鱼养花。
这时的彭德怀，已经没有权利参加国家的核心会议，但是他对国家的未来非常关心，他曾问前来帮助他学习的党校常委刘子正：“你相信一亩地能打万把斤粮食吗？”
刘子正说：“我过去在农村没有见过，现在也没有亲眼见过，去年杨老（杨献珍）在党校种的麦子是我从来没有见过的大丰收，一亩地也就打了七百来斤。这是实事求是、可以信赖的产量。”
对于刘子正的说法，彭德怀选择了证实，他在吴家花园开荒了两分地，然后种上麦子，为了使得这庄稼好活，彭德怀每次都要很细心的给它们施肥，浇水。
年，庄稼熟了，按照一亩折算，也就只能收多斤，刘子正在党校，也是种了一亩地，等到收获时，也才不到斤，他如实的对彭德怀说：“看来，一亩地产多斤，比较靠谱。”
此后，彭德怀在吴家花园居住期间，一直安心学习政治经济学，除此之外，彭德怀虽然不在其位，但是他对身边老百姓的生活，非常关心。
附近的老百姓有什么需求，他都会尽量的满足，有人生病了，彭德怀就让人开自己的汽车去接医生，有老人去世了，彭德怀有时间的话，还会去吊唁，许多小朋友，年轻人对彭德怀都很仰慕，大家都亲切的称呼他“彭爷爷”
年，彭德怀给毛主席写信，要求到农村去做调查研究，请求中央允许他先去湖南故乡搞三个月，了解农村情况，明年春天再去山西太行。
毛主席批示同意，年10月30日，彭德怀离开了北京，前往湖南家乡湘潭县乌石大队为民生产队（彭家围子），在湖南农村，彭德怀待了近两个月的时间，他说：“农村的情况有些好转，但农民的生活还是很苦，吃的不够，有些东西也不好买”
这些情况，彭德怀后来都向中央汇报。
年，彭真找到了彭德怀，他代表党中央和彭德怀谈话，任命他为西南三线建设委员会副总指挥，彭德怀说：“我是共产党员，应该服从党的分配，但我犯了错误，说话没有人听，对工业也是外行，还是希望去农村作调查。”
几天后，毛主席找彭德怀谈话，他说：“彭德怀去西南，这是党的政策，如有人不同意时，要他同我来谈。我过去反对彭德怀是积极的，现在要支持他也是真心诚意的。”
对于毛主席的这番话，彭德怀内心十分感动，当时毛主席问他还有没有什么要说的，大家都期盼着彭德怀能够说出什么话来，但是彭德怀什么也没说。
11月28日，彭德怀结束了自己在吴家花园居住的6年，他坐火车前往成都。
