王世襄自稱一生「玩物喪志，業荒於嬉」，但在中共建政後的政治運動中仍難逃噩運。他曾經回憶說：「我的前大半生是很坎坷的。‘三反’運動中被拘留過，1957年又被劃為‘右派’，到‘大革命’（‘文革’）中已是一個‘老運動員’。」
1969年，已經55歲的王世襄與國家文物局系統的一部分幹部和職工一道，被下放到湖北咸寧的"五七"干校參加"勞動改造"。他說：「在這裡，牧牛、放鴨、養豬、種菜、插秧......甚麼活都幹過，甚麼苦也吃過。」
三年多的干校生活儘管勞動艱苦、生活清貧，但他好玩的天性在這裡找到了應有的樂趣。他很快成了養牲口的行家裡手。一有閑暇，他跟當地老鄉學採集野生菇，漫山遍野採靈芝，挖蘭花，還常常跑到干校所在地向陽湖邊向漁翁求教打魚。直到1973年夏天，王世襄才回到北京。
1966年，文革的風暴席捲之初，王世襄耳聞目睹紅衛兵的破「四舊」手段，預感家裡多年精心收藏的明式傢俱、佛像、銅器、鴿哨、古籍膳本和自己的手稿，都會遭到滅頂之災。因此他被迫「自我革命」，跑到國家文物局，主動請求抄家，這才讓自己的珍品躲過了被毀滅的一劫。
王世襄認為一生中做過的最有意義的事情有兩件，一件是，日本投降後為人民收回幾千件國寶，這些文物現在都藏在故宮博物院。第二件則是編寫文物研究著作《髹飾錄解說》。
王世襄出版的專著還有《明式傢俱珍賞》、《中國古代漆器》、《中國古代音樂書目》、《蟋蟀譜集成》、《錦灰堆》等20多部，他的研究多受到中外學者的高度重視。
博學的王世襄在半生坎坷中並沒有被壓倒，反而時常苦中作樂，即興賦詩，以明心志。他在勞動之餘有感而發----
《畦邊偶成》："風雨摧園蔬，根出莖半死。昂首猶作花，誓結豐碩子。"
王世襄先生的遺體已經在29號上午火化，12月4號在北京舉行追思會。依王世襄生前願望及家屬意願，不舉行遺體告別儀式，家中不設靈堂。
