吴家花园的始建年代不详。1990年代起，有些文献认为承泽园、吴家花园的前身是建于清朝雍正三年（1725年）的自得园，由雍正帝赐给其十七弟果亲王允礼。经过考证，此说法有误。自得园紧靠圆明园西南侧，即今中共中央党校南院处，而非圆明园正南方远处的承泽园、吴家花园一带。
吴家花园原来是承泽园西部的一部分。中华民国袁世凯当政时期，此部分出售给吴鼎昌（字达诠），故称“吴家花园”。当时，该花园大门的门楣上挂有“吴达诠别墅”的木牌。但据说吴鼎昌未在此居住过。
作家冰心在写于1936年的《一日的春光》一文中称，“四月三十日的下午，有位朋友约我到挂甲屯吴家花园看海棠”，接着写了此次吴家花园看海棠的经过。
1959年7月2日到8月1日，中共中央在江西省庐山举行中共中央政治局扩大会议。彭德怀因给毛泽东写的一封信，而在8月2日到8月16日召开的中共八届八中全会上遭到批判。回北京后，军队系统继续大范围批判彭德怀，彭德怀已无法在中南海居住，遂提出搬出中南海。这样，从1959年9月底至1965年11月28日离开北京赴四川省成都市担任大三线建设第三副总指挥，彭德怀在吴家花园居住了6年。在吴家花园期间，彭德怀住在一处坐北朝南的小院落内。
2014年，吴家花园被海淀区人民政府公布为海淀区重点文物保护单位。
