潭山镇位于宜丰县境北部，地处东经114042′—114049′、北纬28032′—28040′之间。东、南与天宝乡相连，西同双峰、黄岗两乡毗邻，北和铜鼓、修水、奉新三县接壤。东西宽约20公里，南北长约21公里，全镇镇域面积205平方公里，总人口14785人。镇人民政府所在地潭山集镇，距县城23公里。
潭山街之南有一座小山，早先伏溪水从山下经过，汇成一个深潭，山在潭岸上，故名潭山。宋朝以前，这里本是一片芦茅洲，并无村落，人们散居在东北茜槽一带山庄里。南宋时，岳飞率部抗金，转战此间，茜槽一带村庄被金兵破坏。后来有一族刘姓居民，迁移到这里，从此潭山就有了一个小小的市镇，叫奥米市（在今陈家祠堂前面）。清末民初之时，市镇渐次移至今址，市镇名称也因而转名潭山。从宋建新昌县始，潭山历史上都隶属天宝乡，1930年2月，全县划为7个区，潭山各地属第二区。1932年3月，实行保甲制度，潭山分设第三、第四保联。1939年2月，废保联设乡镇，潭山境内设立龙岗乡和潭山镇，隶属第四区。1941年1月潭山镇改名潭山乡，管辖范围照原。1946年7月，潭山、龙岗2乡合并，称为庆凯乡，下设10保100甲，其辖管范围与今镇辖范围相同。1949年8月，建立潭山区人民政府，辖管今之潭山镇和天宝乡。1956年撤区并乡，境内建立潭山乡和石桥乡。中间几经变动，至1983年12月复称潭山乡，1985年6月改名潭山镇。2005年底，全镇下辖潭山、伏溪、坪上、上山田、茜槽、店上、龙岗、石桥、汉塘、找桥、逍遥、院前、中兴13个行政村，羊源林场、碓下综合开发公司2个村级单位，1个居委会，1个潭农公司，村民小组132个，自然村283个。
潭山镇森林茂密，水川纵横，资源丰富，气候温和，土质肥沃，是个“七山半水分半田，一分道路和庄园”的江南山区镇。2005年底，全镇共有耕地面积18961亩，其中水田18389亩，旱地572亩，主要经济作物为水稻、药材、油菜等。境内森林资源丰富，杉竹并茂，杂树间生，全镇有森林面积17.6万亩，木材蓄积量达38.6万立方米，毛竹蓄积量1800万根。境内矿产资源丰富。主要矿产品有钾长石、石英石、绿桂、白云母、瓷土、釉土，同时还有泥炭矿、花岗岩石矿、粘土矿、温泉矿等矿种。.
2021年12月，潭山镇被确定为第二批江西省“五型”政府建设示范乡（镇、街道）。
2014年7月，潭山镇被国家住房城乡建设部等七部委确定为全国重点镇。
2013年，潭山镇上榜江西省首批百强中心镇。
2011年4月，环境保护部授予潭山镇2011年度国家级生态乡镇称号。
2005年10月，潭山镇上榜第一届全国文明村镇名单。
谦公祠
谦公祠座落于潭山镇潭山村庙下自然村，是庙下刘氏子孙纪念明朝洪武年间，徙居庙下肇基祖刘彦谦而建，经清朝乾隆，嘉庆年间两次修缮，祠堂成庄重宏大，气势宏伟之建筑。谦公祠占地1650多平方米，坐东向
环清园
环清园座落于潭山镇潭山村，建于清朝乾隆三十三年（1768年），距今有两百四十多年历史，是庙下刘氏先祖为教书育人而建。解放后，政府曾在此设立潭山中心小学，办学多年后迁走。环清园占地约八亩，园内
潭山古建筑群
潭山古建筑群(含潭山刘氏谦公祠、儒溪陈氏宗祠、孝子祠、善翁祠、店上刘氏宗祠、四芳翁第)宜丰潭山历史上的街市曾在茜槽，俗有“先有刘十万，后有潭山街”之说，岳飞抗金时期刘十万被一把火烧光，后来就
宜丰县苏维埃政府成立大会旧址
在江西省潭山镇店上村胡家垅，原为张氏宗祠，1931年3月底成立的宜丰苏维埃政府设此。该祠四周为砖砌封焰高墙，面阔5间，进深2栋。前为门厅，中为天井，后面是厅堂和寝室，旁有配屋与水井。今尚完好
西平院水口桥
西平院水口桥位于潭山镇南溪村西南面入山水口。此地原有“西平禅院”，今废。为单孔石桥，横跨西溪。元大德四年(1300)建。桥长8.5米，宽2.74米，高3.4米，跨4.46米，拱矢比为2:1。
