长山堡一带，是清末放荒招垦较早的地方。1906年（清光绪三十二年）甘井子荒务行局成立后，始驻甘井子屯，翌年迁至二站。中华民国成立后，1926年甘南设治局成立，划归设治局管辖，后隶第三区。东北沦陷后，1933年12月隶属甘南县第三保，1938年改设韩家沟村，1943年改称长山堡村。1945年“九三”抗日战争胜利后，1946年3月设置长山堡区，区政府驻长山堡，后改为第六区。1955年底和1956年初，为接收安置山东移民，于区内新建13个移民新村（称“长”字片，即长一村至长十三村）。1956年3月，撤区划乡，将原六区划分为长山堡、兴安堡、景利、八里岗子4个乡。1958年4月，将长山堡乡划出部分区域与景利乡合并，设立四方山乡；将兴安堡、八里岗子乡并入长山堡乡。1958年9月，将长山堡、四方山两个乡合并为长山人民公社。1984年4月，政社分开，改为长山乡。
行政区划全乡截止2016年共辖12个村民委员会
统计用区划代码城乡分类代码名称230225201200210新生村民委员会230225201201220长红村民委员会230225201202220建华村民委员会230225201203220长新村民委员会230225201204220双城村民委员会地理位置及经济
长山乡境内地势平坦，建有四方山水库。全乡总面积450平方公里，其中耕地面积27．1万亩，草原及荒地22．6万亩。主要农作物有玉米、大豆、小麦、甜菜等。乡办工业有铁木加工、农具厂等，1992年乡企总产值900万元。全乡共辖永青、向阳、四方山、前十一、长红、长征、迎春、丰收、卫东、建华、新生、跃进、永恒、人民、前程、双城、长春、长新、长青、迎新、长山等21个村。1992年末全乡总人口2．7万人，其中满、蒙古等少数民族人口约占0．6%。乡政府驻地长山堡。
“甘井子古井”位于今乡内永青屯中心路南，井口为方形，井身结构为木制井橔。此即传奇般的“甘井子”以及后来甘南地名的由来。今已被蒿蓬淤土所湮。
