明初，在当时的首都应天府置兵马指挥司，设都指挥、副都指挥、知事，
负责京城巡捕盗贼，疏理街道沟渠及囚犯、火禁之事
。后改设指挥使、副指挥使，各城门设兵马。洪武元年，命在京兵马指挥司并管市司，每三日一次校勘街市斛斗、秤尺，稽考牙侩姓名，时其物价。五年，又设兵马指挥司分司于中都风阳府。十年，定京城及中都兵马指挥司秩俱正六品。先是秩正四品。改为指挥、副指挥，职专京城巡捕等事，革知事。二十三年，定设五城兵马指挥司，惟中城止称中兵马指挥司，俱增设吏目，凡京城内外，各画境而分领之，境内有游民、奸民则逮治。若车驾亲郊，则率夫里供事。
建文中，改为兵马司，改指挥、副指挥为兵马、副兵马。永乐元年复旧。二年，设北京兵马指挥司。嘉靖四十一年，诏巡视五城御史，每年终，将各城兵马指挥会本举劾。隆庆间，御史赵可怀言：“五城兵马司官，宜取科贡正途，职检验死伤，理刑名盗贼，如两京知县。不职者，巡城御史纠劾之。”依明代制度，凡亲、郡王妃父无官者，亲王授兵马指挥，郡王授副指挥，不管事。
明代的兵马司隶属于兵部。清代的兵马司隶属于都察院。据说，兵马司初设时，街区凡有水火盗贼及人家细故之或须闻之官者，皆可一呼即应，救火、巡夜，清廉为政，不取分文。但是到后来日久弊生，始而捕盗，继而讳盗，终且取资于盗，同盗合污，不得人心。
光绪十六年（1890）就有大臣向皇帝禀奏，“京城地面捕务不力，请饬整顿”。光绪二十七年（1901）撤销五城兵马司，成立工巡局。光绪三十一年（1905）九月撤销工巡局，成立巡警部。北京设置警察总厅和内外城警察厅。此为北京警察设置之始。至宣统末年，北京设置派出所，当时，内城有二百零四个派出所，外城有一百三十六个派出所。
中、东、西、南、北五城兵马指挥司：
指挥各一人，正六品；
副指挥各四人，正七品；
吏目各一人。
