为审刑院详议官，知宿州、登州。遵累典刑狱，强敏明恕。及为登州，执政许以判大理，遵欲立奇以自鬻。会妇人阿云狱起。初，云许嫁未行，嫌婿陋，伺其寝田舍，怀刀斫之，十余创，不能杀，断其一指。吏求盗弗得，疑云所为，执而诘之，欲加讯掠，乃吐实。遵按云纳采之日，母服未除，应以凡人论，谳于朝。有司当为谋杀已伤，遵驳言：“云被问即承，应为按问。审刑、大理当绞刑，非是。”事下刑部，以遵为妄，诏以赎论。未几，果判大理。耻用议法坐劾，复言：“刑部定议非直，云合免所因之罪。今弃敕不用，但引断例，一切按而杀之，塞其自守之路，殆非罪疑惟轻之义。”诏司马光、王安石议。光以为不可，安石主遵，御史中丞滕甫、侍御史钱顗皆言遵所争戾法意，自是廷论纷然。安石既执政，悉罪异己者，遂从遵议。虽累问不承者，亦得为按问。或两人同为盗劫，吏先问左，则按问在左；先问右，则按问在右。狱之生死，在问之先后，而非盗之情，天下益厌其说。
熙宁间，出知寿州，再判大理寺，请知润州，又请提举崇福宫。寻致仕，累官中散大夫。卒，年八十一。
年轻时中过明法科，后为了谋求入京，制造了有关阿云之狱的案件讨论。
评价许遵是一个非常出色的法律专家，但他为了自己的升迁，对恶性杀人犯阿云通过法律理论蓄意曲解的方式予以免死，并受到王安石的赞同，虽然结果是产生了谋杀罪可以通过自首免死，对法律制度进步产生了一定贡献，但对后来郑獬碰到另外一起恶性杀人案（一对夫妻谋杀一个少女后为免死而自首）给司法解释不好的头，也间接引起郑獬的被贬。总体来说，许遵是一个“官迷”，他是为了私利，对北宋国家的法制的进步作出了无心的贡献。
