祖徐震，父徐潮，徐缙行八，自少姿干瑰玮，警敏异常，生有异禀，天才出众。幼即可日记数千言，出语惊人，闻名于乡里。
东山大学士王鏊，回乡省亲，听闻徐缙，试以联偈，果才识出众。王鏊有长女，灵慧通经，遂以女许之。王鳌携徐缙至京师，悉心培植并委教于大学士靳贵，得其真传。
才华初显弘治十一年（1498年），徐缙以留守戍籍，举顺天府乡试。旋丁内忧。
弘治十八年三月癸卯（1505年4月21日），皇上御奉天殿，赐顾晣臣等进士及第出身有差。徐缙为二甲第16名，赐进士出身。
弘治十八年三月辛亥（1505年4月29日），皇上改进士崔铣、严嵩、湛若水、倪宗正、陆深、翟銮、邵天和、
徐缙
、张九叙、蔡潮、林文迪、安邦、叚炅、蔡天祐、胡铎、高淓、马卿、刘寓生、安磐、穆孔晖、李艾、王韦、赵中道、黄如金、闵楷、傅元、孙绍先、易舒诰、方献科、张邦奇，为翰林院庶吉士读书。命太常寺卿兼翰林院学士张元桢、翰林院学士刘机教之。正德二年冬十月戊寅（1507年11月12日），授庶吉士崔铣、严嵩、湛若水、陆深、翟銮、徐缙为翰林院编修，叚炅、穆孔晖、易舒诰、张邦奇为检讨。邵天和等为给事中，邵天和吏科，张九叙、马卿户科，蔡潮、高淓兵科，林文迪、胡铎刑科。刘寓生等为监察御史，刘寓生狭西道，李艾浙江道，黄如金四川道，傅元河南道。王韦等为主事，王韦南京吏部，赵中道刑部。
纂修实录正德四年夏四月壬午（1509年5月9日），以纂修孝宗实录成，赏稽考参对编修崔铣、徐缙等各银十两、纻丝一表里。
正德九年五月丁亥（1514年6月17日），翰林院编修徐缙充副使，参加持节册封。
正德十一年秋七月甲午（1516年8月12日），升翰林院编修徐缙为侍读，以九年秩满也。
正德十二年八月戊申（1517年8月21日），掌詹事府事礼部尚书兼翰林院学士李逊学，翰林院侍读徐缙，修撰杨慎等各言。在昔人君轻举妄动，非事而游则必有意外之悔。今皇天所付之中国在陛下，祖宗所传之位器在陛下，两宫之孝养在陛下，臣民之覆庇在陛下，奈之何其不重且慎也。夫以匹夫之微，适百里之外，尚且囊衣裘以御寒暑，佩弓刀以备盗贼。陛下暴衣露盖，曾不顾惜，此臣等之所未解也。陛下初谋此行，畿内连月大雨，及车驾至昌平，京城尽日大风杨尘，此非偶然，盖天心仁爱陛下，欲留止其行也。人言纵不足听，天意独不可畏乎。周穆王穷海远游，致有祁招之箴。汉武帝深夜微行，致有逆旅之辱。前鉴不远，惟圣明深念之。不报。
经筵讲义正德十六年七月壬戌（1521年8月14日），升侍读徐缙等皆兼经筵官。
正德十六年八月壬午（1521年9月3日），左春坊左谕德顾鼎臣、翰林院侍读徐缙，先为言官论劾，相继乞休，俱不许。
嘉靖元年九月甲辰（1522年9月20日），翰林院侍读徐缙，守制回籍，援讲读例，乞给驿以归，许之。
嘉靖四年五月辛未（1525年6月3日），翰林院侍读徐缙、编脩费采，服阕各复除原职。
嘉靖四年六月丙午（1525年7月8日），以武宗实录成，赐纂修官侍讲徐缙等，每人白金二十两文绮二表里罗衣一袭。
嘉靖四年六月辛亥（1525年7月13日），升纂修官侍读翟銮、翰林院学士侍讲穆孔晖、左春坊左庶子兼翰林院侍读学士侍读徐缙、侍读学士修撰唐皋、侍讲学士侍讲张壁、左春坊左谕德侍读许成名、左春坊右谕德侍讲刘朴、尹襄、张潮，俱司经局洗马。
嘉靖六年六月辛酉（1527年7月13日），吏部缺右侍郎，廷推以侍读学士徐缙、左庶子穆孔晖。名上，皇上令再推二员，于是举詹事府詹事董玘、南京国子监祭酒湛若水上。用董玘，仍令日讲如故。
平步青云嘉靖六年六月乙丑（1527年7月17日），升翰林院侍读学士徐缙为詹事府少詹事掌院事。
嘉靖六年九月丁亥（1527年10月7日），升少詹事兼翰林院侍讲学士霍韬为詹事，兼翰林学士经筵纂修如故。韬上疏辞，以新命由内阁推用，而资望出徐缙之下，且言自杨荣、杨士奇、杨溥及李东阳、杨廷和，颛权植党笼络翰林为属官，中书为门吏，故翰林迁擢不关吏部，而中书至有夤缘进秩，六卿及支一品俸者，臣尝建议为翰林官迁擢去留尽属吏部，庶不阴倚内阁为腹心，内阁大臣不阴结翰林为朋比，且欲令京官补外，以均劳逸，议未即行，躬自冒之，而又一但躐居学士徐缙之上，胡颜之厚可以居此。疏入，上以其有功典礼谕，令就职，不允辞。韬复上疏曰，臣昨奏内外官员迁转资格吏部未见会议，奏翰林中书积弊内阁未见酌处，奏严禁赃吏事例都察院未见申明，奏赋税出入会计大数户部未见奏行，若循默取官则翰林迁擢之弊又自臣始，如前言何如天下后世诟责何？上复优，诏不允。
嘉靖六年十月癸丑（1527年11月2日），升少詹事徐缙为礼部右侍郎，经筵日讲仍旧。
嘉靖七年三月己亥（1528年4月6日），改礼部右侍郎徐缙为吏部右侍郎，经筵日讲如故。
嘉靖七年十月己亥（1528年10月13日），吏部左侍郎董玘、右侍郎徐缙、礼部左侍郎李时、翰林院学士顾鼎臣、太常寺少卿兼翰林院侍读谢丕、翰林院侍读学士张璧，奏乞内府书籍。上赐玘等六员各四书书传大全一部，加赐时鼎臣丕璧各文献通考一部。
嘉靖七年闰十月壬午（1528年11月25日），吏部右侍郎徐缙三品未满考，援温仁和董玘例，乞诰命，上以其讲读效劳特准与之。
嘉靖九年九月庚子（1530年10月4日），荫吏部右侍郎徐缙子
徐玄度
为国子生。嘉靖九年十二月癸亥（1530年12月26日），升吏部右侍郎徐缙为本部左侍郎，仍经筵日讲。
风云骤变嘉靖十年闰六月庚寅（1531年7月21日），都察院历事监生詹摐奏：“吏部侍郎徐缙，狥私不忠。以纳贿之故骤升知府喻茂坚，以门生之故累迁知县萧一中，以亲戚之故曲庇武库司郎中伍余福。“上曰：”诏许监生纠察所历衙门，奸毙盖以习闻，真知不容欺罔，庶不负祖宗设立历事之意。摐所奏，都察院其从公勘覆以闻，傥有虗妄参奏治之。“徐缙寻具疏自明，并下都察院看详。詹摐就对一讯语塞，都御史汪鋐等具上其欺狂状，已有旨拟罪矣。
摐复谬陈，初上疏时通政陈经，尝泄于徐缙，缙乃使伍余福，托兵部员外吴道南，以贿謟。已道南者摐乡人，与余福同官。及微服入庙市，私役五城弓兵，诸不法事，鋐力斥其妄。缙亦疏辨无之，并下都察院。会有人窃投牍于大学士张孚敬之门，孚敬发之，乃缙行贿已者即封，奏之。缙诉已实不知，意助摐者中伤臣也。上怒以为欺罔，鋐亦言缙虽愚昧不应至此，请密敕厂卫廉访事迹，仍会官廷鞫，庶真伪可辨。
上曰：“卿宪臣之长，当秉公执法，摐固亡赖，缙亦非清介士，摐所指事虽不尽实，亦岂尽无，卿不奏法追勘，苐听属官，扶同回护，今又持两端繁词渎奏，非大臣事君之道，况历事诸生，数有诏使言事，今未可首罪之。摐先奏及缙办通贿事，一一从公审勘以闻”。
给事中赵廷瑞、管怀理等，寻劾鋐反复不忠，既收摐心，复阴为缙地，宜罢黜以戒不法。鋐亦自引避，御史徐汝圭则言，摐奸恶素不齿于乡邦，往年营求报讣差，假官伪印，为所在官司所觉，访捕未获。于是法司及锦衣卫会问证成缙贿孚敬事，而摐挟私诬罔，其他私罪甚多。余福所犯亦有状，乃具狱以罪以请。上谓缙：“法当重治，念曰讲旧劳，黜为民。”以余福干，请降三级调外任，道南为余福所使，亦调外任，摐罪始勿论俟，他事勘报以闻。
至此，吏部侍郎徐缙，因徇私舞弊，经举发，受都察院勘问。徐缙为求解脱，把黄金放在酒罐里，外书“黄精白蜡敬寿”六字。张璁猜得用意，当众人面敲开酒罐，立即暴露其行贿行为，由法司审问，依照犯罪事实，将其削职为民。
终老西山明嘉靖二十七年(1548)卒，享年67岁，诏谥礼部尚书，葬于在灵岩东南麓擂鼓山。有坊、石马、石狮、石羝，翁仲极伟大，尚完好。墓右碣题“明少宰谥文敏子容府君墓”。
嘉靖二十九年（1550年），子徐元成、徐立成伏阙上书，得赐葬祭，诏赠礼部尚书，谥文敏。徐缙有两处专祠，一在苏州城内开元寺西，嘉靖四十二年（1563年）巡按御史陈瑞建造，名“徐文敏公祠”，一在东河故宅之南，现址改为金庭中心小学。
徐缙编辑并印行《 唐五十家诗集》，一百五十九卷。采用铜活字印刷，工艺明朝正德年间实属先进。据今人陈尚君考证，此书为铜活字本，在印刷史上也有一定的地位。见《明铜活字本〈唐五十家诗集〉印行者考》，收入其论著《唐代文学丛考》。
著有《徐文敏公文集》五卷，《经筵讲义》六卷。
徐缙作为诗人，留下了“平生游览遍天下，游而不厌惟虎丘”的美好憧憬。
