李矩年幼的时候，和一群孩子在一起玩耍，就是孩子们的首领，计划指派，就和大人们办事一样。李矩长大后担任县中差吏，护送离职的县令到长安，得到征西将军、梁王司马肜的赏识，任命他为牙门将。
元康年间（291年―299年），李矩在讨伐氐人齐万年叛乱的战役中立下大功，被封为东明亭侯。回到平阳郡后，李矩担任督护之职。平阳太守宋胄想让自己的亲戚吴畿来担任督护，李矩为了成全宋胄，便假称有病离开。吴畿担心李矩还会再返回来，于是暗中派人刺杀李矩，刚好碰上有人救助李矩，李矩才得以保全性命。
永嘉二年（308），前赵皇帝刘渊进犯平阳，百姓四处奔走躲避，李矩平素受到乡亲们的爱戴，大家共同推举他为坞主，组成自卫的武装力量，东下屯兵荥阳，后移到新郑。
平贼有功李矩勇猛刚毅多谋略，有建功立业的大志，东海王司马越任命他为汝阴太守。永嘉初年（307年），司马越派李矩和汝南太守袁孚率领民众修筑千金堨，以便利水路漕运。
永嘉五年（311年）六月，前赵攻陷洛阳（今河南洛阳），司空荀藩逃奔阳城，卫将军华荟（《资治通鉴》作河南尹华荟）逃奔成皋。当时发生大饥荒，叛军首领侯都等常常抓人来充饥，荀藩、华荟的部曲士卒很多都被吃掉。李矩讨伐并消灭侯都等人，营救保护荀藩、华荟，并为他们营造屋宇，供给粮食。
同月，荀藩接受朝廷旨意，建立代表朝廷的行政机构，荀藩自己担任太尉，任命李矩为荥阳太守。当时河南尹魏浚到荀藩那里咨询商议军队事务，荀藩邀请李矩参与此次聚会，李矩连夜赶去，李矩的属下官员都说：“不可相信魏浚，不应当连夜去。”李矩说：“忠臣都有相同的想法，有什么值得怀疑呢？”于是前往，他们在一起畅谈高兴地离去。之后李矩收容招纳离散的民众，远近的人都来投奔他。
永嘉五年（311年）十月，前赵将领石勒亲自率领大军进攻李矩，李矩令老弱之人进入山中躲避，让所有的牛马都散放，预设埋伏等待前赵军的到来。前赵军士兵争先恐后地追取牛马，此时李矩的伏兵齐出，高声呐喊，声音震动山谷，于是前赵军大败，李矩军斩杀很多前赵军士兵，石勒只好退兵。荀藩表奏晋元帝司马睿，加封李矩为冠军将军，赐给轺车幢盖，进封爵位为阳武县侯，兼任河东、平阳太守。当时饥荒仍没解除，再加上瘟疫流行，李矩尽心为民解难，百姓多依赖他而存活。后来正值群盗从长安东下，所过之地大肆抢劫掠夺，李矩派部下打败他们，获得盗贼抢来的妇女一千多人。部下将领都认为这些妇女不是自己辖区的人，可以留下来，李矩说：“她们都是国家的臣民，怎么能分彼此！”于是把她们都送回去。
初败刘畅建兴二年（314年），刘琨所任命的河内太守郭默遭到前赵逼迫，郭默愿意归属李矩，李矩派自己的外甥郭诵前去迎接郭默，但郭默不敢前进。正好刘琨派遣参军张肇率领鲜卑人范胜等五百骑兵前往长安，因郭默遭到刘渊围困，道路不通，准备退还投奔邵续。路过李矩军营时，李矩对张肇讲述郭默之事，李矩说：“郭默是刘公委派的，但都是为国家之事，知道的我们都应去做。”匈奴屠各部过去害怕鲜卑兵，于是请张肇支援自己，张肇同意李矩的要求。屠各部看到张肇带领的鲜卑骑兵，不等接战就退走。郭诵暗中派小船渡过黄河，派勇士夜袭怀城，攻击赵军留守的营垒，大获全胜，郭默这才率领部属投归李矩。
建武元年（317年）二月，前赵皇帝刘聪派遣堂弟刘畅率领步兵、骑兵三万攻打荥阳，李矩屯兵韩王故旧壁垒，双方相距七里，刘畅派遣使者招降李矩。当时刘畅的军队突然到达，李矩来不及设备防御，于是派遣使者见刘畅，送上牛肉和酒，诈称愿降，并把精锐之卒隐藏起来，只让他看到一些老弱残兵。刘畅不再防备，大肆设宴犒劳将士，主要将领都喝醉了。李矩打算乘夜偷袭，但手下士卒前赵军众多，都心存畏惧，李矩便派郭诵到郑子产祠祈祷，让祠中巫师扬言说：“郑子产神灵告知，到时会派遣神兵相助。”将士们听后，无不奋勇争先。李矩让郭诵和督护杨璋挑选勇士一千人，突然袭击刘畅军营，缴获大批铠甲战马，斩杀数千名前赵军士兵，刘畅只身逃出，仅免于死。
先前，郭默听说李矩遭到刘畅攻打，便派遣其弟郭芝率兵救援。接着听说李矩已经打败刘畅，郭芝还是照常赶来相见，李矩送给郭芝五百匹战马，分兵三路，连夜追击前赵军，大获全胜而回。
再败刘聪当初，刘聪派其部将赵固镇守洛阳，长史周振与赵固不和，周振私下在刘聪面前诋毁赵固。李矩打败刘畅时，在营帐中缴获刘聪的书信，信中命令刘畅消灭李矩之后，回军经过洛阳，收捕赵固并杀掉，用周振取代赵固。李矩将此信送给赵固看，赵固随即斩杀周振父子，率领一千多名骑兵投降李矩，李矩仍然命令赵固继续镇守洛阳。
太兴元年（318年），刘聪派遣太子刘粲率领刘雅生等步兵、骑兵十万屯驻在孟津北岸，分派刘雅生攻打洛阳的赵固。赵固出奔阳城山，让其弟前去向李矩告急求救，李矩派郭默、郭诵救援赵固，屯兵在洛水、汭水一带。郭诵悄悄派遣部将耿稚、张皮等挑选精兵一千人，夜间渡过黄河偷袭前赵军军营，贝丘王翼光得到消息，传告刘粲，请求做好防备。刘粲说：“他们听说赵固兵败，自顾不暇，哪儿还敢到这儿来，不要因此惊动将士！”不久，耿稚等人率军扑来，分十路围攻，刘粲所部惊慌溃逃，死伤过半。刘粲奔逃保守阳乡。耿稚等占据其军营，缴获的兵器和军事物资不计其数。天亮后，刘粲看见耿稚等人兵力不多，便和刘雅生收拾残余部队全力攻打，刘聪派太尉范隆率骑兵助战，与耿稚等相持，苦战二十多天，不能攻克。李矩进兵援救耿稚等人，派壮士三千人乘船渡河。前赵军凭借黄河拒守，李矩的军队无法渡河。李矩派部将格增在夜晚偷偷渡河进入耿稚等人营垒，与耿稚等人挑选一千多名精锐骑兵，杀掉所缴获的牛马，烧毁军用器械，连夜突围而出，奔向虎牢。刘聪追赶，赶不上才退回。刘聪因此愤怒，于是发病而死。晋元帝嘉奖李矩的战功，任命他为都督河南三郡军事、安西将军、荥阳太守，封爵修武县侯。
郭诵多谋刘聪死后，太子刘粲即位。刘粲为人昏庸残暴，太兴元年（318年）八月，前赵将领靳准起兵杀死刘粲，灭其宗族，发掘刘聪坟墓，斩其尸体，派遣使者到李矩处请求归顺，说：“刘渊、屠各这些小丑，乘晋室变故之机，作乱于幽、并二州，矫称天命，致使晋怀帝、晋愍帝死于胡人之手。我们将率众护送二帝梓宫回朝，请告知朝廷。”李矩以表章驰奏晋元帝，晋元帝派遣太常韩胤等来迎接二帝梓宫，人还未到而靳准已被石勒、刘曜消灭。李矩因为自己人少力弱不能立此大功，经常慨叹惋惜。
晋元帝正式称帝后，任命李矩为都督司州诸军事、司州刺史，改封平阳县侯，将军职位如故。太兴三年（320年）二月，弘农太守尹安、振威将军宋始等四军都驻扎在洛阳，他们互相猜疑，毫无固守的打算。李矩、郭默各派一千名骑兵到洛阳防守。尹安等人合谋，把消息密告后赵皇帝石勒，石勒派石生率领五千骑兵前往洛阳，李矩、郭默之军只好退回。不久尹安等四将背叛后赵，派遣使者前来向李矩请求投降。李矩让郭默带领步兵五百人进入洛阳。石生看到四将有反归企图，自己难保平安，就把宋始的军队胁迫带走，向北渡过黄河。于是黄河以南的民众都相互牵引归附李矩，洛阳城为之一空。李矩上表请任郭默为扬武将军、阳翟县令，在河边迎水修营垒，一边耕种一边防守，为灭敌作长远的打算。赵固死后，石生派兵来攻打郭诵，郭诵足智多谋，石生军来到，郭诵设埋伏打败他们，石生军一无所获。石生恼怒，亲自率领四千人到诸县抢掠，又来进攻郭诵营垒，开战不一会儿，石生军败退到堮坂。郭诵率领勇士五百人追击石生到磐脂故亭，再次大败石生军。李矩认为郭诵功劳多，上表请赐赤幢曲盖，封爵吉阳亭侯。
郭默逃走后来，郭默想要攻打祖约，李矩不同意，不久被祖约打败。石勒派遣养子石匆（刘匆）袭击郭默，郭默担心自己后患还未解除，准备投降前赵皇帝刘曜，派参军郑雄来和李矩商议，李矩不准。
太宁三年（325年），石勒派部将石良率领精兵五千攻打李矩，李矩迎击失利。郭诵之弟郭元被石良俘虏，石良派郭元以书信劝说李矩：“去年石勒东平匈奴曹嶷，西击鲜卑拓跋猗卢，你如同牛角首当其冲，何不归顺过来？”李矩将劝降书交给郭诵看，郭诵说：“过去王陵的母亲被敌人扣押，王陵尚且不以为然，何况现在我只是一个兄弟陷于敌中。”石勒又派人向郭诵赠送尘尾马鞭，以示殷勤之意，郭诵不予理睬。六月，当时石勒部将石生屯兵洛阳，侵犯并劫掠黄河以南地区，李矩、郭默的军队多次战败，又缺乏军粮，郭默再次劝说李矩依附刘曜。李矩被石良打败，只好听从郭默的劝告，派使者到刘曜处联系。刘曜派堂弟中山王刘岳屯兵河阴，准备和李矩一起攻打石生。石勒派遣将领围攻刘岳，刘岳闭门不敢出战。郭默后来被石匆打败，从密县南奔建康。李矩知道后大怒，让郭诵等人写信给郭默，李矩又对郭诵说：“你知道唇亡齿寒的道理吗？当年迎接郭默归顺，都是你出力促成，他临危而逃走，一定要把他留下来。”郭诵追赶到襄城，郭默自知有负李矩，于是丢弃妻子自己逃跑。郭诵把其他的部下带了回来，李矩还是和以前一样对待郭默的妻子。而刘岳看到外援无望，只好投降石勒堂侄石虎。
坠马而死当时，李矩的将士私下密谋背叛投降后赵，李矩无力镇压，只好率领部众南下投归朝廷，手下士众在途中纷纷逃亡，只有郭诵和参军郭方、功曹张景、主簿苟远、将军骞韬、江霸、梁志、司马尚、季弘、李瑰、段秀等一百多人弃家跟随。走到鲁阳县时，李矩坠马而死，李矩死后，安葬在襄阳的岘山。
房玄龄等《晋书》：①“邵、李、魏、郭等诸将，契阔丧乱之辰，驱驰戎马之际，威怀足以容众，勇略足以制人，乃保据危城，折冲千里，招集义勇，抗御仇雠，虽艰阻备尝，皆乃心王室。而矩能以少击众，战胜获多，遂使玄明愤恚，世龙挫衄。惜其寡弱，功亏一篑。方之数子，其最优乎！”[1]；②“邵李诸将，实惟忠壮。蒙犯艰危，驱驰亭鄣。力小任重，功亏身丧。”[1]；③“矩勇毅多权略，志在立功”[1]
《晋书·卷六十三·列传第三十三》[1]
《资治通鉴》卷八十七至卷九十三[2]
