永徽年間，候補官員逐漸增多，主持選官的人很少有稱職的。李敬玄主持選官后，卻得到天下人的稱贊。他記憶過人，每年參選官員一萬多人，只要在街上遇到，都能叫出名字。官員未被選用前來投訴的，他也能當場口述他們書判中的錯誤，毫無差錯。

　　杭州參軍徐太玄曾因同僚張惠母親年邁，到府衙自首，稱自己與張惠一同貪贓。張惠得以免去死罪，徐太玄也因此被免去官職，十幾年不得升遷。李敬玄得知后，非常贊賞，擢升他為鄭州司功參軍。徐太玄后官至秘書少監、申王師，因德行高尚受到時人推崇。

早期事跡

　　李敬玄年輕時博覽群書，精通禮制，后在馬周的推薦下，進入崇賢館，成為太子李治（即后來的唐高宗）的侍讀。他雖生性冷峻，但研究學問非常勤勉，受到許敬宗等人的贊譽，歷任西臺舍人、弘文館學士、右肅機、檢校太子右中護。

擔任宰相

　　669年（總章二年），李敬玄升任西臺侍郎、同東西臺三品，兼任檢校司列少常伯，成為宰相。他將司列（即吏部）事務委托給員外郎張仁祎，并沿襲張仁祎修正的選官程序，主持選官多年，使得銓選錄用有條不紊。

　　672年（咸亨三年），李敬玄擔任吏部侍郎，加封銀青光祿大夫，仍兼任太子右庶子、同中書門下三品，后又監修國史。

　　675年（上元二年），李敬玄升任吏部尚書。他主掌吏部多年，又和趙郡李氏聯宗，前后三任妻子都出身山東士族，因此在朝中勢力極大。唐高宗對此很不高興，但未公開批評他的過錯。

征蕃兵敗

　　676年（儀鳳元年），李敬玄升任中書令，封趙國公。當時，劉仁軌每有奏請，李敬玄都持有不同意見，從中阻撓，二人因此交惡。

　　678年（儀鳳三年），吐蕃入寇。劉仁軌知道李敬玄沒有將帥之才，故意奏請道：“鎮守河西，非李敬玄不可。”李敬玄極力推辭。此時，唐高宗已經厭惡李敬玄，便道：“劉仁軌如果需要朕去，朕就會主動前往，卿不得推辭。”任命他為洮河道大總管，兼鎮撫大使，檢校鄯州都督，率軍抵御吐蕃。

　　同年九月，李敬玄與吐蕃大將論欽陵在青海交戰，并命劉審禮為先鋒。他逗撓不前，致使劉審禮孤軍深入，兵敗被俘。劉審禮敗后，李敬玄狼狽而逃，退至承風嶺，挖壕溝防御。這時，偏將黑齒常之率死士夜襲吐蕃軍，吐蕃軍退軍，李敬玄這才得以返回鄯州。后來，李敬玄又在湟川被吐蕃擊敗。

貶官而死

　　680年（永隆元年），李敬玄上表稱病，請求回京，得到批準。他回京后，也未引咎請罪，便直接到中書省辦公。唐高宗得知他并未生病，將他貶為衡州刺史，后又改任揚州長史。

　　682年（永淳元年），李敬玄去世，終年六十八歲，追贈兗州都督，賜謚文憲。