冉覲祖生性穩重，少有成人之風。十七歲時娶郟縣教諭梁天民之女為妻，同年十一月在鄢陵中秀才，不久補考博士子弟員（最高學府國子監學習的生員），次年到衛輝（河南汲縣）百泉參加鄉試（考舉人）。見書販陳列大量名貴書籍，竟竭盡所有購買了四書五經大全及著名詩文集等，因而不再專心應考，回家埋頭研讀，立志于著作。19歲補廩（秀才年考成績優異者，官府給予一定數量廩米補助）。當時有人出售《二十一史》，要價很高，他個人資力不夠，就借銀買得此書，潛心研究，汶上（山東）袁某擅長音韻，來縣城設教，二人傾談五日，冉盡得其中奧妙。

　　冉覲祖27歲時得中鄉試第一名舉人，此后長期專心讀書、著述，寫成《四書五經詳說》、《尚書詳說》、《四書玩注》等。康熙二十八年（1690年）應登封進士景東場邀請到嵩陽書院講學。次年兼應本省撫軍閻某之約，主編《中州通志》。

　　康熙三十年中進士，留任翰林院庶吉士，三年后升檢討。在翰林院任職期間，曾與同僚被康熙皇帝召見、賜宴，即席賦詩，得到皇帝“氣度老誠”的獎語。

　　康熙三十七年辭官還鄉，再赴嵩陽書院講學，次年東歸，受戶部侍郎張勉齋邀請到儀封（今蘭考縣）書院講學，同時登封知縣堅決邀請他重回嵩陽書院講學，冉不得已，就東西兼顧，輪流講之。

　　康熙四十年再次應召進京任原職，因年事已高，掌院（翰林院主官）準他輪入侍值（輪流到翰林院值班），外無所事，得以安心著述。康熙四十三年，其68歲時，辭官還鄉，建綸翰堂，專心著述，兼教授子弟。康熙五十七年病故，終年81歲。臨終之時，諄諄告誡諸子，刊行他的遺稿，建藏書樓，以備后人閱讀，卻無一語涉及私事。