刘知几登上仕途之时，适值武则天以皇后身分干政之际，她是实际上的执政者。到武则天统治的最后时期，社会政治紧张的局面方趋缓和。武氏急于培植拥护她的社会力量，取得士人支持，收天下之心，因而“大搜隐逸”，一时间官吏冗滥成灾。刘知几以刚直的态度，敏锐的政治眼光，上书请淘汰尸位素餐的官吏，又上书建议“刺史非三岁以上不可迁官”，针对当时赦有无度的弊端，提出“节赦”的主张。表陈四事，涉及于官吏的社会作用、选拔标准以及管理使用办法等诸方面的问题，而集中于对现实政治中妄授妄施等腐败现象的批判。
就在这个时期，刘知几写了一篇《思慎赋》，这篇赋既显露了刘知几的才华，也道出了他的苦闷，特别是抒发了他在苦闷之下经过冷静思考而痛下的志向。以知几之博学卓识之才，充任九品主簿，自然是大材小用，而且从弱冠之年入仕之始直到写《思慎赋》时已十五年没有迁升，感到仕途前程渺茫，这“思慎”只能是对现实的抗争。在盛唐的政治舞台上，刘知几身居仕班，但他没有成为政治家，是社会没给他提供机遇，唯其如此，他的精力又集中在学术事业上去了。
三十八岁的刘知几，在做了十九年获嘉县主簿后，调任京师定王府仓曹，这次调职，有两个因素在起作用。其一，此时的刘知几已经是闻名全国的学者，青少年时代已以文学知名，主簿任上多次上表，也展示了他的才华；其二，则天诏修《三教珠英》，以为刘知几是个人选，据《旧唐书·徐坚传》载：“坚又与给事中徐彦伯、定王府仓曹刘知几、右补阙张说同修《三教珠英》。”
刘知几辞去史任之后，出任太子中舍人，又为修文馆学士，开始私撰《史通》，详论史书之体例及内容，阐述自己对史学的见解，是中国第一部史学评论专着，对后世影响很大。
李隆基立为东宫太子，因为刘知几的“几”字同李隆基的“基”字同音，为避太子名讳，知几便废名而以字行，因称刘子玄。上述情况可知，知几在玄宗为太子时便得到提升，在政治上有了积极性，刘知几写《释蒙》一文，又皇太子李隆基将亲释奠于国学，主管部门草拟仪注，决定让随从官员都乘马着衣冠，刘知几以为不可，上议驳斥。