常林，字伯槐，是河内温县人。他七岁的时候，有一位父亲的朋友来到他家，问常林：“伯先在不在？你怎么不拜见我？”常林回答说：“虽然你是客人，但我是主人的儿子，父亲的字是‘父’，我为什么要拜你呢？”大家都很赞赏他。据《魏略》记载，常林小时候家里很穷，但他从不靠别人施舍过日子。他喜欢学习，汉末的时候，他一边读书一边种地。他的妻子常常给他送饭，虽然他在田间劳作，但夫妻之间相互尊重，就像宾客一样。
太守王匡起兵讨伐董卓，派了一些学生到各个县去暗中寻找官吏和百姓的罪过，然后抓起来，让他们用钱粮来赎罪。如果拖延，就要灭族，以此来显示威严。常林的叔父因为打了客人，被这些学生告发，王匡非常生气，抓了起来。全族的人都很害怕，不知道要交多少钱粮，担心被抓的人救不出来。常林去见了和王匡同县的胡母彪，说：“王太守文武双全，来到我们这个小郡。我们这里山河环绕，土地广阔，百姓众多，还有很多贤能的人，您可以随意选择使用。现在皇帝年幼，奸臣当道，天下动荡不安，正是英雄豪杰奋起的时候。如果您想消灭天下的贼寇，扶持王室，聪明的人就会立刻响应，就像回声一样。只有团结一致，才能战胜混乱，无论去哪里，都能取得胜利。如果不能施恩德，任用的人也不称职，那么灭亡就会到来，哪里还有时间去帮助朝廷，建立功名呢？您要好好考虑一下！”
接着，他谈到了叔父被关押的事情。胡母彪立刻写信责备王匡，王匡这才放了常林的叔父。常林于是到上党躲避，他在山脚下耕种。当时发生了旱灾和蝗灾，但常林的庄稼却获得了丰收。他把邻居们都叫来，把粮食分给他们。他依靠原来的河间太守陈延的营垒生活。陈家和冯家都是当地的名门望族。张杨贪图他们的妇女和财物。常林带领他的族人，为他们出谋划策。他们被围困了六十多天，但最终保全了营垒。并州刺史高干上表推荐他担任骑都尉，但他拒绝了。后来，刺史梁习推荐州里的名士常林、杨俊、王凌、王象、荀纬，曹操都让他们担任了县长。常林治理南和县，取得了很好的成绩，被破格提拔为博陵太守、幽州刺史，他所到之处都有政绩。曹丕担任五官中郎将的时候，常林是他的功曹。曹操西征的时候，田银、苏伯造反，幽州和冀州都受到了影响。曹丕想亲自去讨伐他们，常林说：“我以前在博陵和幽州任职，对叛贼的情况很了解。北方的官吏和百姓，都希望过上安定的生活，厌倦了战乱，他们接受教化已经很久了，善良的人很多。田银、苏伯这些人就像一群狗和羊聚在一起，他们没有智慧，却想干大事，成不了什么气候。现在大军在远方作战，外面还有强大的敌人，将军您是天下的支柱，如果轻易地去远征，即使胜利了，也显得不够英勇。”曹丕听从了他的建议，派将领去讨伐，很快就消灭了叛军。
后来，常林担任了平原太守、魏郡东部都尉，又回到朝廷担任丞相东曹属。魏国建立后，他被任命为尚书。曹丕即位后，他被提升为少府，封为乐阳亭侯。据《魏略》记载，常林性格清白，当官也很严格。少府寺和鸿胪寺是对门，当时崔林担任鸿胪。崔林性格豁达，和常林不一样，他常常听到常林打骂官吏的声音，觉得不合适。有一天晚上，常林打骂官吏，官吏疼得大叫，一直持续到天亮。第二天，崔林出门，和常林的车相遇，就嘲笑他说：“听说你要当廷尉，是真的吗？”常林不假思索地回答：“不是。”崔林说：“你不是廷尉，昨天晚上为什么拷问犯人呢？”常林非常惭愧，但又无法停止。常林后来担任了大司农。明帝即位后，他被提升为高阳乡侯，又调任光禄勋太常。晋宣王司马懿因为常林是同乡的长辈，每次见到他都要行礼。有人对常林说：“司马公地位尊贵，你应该阻止他。”常林说：“司马公自己想尊重长辈，为后辈树立榜样。地位高并不是我所害怕的，行礼也不是我能控制的。”说话的人很尴尬地退下了。
据《魏略》记载，当初，常林年轻时和司马懿关系很好。太傅每次见到常林，都要下跪。常林阻止他说：“您的地位已经很高了，别这样！”等到司徒的位置空缺时，太傅想让常林来担任。但《魏略》的这句话和正史相反。陈寿认为常林是一个不畏权贵的人，所以正史的说法是正确的。当时人们都认为常林的节操很高尚，想让他担任公辅的职位，但他却声称自己病得很重。他被任命为光禄大夫。八十三岁那年，他去世了，被追赠为骠骑将军，葬礼按照公爵的规格举行，谥号为贞侯。他的儿子常峕继承了他的爵位，担任泰山太守，后来因为犯法被杀。常峕的弟弟常静继承了爵位。据《晋书》记载，诸葛诞造反的时候，大将军司马昭向东征讨，常峕借口生病，被司马昭处死。《魏略》把常林和吉茂、沐并、时苗四个人列为清介传。吉茂，字叔畅，是冯翊池阳人，世代都是有名望的家族。他喜欢读书，不以穿破旧的衣服、吃粗糙的食物为耻，却以不知道一件事为耻。