再过了两年，宫里又派来了两个读书人，然后让自己喊这两个人老师，让自己跟着识字，老师们都冷冰冰的，例行公事地教完书就走，毫不假以辞色。小小的赵曙感受到的只有彻骨的孤独，慢慢地，他变得孤僻，习惯于和自己说话、和自己玩耍，这在旁人看来难免有些神神叨叨。
无数次，他学着写信给亲生父母说自己受不了想回家，但也无数次地被一些不痛不痒的话劝阻回来。家里的回信里告诉他，当皇帝养子这个机会是多么的可遇不可求，你要坚持住，你身上背负着的是全家的希望、父母兄弟的未来。而没有办法的赵曙就只能默默忍受着，拼命坚持着。
在那个漆黑一片的皇宫内院，他感受不到丝毫的爱意、丝毫的安全感，那个懵懂的孩子就这样默默度过他的童年、少年。当深夜的孤冷笼罩着他的时候，恐惧随之来临，他害怕被罚、被废，变得如同一只惊弓之鸟。
在这里他不敢吵也不敢闹，而是学会了通过默默做事来表现自己，来获得大人的重视，一个几岁的孩子表现出了远超这个年龄该有的成熟。慢慢地，他受到了仁宗皇帝的好评，说赵曙这孩子天性纯良，