太后说：“范祖禹也奏过这件事。你告诉他也不要再奏了。”
等这话传到刘安世，他对范祖禹说：“这与圣德有关，我怎么可以闭口无言呢？你为陛下近臣，也应当直言无隐才是。”
范祖禹回答说：“我已经说过。”
二人认为雇奶妈之事虽然也许出于误会，他们还是应当忠言直谏才是。但是刘安世得罪的尚不仅是皇帝一个人。在皇太后摄政期间，他还反对过对章惇的赦免于罪，因而惹起此一邪恶阴险的小人毕生大恨。
在另一方面，章惇，这个苏东坡的故
四周时常有二十个双十年华的少女伺候，这也是皇家老例。后来，皇帝告诉章惇，说一天忽然发现十个宫女全都不见，另来了十个接替她们。几天之后，这十个又遭撤换，临走告别时，显得都曾哭过，好像曾被祖母严密盘问过。
这位年轻皇帝何以对两位大臣如此痛恨，必须说明一下。刘安世几遭谋杀，幸遇一个好机会，才得活命，范祖禹则遭流放而死。前四五年，出了一件事。一天，刘安世想为他嫂子雇一奶妈，居然不易找到。徒然等了一个月，刘安世大发脾气，向佣工介绍所的老妇人问为什么找不到人。
老妇人说：“大人，小的正尽力找呢。宫里的总管大人要十个奶妈，今天才找到送去。”
刘安世大惊道：“荒唐！皇帝还没娶后，雇奶妈干什么？”
老妇人解释说，东宫门的老爷们向她严厉嘱咐要她保守秘密。刘安世还是不肯相信。他给宫廷内总管办公室的一个朋友写了一封短信，那个朋友证明是确有其事，因此，刘安世上了一道表章，几件事之中有一项，他说：“乃者民间欢传宫中求乳温，陛下富于春秋，未纳后而亲女色。臣初闻之，不以为信，数月以来，传者益多。言之所起，必有其端。”他警告说，如果任凭闲话这样传下去，民间恐怕对此事不高兴。
另一个大臣范祖禹，给皇帝上书说：“臣今秋闻外人言，陛下于后宫已有所近幸。臣诚至愚，不能不惑。陛下今年十四岁，此岂近女色之时乎？岂可不爱惜圣体哉？”
有人说这谣言是出乎误会。一天，散朝之后，皇太后要吕大防暂且留下，对他说：“关于宫中雇奶妈之事，刘安世上了一道表章。他用意至善，只是不了解其中实情。皇帝并不需要奶妈，是几个小公主还要吃奶。皇上一直和我在一起，夜里睡在内宫。这种谣言，毫无根据。我问过宫女，问不出什么。告诉刘安世，不要再奏这件事。”
吕大防说：“刘安世是御史，按照习惯，我做宰相，是不能私下见御史的。”
皇太后说：“那么怎么把我的话告诉他呢？”
吕大防说：“我常在集英殿看见范祖禹。我告诉他太后的意思，叫他告诉刘安世。他俩也是同乡。”
