杨素接着説：“陛下的话让微臣想起了一件事，陛下还曾记得诛灭刘居士那些明党那件公案吗？”
文帝连连点头，説：“朕当然记得，那已经是四五年前的事了。”
早在文帝为周室之臣时，就有一位知已旧交，叫刘昶。文帝登基之后拜刘昶为上柱国，为此刘昶感激不尽，兢兢业业。刘昶的儿子刘居士却是一个狂荡不羁、目无法度的流氓恶棍，曾几次犯罪，而文帝都看在与刘昶的交情上宽宥了他。谁知道這刘居士有恃无恐，更加骄恣横行。他常常盯上一些体魄强健的公卿子弟，将其绑架到自己的家里，捆住手脚，再把车轮套在脖子上，用棍棒皮鞭拷打。那些被打得遍体鳞伤而又至死不肯求饶者，刘居士便称其为壮士，亲自松绑、酒肉款待并盟誓结为朋党。于是不久，刘居士就有同党三百多人。他们三五成群，经常游荡在官道乡路上，袭击过往行人车辆，劫掠财物，不论是平民百姓，还是公卿贵族，只要遭遇到刘居士的党羽爪牙无一幸免，哪个敢稍有不从，即拳脚棍棒相加，遭受一顿毒打。一时间人心惶惶，民怨鼎沸。几位身受其害的公卿臣子联名上书文帝，告刘居士结党称霸，谋为不轨。文帝龙颜大怒，下令将刘居士逮捕斩首，其党羽也都杀的杀、抓的抓，是公卿子弟者一律除名。
刘居士一伙朋党很快就诛灭了。文帝担心除恶不尽，留有后患，就下诏命皇太子杨勇继续查刘居士余党，并且让杨素将诏书送给杨勇。
杨素来到东宫，将诏书交给杨勇，他草草地看了一遍就放在桌上，冷冷地説：“刘居士的党羽早已伏法，叫我去哪里找？去哪里查？”
杨素道：“陛下恐有漏网者，日后死灰复燃。”
“算了吧！”杨勇忿忿地叫道。“清明世界，朗朗乾坤，竟然出了這样的事。你身为尚书右仆射，岂能没有责任？还是你自己去清查吧，关我什么事！”
杨素见他這副神气，心中怨恨但又不敢发作，还是耐心地劝道：“這可是陛上的旨意。”
“哼！你别动不动就拿陛下来要挟我。当年逼迫静帝禅位那事，万一失败，先被诛杀的必是我无疑。今天父亲成了天子，我居然还不如几个兄弟。凡事不论大小，都不准由我自主。我还算得上一个皇太子吗？”説着杨勇深深地叹了一口气，“唉！到什么时候，我才能自由自在，不受牵制拘束啊？”
当时，杨素只以为杨勇性情暴戾，借机发泄牢骚，回来后也确实没敢告知文帝。而今天看来，這件事实在是杨勇谋逆已久的一条罪状。
這条罪状确实不轻，像是一把重锤狠狠地击打在文帝心上，让他憋闷得难受，不由得发出一声长长的喘息。
杨素抬眼看看文帝的脸色，冷峻而又压抑，他觉得是时候了，就説：“陛下，既然当今太子已不堪承嗣，废立大计应早下决心，不可犹豫了。”
文帝点头称是：“爱卿所言极是，正合朕意。依爱卿之见，罢黜太子之后，另立哪位藩王为新储最合适？”
杨素毫不犹豫地答道：“当然是晋王杨广！”
文帝听了，立刻高兴得眉开眼笑了：“好，爱卿好眼力，与朕不谋而合。知我者莫过于越国公也！”
杨素谦卑地躬躬身子道：“承蒙陛下错爱，满朝文武之中不独杨素有此见地，应当是众望所属！”
文帝收敛笑意，説：“黜旧立新，事关国家百年大计，一旦宣诏，要让群臣百姓心服。因此，还需爱卿细细筹划一下，并且是越快越好！”
杨素起身应道：“请陛下放心就是了。”
杨素心里明白，皇上是要他尽快地多搜集一些杨勇忤逆不孝、图谋不轨的证据。只要有了足够的证据，废掉杨勇的太子只不过是写一道诏书而已。
杨素自宫中出来，顿觉一身轻松。回到家里，他立即差人把杨约找来。事情到了這一步，以下的工作就要紧锣密鼓。
杨素对杨约讲了面见皇上直言废立太子的经过，随后向他请教用什么办法可以尽快地搜取到杨勇谋逆的证据。
杨约慨然道：“這事好办。东宫的属官中我认识一个叫姬威的，跟杨勇比较亲近。我给他送点金银，再晓以利害，十有**他会帮這个忙的。”
這姬威是个胆小怕事且又爱财如命的小人。他手里捧着杨约送来的金银，又听杨约説，太子的许多罪过已早被陛下洞察，家兄已奉密诏，一定要废黜太子。如果此时立功，助陛下一臂之力，日后必将大富大贵。姬威没怎么犹豫，便答应暗中搜集杨勇的不轨言行，并且尽快上书皇上。