及太子勇以讒廢，晉王廣為太子，秀意甚不平。太子恐秀終為後患，陰令楊素求其罪而譖之。上遂征秀，秀猶豫，欲謝病不行。總管司馬源師諫，秀作色曰：“此自我家事，何預卿也！”師垂涕對曰：“師忝參府幕，敢不盡心！聖上有敕追王，以淹時月，今乃遷延未去。百姓不識王心，倘生異議，內外疑駭，發雷霆之詔，降一介之使，王何以自明？願王熟計之！”朝廷恐秀生變，戊子，以原州總管獨子瓜楷為益州總管，馳傳代之。楷至，秀猶未肯行；楷諷諭久之，乃就路。楷察秀有悔色，因勒兵為備；秀行四十餘裏，將還襲楷，覘知有備，乃止。
八月，甲子，皇後獨孤氏崩。太子對上及宮人哀慟絕氣，若不勝喪者；其處私室，飲食言笑如平常。又，每朝令進二溢米，而私令外取肥肉脯鮓，置竹桶中，以蠟閉口，衣袱裹而納之。
著作郎王劭上言：“佛說：‘人應生天上及生無量壽國之時，天佛放大光明，以香花妓樂來迎。’伏惟大行皇後福善禎符，備諸秘記，皆雲是妙善菩薩。臣謹案八月二十二日，仁壽官內再雨金銀花；二十三日，大寶殿後夜有神光；二十四日卯時，永安宮北有自然種種音樂，震滿虛空；至夜五更，奄然如寐，遂即升遐，與經文所說，事皆符驗。”上覽之悲喜。
九月，丙戌，上至自仁壽宮。
冬，十月，癸醜，以工部尚書楊達為納言。達，雄之弟也。
閏月，甲申，詔楊素、蘇威與吏部尚書牛弘等修定五禮。
上令上儀同三司蕭吉為皇後擇葬地，得吉處，雲：“卜年二千，卜世二百。”上曰：“吉兇由人，不在於地。高緯葬父，豈不卜乎！俄而國亡。正如我家墓田，若雲不吉，朕不當為天子；若雲不兇，我弟不當戰沒。”然竟從吉言。吉退，告族人蕭平仲曰：“皇太子遣宇文左率深謝餘雲：‘公前稱我當為太子，竟有其驗，終不忘也。今卜山陵，務令我早立。我立之後，當以富貴相報。’吾語之曰：‘後四載，太子禦天下。’若太子得政，隋其亡乎！吾前紿雲‘卜年二千’者，三十字也；‘卜世二百’者，取世二傳也。汝其識之！”
壬寅，葬文獻皇後於太陵。詔以“楊素經營葬事，勤求吉地，論素此心，事極誠孝，豈與夫平戎定寇比其功業！可別封一子義康公，邑萬戶。”並賜田三十頃，絹萬段，米萬石，金珠綾錦稱是。
蜀王秀至長安，上見之，不與語；明日，使使切讓之。秀謝罪，太子諸王流涕庭謝。上曰：“頃者秦王糜費財物，我以父道訓之。今秀蠹害生民，當以君道繩之。”於是付執法者。開府儀同三司慶整諫曰：“庶人勇既廢，秦王已薨，陛下見子無多，何至如是！蜀王性甚耿介，今被重責，恐不自全。”上大怒，欲斷其舌，因謂群臣曰：“當斬秀於市以謝百姓。”乃令楊素等推治之。
太子陰作偶人，縛手釘心，枷鎖杻械，書上及漢王姓名，仍雲“請西嶽慈父聖母神兵收楊堅、楊諒神魂，如此形狀，勿令散蕩。”密埋之華山下，楊素發之；又雲秀妄述圖讖，稱京師妖異，造蜀地征祥；並作檄文，雲“指期問罪”，置秀集中，俱以聞奏。上曰：“天下寧有是邪！”十二月，癸巳，廢秀為庶人，幽之內侍省，不聽與妻子相見，唯獠婢二人驅使，連坐者百餘人。秀上表摧謝曰：“伏願慈恩，賜垂矜湣，殘息未盡之間，希與瓜子相見；請賜一穴，令骸骨有所。”瓜子，其愛子也。上因下詔數其十罪，且曰：“我今不知楊堅、楊諒是汝何親？”後乃聽與其子同處。
初，楊素嚐以少譴敕送南台，命治書侍禦史柳彧治之。素恃貴，坐彧床。彧從外來見之，於階下端笏整容謂素曰：“奉敕治公之罪！”素遽下。彧據案而坐，立素於庭，辨詰事狀。素由是銜之。蜀王秀嚐從彧求李文博所撰《治道集》，彧與之；秀遺彧奴婢十口。及秀得罪，素奏彧以內臣交通諸侯，除名為民，配戍懷遠鎮。
帝使司農卿趙仲卿往益州窮案秀事，秀之賓客經過之處，仲卿必深文致法，州縣長吏坐者太半。上以為能，賞賜甚厚。
久之，貝州長史裴肅遣使上書，稱：“高飃以天挺良才，元勳佐命，為眾所疾，以至廢棄；願陛下錄其大功，忘其小過。又二庶人得罪已久，寧無革心！願陛下弘君父之慈，顧天性之義，各封小國，觀其所為：若能遷善，漸更增益；如或不悛，貶削非晚。今者自新之路永絕，愧悔之心莫見，豈不哀哉！”書奏，上謂楊素曰：“裴肅憂我家事，此亦至誠也。”於是征肅入朝。太子聞之，謂左庶子張衡曰：“使勇自新，欲何為也？”衡曰：“觀肅之意，欲令如吳太伯、漢東海王耳。”肅至，上麵諭以勇不可複收之意而罷遣之。肅，俠之子也。
楊素弟約及從父文思、文紀、族父忌並為尚書、列卿，諸子無汗馬之勞，位至柱國、刺史；廣營資產，自京師及諸方都會處，邸店、碾磑、便利田宅，不可勝數；家僮數千，後庭妓妾曳綺羅者以千數；第宅華侈，製擬宮禁；親故吏布列清顯。既廢一太子及一王，威權愈盛。朝臣有違忤者，或至誅夷；有附會及親戚，雖無才用，必加進擢，朝廷靡然，莫不畏附。敢與素抗而不橈者，獨柳彧及尚書右丞李綱、大理卿梁毗而已。
始，毗為西寧州刺史，凡十一年，蠻夷酋長皆以金多者為豪雋，遞相攻奪，略無寧歲，毗患之。後因諸酋長相帥以金遺毗，毗置金坐側，對之慟哭，而謂之曰：“此物饑不可食，寒不可衣，汝等以此相滅，不可勝數，今將此來，欲殺我邪！”一無所納。於是蠻夷感悟，遂不相攻擊。上聞而善之，征為大理卿，處法平允。
毗見楊素專權，恐為國患，乃上封事曰：“臣聞臣無有作威作福，其害於而家，兇於而國。竊見左仆射越國公素，幸遇愈重，權勢日隆，搢紳之徒，屬其視聽。忤旨者嚴霜夏零，阿旨者甘雨冬澍；榮枯由其唇吻，廢興候其指麾；所私皆非忠讜，所進鹹是親戚，子弟布列，兼州連縣。天下無事，容息異圖；四海有虞，必為禍始。夫奸臣擅命，有漸而來，王莽資之於積年，桓玄基之於易世，而卒殄漢祀，終傾晉祚。陛下若以素為阿衡，臣恐其心未必伊尹也。伏願揆鑒古今，量為處置，俾洪基永固，率土幸甚！”書奏，上大怒，收毗係獄，親詰之。毗極言“素擅寵弄權，將領之處，殺戮無道。又太子、蜀王罪廢之日，百僚無不震竦，唯素揚眉奮肘，喜見容色，利國家有事以為身幸。”上無以屈，乃釋之。
其後上亦浸疏忌素，乃下敕曰：“仆射國之宰輔，不可躬親細務，但三五日一向省，評論大事。”外示優崇，實奪之權也。素由是終仁壽之末，不複通判省事。出楊約為伊州刺史。
素既被疏，吏部尚書柳述益用事，攝兵部尚書，參掌機密；素由是惡之。
太子問於賀若弼曰：“楊素、韓擒虎、史萬歲皆稱良將，其優劣何如？”弼曰：“楊素猛將，非謀將；韓擒虎鬥將，非領將；史萬歲騎將，非大將。”太子曰：“然則大將誰也？”弼拜曰：“唯殿下所擇！”弼意自許也。
交州俚帥李佛子作亂，據越王故城，遣其兄子大權據龍編城，其別帥李普鼎據烏延城。楊素薦瓜州刺史長安劉方有將帥之略，詔以方為交州道行軍總管，統二十七營而進。方軍令嚴肅，有犯必斬；然仁愛士卒，有疾病者親臨撫親，士卒亦以此懷之。至都隆嶺，遇賊，擊破之。進軍臨佛子營，先諭以禍福。佛子懼，請降，送之長安。
仁壽三年癸亥，公元六零三年秋，八月，壬申，賜幽州總管燕榮死。榮性嚴酷，鞭撻左右，動至千數。嚐見道次叢荊，以為堪作杖，命取之，輒以試人。人或自陳無罪，榮曰：“後有罪，當免汝。”既而有犯，將杖之，人曰：“前日被杖，使君許以有罪宥之。”榮曰：“無罪尚爾，況有罪邪！”杖之自若。
觀州長史元弘嗣遷幽州長史，懼為榮所辱，固辭。上敕榮曰：“弘嗣杖十已上罪，皆須奏聞。”榮忿曰：“豎子何敢玩我！”於是遣弘嗣監納倉粟，揚得一糠一秕，皆罰之。每笞雖不滿十，然一日之中，或至三數。如是曆年，怨隙日構。榮遂收弘嗣付獄，禁絕其糧，弘嗣抽衣絮雜水咽之。其妻詣闕稱冤，上遣使按驗，奏榮暴虐，贓穢狼籍；征還，賜死。元弘嗣代榮為政。酷又甚之。
九月，壬戌，置常平官。
是歲，龍門王通詣闕獻《太平十二策》，上不能用，罷歸。通遂教授於河、汾之間，弟子自遠至者甚眾，累征不起。楊素甚重之，勸之仕，通曰：“通有先人之弊廬足以蔽風雨，薄田足以具饜粥，讀書談道足以自樂。願明公正身以治天下，使時和歲豐，通也受賜多矣，不願仕也。”或譖通於素曰：“彼實慢公，公何敬焉？”素以問通，通曰：“使公可慢，則仆得矣；不可慢，則仆失矣：得失在仆，公何預焉！”素待之如初。弟子賈瓊問息謗，通曰：“無辯。”問止怨，曰：“不爭。”通嚐稱：“無赦之國，其刑必平；重斂之國，其財必削。”又曰：“聞謗而怒者，讒之囮也；見譽而喜者，佞之媒也；絕囮去媒，讒佞遠矣。”大業末，卒於家，門人諡曰文中子。
突厥步迦可汗所部大亂，鐵勒仆骨等十餘部，皆叛步迦降於啟民。步迦眾潰，西奔吐穀渾；長孫晟送啟民置磧口，啟民於是盡有步迦之眾。
八月，甲子，皇後獨孤氏崩。太子對上及宮人哀慟絕氣，若不勝喪者；其處私室，飲食言笑如平常。又，每朝令進二溢米，而私令外取肥肉脯鮓，置竹桶中，以蠟閉口，衣袱裹而納之。
著作郎王劭上言：“佛說：‘人應生天上及生無量壽國之時，天佛放大光明，以香花妓樂來迎。’伏惟大行皇後福善禎符，備諸秘記，皆雲是妙善菩薩。臣謹案八月二十二日，仁壽官內再雨金銀花；二十三日，大寶殿後夜有神光；二十四日卯時，永安宮北有自然種種音樂，震滿虛空；至夜五更，奄然如寐，遂即升遐，與經文所說，事皆符驗。”上覽之悲喜。
九月，丙戌，上至自仁壽宮。
冬，十月，癸醜，以工部尚書楊達為納言。達，雄之弟也。
閏月，甲申，詔楊素、蘇威與吏部尚書牛弘等修定五禮。
上令上儀同三司蕭吉為皇後擇葬地，得吉處，雲：“卜年二千，卜世二百。”上曰：“吉兇由人，不在於地。高緯葬父，豈不卜乎！俄而國亡。正如我家墓田，若雲不吉，朕不當為天子；若雲不兇，我弟不當戰沒。”然竟從吉言。吉退，告族人蕭平仲曰：“皇太子遣宇文左率深謝餘雲：‘公前稱我當為太子，竟有其驗，終不忘也。今卜山陵，務令我早立。我立之後，當以富貴相報。’吾語之曰：‘後四載，太子禦天下。’若太子得政，隋其亡乎！吾前紿雲‘卜年二千’者，三十字也；‘卜世二百’者，取世二傳也。汝其識之！”
壬寅，葬文獻皇後於太陵。詔以“楊素經營葬事，勤求吉地，論素此心，事極誠孝，豈與夫平戎定寇比其功業！可別封一子義康公，邑萬戶。”並賜田三十頃，絹萬段，米萬石，金珠綾錦稱是。
蜀王秀至長安，上見之，不與語；明日，使使切讓之。秀謝罪，太子諸王流涕庭謝。上曰：“頃者秦王糜費財物，我以父道訓之。今秀蠹害生民，當以君道繩之。”於是付執法者。開府儀同三司慶整諫曰：“庶人勇既廢，秦王已薨，陛下見子無多，何至如是！蜀王性甚耿介，今被重責，恐不自全。”上大怒，欲斷其舌，因謂群臣曰：“當斬秀於市以謝百姓。”乃令楊素等推治之。
太子陰作偶人，縛手釘心，枷鎖杻械，書上及漢王姓名，仍雲“請西嶽慈父聖母神兵收楊堅、楊諒神魂，如此形狀，勿令散蕩。”密埋之華山下，楊素發之；又雲秀妄述圖讖，稱京師妖異，造蜀地征祥；並作檄文，雲“指期問罪”，置秀集中，俱以聞奏。上曰：“天下寧有是邪！”十二月，癸巳，廢秀為庶人，幽之內侍省，不聽與妻子相見，唯獠婢二人驅使，連坐者百餘人。秀上表摧謝曰：“伏願慈恩，賜垂矜湣，殘息未盡之間，希與瓜子相見；請賜一穴，令骸骨有所。”瓜子，其愛子也。上因下詔數其十罪，且曰：“我今不知楊堅、楊諒是汝何親？”後乃聽與其子同處。
初，楊素嚐以少譴敕送南台，命治書侍禦史柳彧治之。素恃貴，坐彧床。彧從外來見之，於階下端笏整容謂素曰：“奉敕治公之罪！”素遽下。彧據案而坐，立素於庭，辨詰事狀。素由是銜之。蜀王秀嚐從彧求李文博所撰《治道集》，彧與之；秀遺彧奴婢十口。及秀得罪，素奏彧以內臣交通諸侯，除名為民，配戍懷遠鎮。
帝使司農卿趙仲卿往益州窮案秀事，秀之賓客經過之處，仲卿必深文致法，州縣長吏坐者太半。上以為能，賞賜甚厚。
久之，貝州長史裴肅遣使上書，稱：“高飃以天挺良才，元勳佐命，為眾所疾，以至廢棄；願陛下錄其大功，忘其小過。又二庶人得罪已久，寧無革心！願陛下弘君父之慈，顧天性之義，各封小國，觀其所為：若能遷善，漸更增益；如或不悛，貶削非晚。今者自新之路永絕，愧悔之心莫見，豈不哀哉！”書奏，上謂楊素曰：“裴肅憂我家事，此亦至誠也。”於是征肅入朝。太子聞之，謂左庶子張衡曰：“使勇自新，欲何為也？”衡曰：“觀肅之意，欲令如吳太伯、漢東海王耳。”肅至，上麵諭以勇不可複收之意而罷遣之。肅，俠之子也。
楊素弟約及從父文思、文紀、族父忌並為尚書、列卿，諸子無汗馬之勞，位至柱國、刺史；廣營資產，自京師及諸方都會處，邸店、碾磑、便利田宅，不可勝數；家僮數千，後庭妓妾曳綺羅者以千數；第宅華侈，製擬宮禁；親故吏布列清顯。既廢一太子及一王，威權愈盛。朝臣有違忤者，或至誅夷；有附會及親戚，雖無才用，必加進擢，朝廷靡然，莫不畏附。敢與素抗而不橈者，獨柳彧及尚書右丞李綱、大理卿梁毗而已。
始，毗為西寧州刺史，凡十一年，蠻夷酋長皆以金多者為豪雋，遞相攻奪，略無寧歲，毗患之。後因諸酋長相帥以金遺毗，毗置金坐側，對之慟哭，而謂之曰：“此物饑不可食，寒不可衣，汝等以此相滅，不可勝數，今將此來，欲殺我邪！”一無所納。於是蠻夷感悟，遂不相攻擊。上聞而善之，征為大理卿，處法平允。
毗見楊素專權，恐為國患，乃上封事曰：“臣聞臣無有作威作福，其害於而家，兇於而國。竊見左仆射越國公素，幸遇愈重，權勢日隆，搢紳之徒，屬其視聽。忤旨者嚴霜夏零，阿旨者甘雨冬澍；榮枯由其唇吻，廢興候其指麾；所私皆非忠讜，所進鹹是親戚，子弟布列，兼州連縣。天下無事，容息異圖；四海有虞，必為禍始。夫奸臣擅命，有漸而來，王莽資之於積年，桓玄基之於易世，而卒殄漢祀，終傾晉祚。陛下若以素為阿衡，臣恐其心未必伊尹也。伏願揆鑒古今，量為處置，俾洪基永固，率土幸甚！”書奏，上大怒，收毗係獄，親詰之。毗極言“素擅寵弄權，將領之處，殺戮無道。又太子、蜀王罪廢之日，百僚無不震竦，唯素揚眉奮肘，喜見容色，利國家有事以為身幸。”上無以屈，乃釋之。
其後上亦浸疏忌素，乃下敕曰：“仆射國之宰輔，不可躬親細務，但三五日一向省，評論大事。”外示優崇，實奪之權也。素由是終仁壽之末，不複通判省事。出楊約為伊州刺史。
素既被疏，吏部尚書柳述益用事，攝兵部尚書，參掌機密；素由是惡之。
太子問於賀若弼曰：“楊素、韓擒虎、史萬歲皆稱良將，其優劣何如？”弼曰：“楊素猛將，非謀將；韓擒虎鬥將，非領將；史萬歲騎將，非大將。”太子曰：“然則大將誰也？”弼拜曰：“唯殿下所擇！”弼意自許也。
交州俚帥李佛子作亂，據越王故城，遣其兄子大權據龍編城，其別帥李普鼎據烏延城。楊素薦瓜州刺史長安劉方有將帥之略，詔以方為交州道行軍總管，統二十七營而進。方軍令嚴肅，有犯必斬；然仁愛士卒，有疾病者親臨撫親，士卒亦以此懷之。至都隆嶺，遇賊，擊破之。進軍臨佛子營，先諭以禍福。佛子懼，請降，送之長安。
仁壽三年癸亥，公元六零三年秋，八月，壬申，賜幽州總管燕榮死。榮性嚴酷，鞭撻左右，動至千數。嚐見道次叢荊，以為堪作杖，命取之，輒以試人。人或自陳無罪，榮曰：“後有罪，當免汝。”既而有犯，將杖之，人曰：“前日被杖，使君許以有罪宥之。”榮曰：“無罪尚爾，況有罪邪！”杖之自若。
觀州長史元弘嗣遷幽州長史，懼為榮所辱，固辭。上敕榮曰：“弘嗣杖十已上罪，皆須奏聞。”榮忿曰：“豎子何敢玩我！”於是遣弘嗣監納倉粟，揚得一糠一秕，皆罰之。每笞雖不滿十，然一日之中，或至三數。如是曆年，怨隙日構。榮遂收弘嗣付獄，禁絕其糧，弘嗣抽衣絮雜水咽之。其妻詣闕稱冤，上遣使按驗，奏榮暴虐，贓穢狼籍；征還，賜死。元弘嗣代榮為政。酷又甚之。
九月，壬戌，置常平官。
是歲，龍門王通詣闕獻《太平十二策》，上不能用，罷歸。通遂教授於河、汾之間，弟子自遠至者甚眾，累征不起。楊素甚重之，勸之仕，通曰：“通有先人之弊廬足以蔽風雨，薄田足以具饜粥，讀書談道足以自樂。願明公正身以治天下，使時和歲豐，通也受賜多矣，不願仕也。”或譖通於素曰：“彼實慢公，公何敬焉？”素以問通，通曰：“使公可慢，則仆得矣；不可慢，則仆失矣：得失在仆，公何預焉！”素待之如初。弟子賈瓊問息謗，通曰：“無辯。”問止怨，曰：“不爭。”通嚐稱：“無赦之國，其刑必平；重斂之國，其財必削。”又曰：“聞謗而怒者，讒之囮也；見譽而喜者，佞之媒也；絕囮去媒，讒佞遠矣。”大業末，卒於家，門人諡曰文中子。
突厥步迦可汗所部大亂，鐵勒仆骨等十餘部，皆叛步迦降於啟民。步迦眾潰，西奔吐穀渾；長孫晟送啟民置磧口，啟民於是盡有步迦之眾。