青龍三年（235年），司馬懿升任太尉，累增封邑。蜀將馬岱入境侵擾，司馬懿派牛金迎擊，斬蜀軍千餘人。武都氐王苻雙和強端率領其屬下六千餘人來降。
平定遼東
東漢末年軍閥混戰時，公孫度據有遼東。這個割據勢力對曹魏一直時叛時降，保持著半獨立的地位。公孫淵繼為遼東太守後，對魏更加不遜。魏明帝震怒，派荊州刺史毋丘儉出任幽州刺史，時遼水大漲，毋丘儉不利而還。毋丘儉討伐受阻，使公孫淵更加得意。景初元年（237年），原魏遼東太守公孫淵背叛魏國，自立為燕王，置列百官，定都襄平（今遼寧遼陽）。公孫淵遣使南通孫權，封拜邊民，誘唿鮮卑，侵擾北方。
司馬懿出兵遼東
景初二年（238年）當年正月，司馬懿率牛金、胡遵等步騎四萬，從京師出發，經孤竹，越碣石，六月，進至遼水。公孫淵急令大將軍卑衍、楊祚等人率步騎數萬，依遼水圍塹20餘裏，堅壁高壘，阻擊魏軍。司馬懿采用聲東擊西之計，先在南線多張旗幟，佯攻圍塹，吸引敵軍主力，而以主力隱蔽渡過遼水，逼進敵軍的襄平本營，部將不解問其原因。司馬懿說：“敵人堅營高壘，就是想讓我們兵疲糧盡，若攻城，正中其計。
古人曰，敵雖高壘，不得不與我戰者，攻其所必救也。現在他們大軍在此，老巢卻空。我直指襄平，敵軍必懼，懼而求戰，破之必矣”。接著整頓陣列前進，敵軍果然出來截擊。司馬懿對諸將說：“我之所以不攻其營，正是要等現在的局麵。”於是指揮魏軍痛擊，三戰皆捷，遂乘勝進圍襄平。
當初公孫淵聞魏軍來攻，求救於孫權，孫權也出兵為其聲援，並給公孫淵寫信：“司馬懿善用兵所向無前，深深為賢弟感到擔憂啊。”適逢連降大雨，遼水暴漲，平地數尺，魏軍恐懼，諸將思欲遷營。司馬懿下令有敢言遷營者斬，都督令史張靜違令被斬，軍心始安。公孫淵軍乘雨出城，打柴牧馬，安然自若。
魏將領請求出擊，司馬懿不允。司馬陳圭曰問司馬懿：“當年攻上庸，八路並進，晝夜不停，故能在一旬半時間裏，攻下堅城，殺了孟達。這次遠道而來，為什麽行動卻更加緩慢？”司馬懿說：“當年孟達軍隊少而糧食能支持一年，我們的軍隊是孟達的四倍，糧食卻不足一月，以一月糧的軍隊對付有一年糧的軍隊，怎能不速戰速決？以四攻一，即使一半人傷亡，也是可行的，當時不計死傷，正是要為有限的糧草爭取時間。
而今敵兵多我軍少，敵糧少我糧多，又遇大雨，想速戰也不可能。從出兵開始，我就不擔心敵人來進攻，而是怕他們會逃跑。如今敵軍糧草將盡，我軍包圍尚未合攏，若現在搶掠牛馬，會逼他們逃走。兵者詭道，善因事變。他們憑借人多和大水，雖然饑困，也不肯就擒。這時候更當穩住對方，不能為得小利而把敵人嚇跑。”司馬懿將計就計，故意示弱。朝廷聽說雨大敵強，不少人請求召還司馬懿。魏明帝卻說：“司馬懿臨危製變，生擒公孫淵指日可待。”
月餘，雨停，水漸退去。魏軍完成對襄平的包圍，晝夜強攻。城內糧盡，死者甚多，其將楊祚等降。當時城中愈發震恐，公孫淵也很驚懼，八月，公孫淵派相國王建、禦史大夫柳甫請求解圍，司馬懿斬殺使者，發布檄文嚴責。公孫淵又派侍中衛演來請求定日期送人質，司馬懿拒絕人質。公孫淵欲從城南突圍，司馬懿縱兵擊破其軍，公孫淵戰死在梁水邊上。
入城後，司馬懿下令屠殺十五歲以上男子七千多人，收集屍體，築造京觀。而後他又把公孫淵所任公卿以下一律斬首，殺死將軍畢盛等二千多人，收編百姓四萬戶。
司馬懿釋放了當年被公孫淵篡奪官位的公孫恭，又為被公孫淵迫害的綸直、賈範等人修了墳墓，表彰他們的後代。下令說：“古代討伐一個國家，僅殺其中頑固兇惡的人而已。各位被公孫淵所連累的人，全部寬恕。中原人願意返迴故鄉的，各隨己願。”
當時司馬懿軍中有的士兵衣單寒冷，請求發給短襖，司馬懿不給，表示“襦者官物，人臣無私施也”。於是上奏朝廷，把一千多名六十歲以上的士兵解除兵役，送返迴鄉。在原定一年的期限內，勝利班師。魏明帝派使者到薊去犒勞部隊，增司馬懿食昆陽縣，前後共二縣。曹魏數十年來遼東問題終於徹底解決。
托孤重臣
原本朝廷讓司馬懿便道往鎮關中。但當到達白屋時，有詔書召他火速迴京，三日之間，詔書五至。魏明帝手書說：“間側息望到，到便直排閣入，視吾麵”。據說，司馬懿在襄平時，曾夢見魏明帝枕在他膝上，說：“視吾麵。”
他俯視，見魏明帝麵有異色。如今一見詔書此語，大驚，乘追鋒車晝夜兼行，從白屋到京城，四百多裏，一夜而至。至則徑人嘉福殿內禦床旁邊，滿眼流淚，指問疾病。魏明帝拉著他的手，目視太子齊王，說：“以後事相托。死乃複可忍，吾忍死待君，得相見，無所複恨矣。”（《三國誌·魏書·明帝紀》為“吾疾甚，以後事屬君，君其與爽輔少子。吾得見君，無所恨。）
當天，魏明帝去世。時為景初三年（239年）正月。齊王曹芳繼位，年僅八歲，司馬懿乃與大將軍曹爽一起接受遺詔輔佐少主。齊王即位，司馬懿任侍中、持節、都督中外諸軍、錄尚書事，和曹爽各統精兵三千人，共執朝政。曹爽欲排擠司馬懿，想讓尚書奏事先通過自己，以便專權，向天子進言，改任司馬懿為大司馬。
朝臣們認為以前大司馬，有好多都死在任上，不吉，於是任命司馬懿為太傅，效仿西漢丞相蕭何那樣，入殿不趨，讚拜不名，劍履上殿。以世子司馬師為散騎常侍，子弟三人為列侯，四人為騎都尉。司馬懿韜光養晦，大力拒絕不讓子弟為官。
平定遼東
東漢末年軍閥混戰時，公孫度據有遼東。這個割據勢力對曹魏一直時叛時降，保持著半獨立的地位。公孫淵繼為遼東太守後，對魏更加不遜。魏明帝震怒，派荊州刺史毋丘儉出任幽州刺史，時遼水大漲，毋丘儉不利而還。毋丘儉討伐受阻，使公孫淵更加得意。景初元年（237年），原魏遼東太守公孫淵背叛魏國，自立為燕王，置列百官，定都襄平（今遼寧遼陽）。公孫淵遣使南通孫權，封拜邊民，誘唿鮮卑，侵擾北方。
司馬懿出兵遼東
景初二年（238年）當年正月，司馬懿率牛金、胡遵等步騎四萬，從京師出發，經孤竹，越碣石，六月，進至遼水。公孫淵急令大將軍卑衍、楊祚等人率步騎數萬，依遼水圍塹20餘裏，堅壁高壘，阻擊魏軍。司馬懿采用聲東擊西之計，先在南線多張旗幟，佯攻圍塹，吸引敵軍主力，而以主力隱蔽渡過遼水，逼進敵軍的襄平本營，部將不解問其原因。司馬懿說：“敵人堅營高壘，就是想讓我們兵疲糧盡，若攻城，正中其計。
古人曰，敵雖高壘，不得不與我戰者，攻其所必救也。現在他們大軍在此，老巢卻空。我直指襄平，敵軍必懼，懼而求戰，破之必矣”。接著整頓陣列前進，敵軍果然出來截擊。司馬懿對諸將說：“我之所以不攻其營，正是要等現在的局麵。”於是指揮魏軍痛擊，三戰皆捷，遂乘勝進圍襄平。
當初公孫淵聞魏軍來攻，求救於孫權，孫權也出兵為其聲援，並給公孫淵寫信：“司馬懿善用兵所向無前，深深為賢弟感到擔憂啊。”適逢連降大雨，遼水暴漲，平地數尺，魏軍恐懼，諸將思欲遷營。司馬懿下令有敢言遷營者斬，都督令史張靜違令被斬，軍心始安。公孫淵軍乘雨出城，打柴牧馬，安然自若。
魏將領請求出擊，司馬懿不允。司馬陳圭曰問司馬懿：“當年攻上庸，八路並進，晝夜不停，故能在一旬半時間裏，攻下堅城，殺了孟達。這次遠道而來，為什麽行動卻更加緩慢？”司馬懿說：“當年孟達軍隊少而糧食能支持一年，我們的軍隊是孟達的四倍，糧食卻不足一月，以一月糧的軍隊對付有一年糧的軍隊，怎能不速戰速決？以四攻一，即使一半人傷亡，也是可行的，當時不計死傷，正是要為有限的糧草爭取時間。
而今敵兵多我軍少，敵糧少我糧多，又遇大雨，想速戰也不可能。從出兵開始，我就不擔心敵人來進攻，而是怕他們會逃跑。如今敵軍糧草將盡，我軍包圍尚未合攏，若現在搶掠牛馬，會逼他們逃走。兵者詭道，善因事變。他們憑借人多和大水，雖然饑困，也不肯就擒。這時候更當穩住對方，不能為得小利而把敵人嚇跑。”司馬懿將計就計，故意示弱。朝廷聽說雨大敵強，不少人請求召還司馬懿。魏明帝卻說：“司馬懿臨危製變，生擒公孫淵指日可待。”
月餘，雨停，水漸退去。魏軍完成對襄平的包圍，晝夜強攻。城內糧盡，死者甚多，其將楊祚等降。當時城中愈發震恐，公孫淵也很驚懼，八月，公孫淵派相國王建、禦史大夫柳甫請求解圍，司馬懿斬殺使者，發布檄文嚴責。公孫淵又派侍中衛演來請求定日期送人質，司馬懿拒絕人質。公孫淵欲從城南突圍，司馬懿縱兵擊破其軍，公孫淵戰死在梁水邊上。
入城後，司馬懿下令屠殺十五歲以上男子七千多人，收集屍體，築造京觀。而後他又把公孫淵所任公卿以下一律斬首，殺死將軍畢盛等二千多人，收編百姓四萬戶。
司馬懿釋放了當年被公孫淵篡奪官位的公孫恭，又為被公孫淵迫害的綸直、賈範等人修了墳墓，表彰他們的後代。下令說：“古代討伐一個國家，僅殺其中頑固兇惡的人而已。各位被公孫淵所連累的人，全部寬恕。中原人願意返迴故鄉的，各隨己願。”
當時司馬懿軍中有的士兵衣單寒冷，請求發給短襖，司馬懿不給，表示“襦者官物，人臣無私施也”。於是上奏朝廷，把一千多名六十歲以上的士兵解除兵役，送返迴鄉。在原定一年的期限內，勝利班師。魏明帝派使者到薊去犒勞部隊，增司馬懿食昆陽縣，前後共二縣。曹魏數十年來遼東問題終於徹底解決。
托孤重臣
原本朝廷讓司馬懿便道往鎮關中。但當到達白屋時，有詔書召他火速迴京，三日之間，詔書五至。魏明帝手書說：“間側息望到，到便直排閣入，視吾麵”。據說，司馬懿在襄平時，曾夢見魏明帝枕在他膝上，說：“視吾麵。”
他俯視，見魏明帝麵有異色。如今一見詔書此語，大驚，乘追鋒車晝夜兼行，從白屋到京城，四百多裏，一夜而至。至則徑人嘉福殿內禦床旁邊，滿眼流淚，指問疾病。魏明帝拉著他的手，目視太子齊王，說：“以後事相托。死乃複可忍，吾忍死待君，得相見，無所複恨矣。”（《三國誌·魏書·明帝紀》為“吾疾甚，以後事屬君，君其與爽輔少子。吾得見君，無所恨。）
當天，魏明帝去世。時為景初三年（239年）正月。齊王曹芳繼位，年僅八歲，司馬懿乃與大將軍曹爽一起接受遺詔輔佐少主。齊王即位，司馬懿任侍中、持節、都督中外諸軍、錄尚書事，和曹爽各統精兵三千人，共執朝政。曹爽欲排擠司馬懿，想讓尚書奏事先通過自己，以便專權，向天子進言，改任司馬懿為大司馬。
朝臣們認為以前大司馬，有好多都死在任上，不吉，於是任命司馬懿為太傅，效仿西漢丞相蕭何那樣，入殿不趨，讚拜不名，劍履上殿。以世子司馬師為散騎常侍，子弟三人為列侯，四人為騎都尉。司馬懿韜光養晦，大力拒絕不讓子弟為官。