這年冬天，彭大的兒子彭旱住自稱魯淮王，趙均用自稱永義王，而郭子興等仍是元帥。
朱元璋見這些人半年沒出濠州城，於是他從自己招募的新兵中挑選了心腹徐達、湯和等二十四人離開濠州，南略定遠。在南略定遠途中，朱元璋先招撫了張家堡驢牌寨民兵三千人，後又招降了豁鼻子秦把頭的八百人。統率著這支隊伍，朱元璋向東進發，乘夜攻破定遠橫澗山的元軍營地，元帥繆大亨投降。朱元璋從降軍中挑選了精壯漢人二萬人編入了自己的隊伍，並南下滁州（今安徽滁縣）。
在南下滁州途中，定遠名人李善長到軍門求見。李善長和朱元璋一見如故，李善長以漢高祖劉邦為例勸說朱元璋：隻要效法劉邦知人善任，不亂殺人，很快便可平定天下。朱元璋認為很有道理，於是留李善長做了幕府的書記，並囑咐李善長好好協調將領間的關係，共創大業。
朱元璋很快攻下了滁州，其親侄兒文正、姐夫李貞帶著外甥保兒（後來取名文忠）前來投靠。從他們口中，朱元璋得知二哥、三哥、姐姐都去世了，不免傷心。其時還有定遠孤兒沐英，甚是可憐，於是，朱元璋就將這三個孩子收作養子，改姓朱。後來，朱元璋又收養了二十幾個義子。
在朱元璋進攻滁州時，郭子興受到趙均用、孫德崖等人的排擠，所以，朱元璋攻下滁州城不多久，郭子興也來到了滁州。朱元璋立即交出兵權，三萬人的隊伍，紀律嚴明，軍容肅整，郭子興見了十分歡喜。
1353年，朱元璋任命虹縣（今安徽泗縣）人胡大海為前鋒，一舉攻克了和州。消息傳來，郭子興即刻任命朱元璋為總兵官，鎮守和州。一次，朱元璋外出，看到一個小孩在哭，朱元璋問他為什麽哭，答說是等父親。朱元璋仔細一詢問才知道，原來孩子的父親和母親都在軍營，父親在營中養馬，母親和父親不敢相認，隻好以兄妹相稱。朱元璋意識到，部隊軍紀存在問題，他們攻破城池後，擾民滋事，擄掠婦女，這樣下去，部隊將失去民心。於是，朱元璋召集眾將，申明紀律，下令歸還軍中有夫之婦，讓城中許多被拆散的夫妻團圓。此事廣為傳頌，朱元璋深得民心。
此年三月，郭子興病逝，小明王韓林兒任命郭子興的兒子郭天敘為都元帥，妻弟張天為右副元帥，朱元璋為左副元帥。名義上，都元帥是軍中之主，右副元帥的地位也比左副元帥高。但是滁州和和州的軍隊，多是由朱元璋招募收編的，而且朱元璋比郭天敘和張天有勇有謀，並且手下又有人才。所以，朱元璋事實上成了這支隊伍的主帥。
在朱元璋稱帝之前，所奉行的策略是朱升提出的“高築牆、廣積糧、緩稱王”。高築牆是指加強軍事防備，鞏固後方；廣積糧是指發展經濟生產，儲備糧食，增強經濟實力；緩稱王則是指不要過早稱帝，以免樹敵過多。這三條建議極具戰略眼光，是朱元璋發展初期的指導思想。
朱元璋在和州駐守幾個月後，糧食供應成了問題。與和州相對，緊靠長江南岸的太平（今安徽當塗）、蕪湖是盛產稻米的地方，但是沒有船隻，隻能望江興歎。這時恰好兩支紅巾軍的巢湖水軍前來歸附，朱元璋親自處理合並事宜。七月間，巢湖水軍千餘隻戰艦突破元軍封鎖抵達和州。朱元璋的步馬軍登上巢湖水軍的船隻，從和州東渡長江。到達對岸的采石，常遇春一馬當先，率軍衝殺，攻克采石，獲得大量糧食。將士想把糧食和戰利品運迴和州慢慢享用。見此，朱元璋果斷地命人砍斷船纜，任船順流而下，斷絕退路。將士們見無路可退，一鼓作氣，在朱元璋率領下攻克太平。進入太平，朱元璋重申軍紀，嚴禁擄掠，有個別兵士犯禁，立即處死，因此，朱元璋的軍隊受到當地百姓的擁護。朱元璋於是置太平興國翼元帥府，自己做元帥，任命李善長為帥府都事。這樣，朱元璋便開始了穩固根據地的工作。
至正十六年（公元1356年）三月，張士誠在長江三角洲地帶發起攻勢，進攻江南元軍。乘此機會，朱元璋親自統率水陸大軍，第三次進攻集慶（今江蘇南京）。在第三天，攻破城外的陳兆先軍營，其部三萬六千人歸降朱元璋。但是，朱元璋看出降軍心存疑慮，軍心不定。於是朱元璋就從降軍中挑選了五百名勇士當親軍，在夜裏守衛，而自己身邊，隻留有親兵統領馮國用一人。
第二天，降軍知道此事，都十分感動，疑慮全消，甘願跟隨朱元璋打天下。於是，戰爭進行得十分順利，不到十天，朱元璋便攻下集慶。
朱元璋進城後，下令安撫百姓，改集慶為應天府。小明王韓林兒獲報後，升朱元璋為樞密院同僉，不久又升為江南等處行中書省平章。朱元璋在應天則設天興建康翼大元帥府，以廖小安為統軍元帥，李善長為左右司郎中。
此時，盡管朱元璋擁有十萬兵力，聲勢比過去大了很多，但是占有的地盤仍然很少，而且四麵受敵。東麵和南麵是元軍，東南是張士誠，西麵是徐壽輝，雖然同是反元武裝，但是張、徐二人同小明王卻相互敵視。不過，北麵小明王、劉福通率領的紅巾軍主力，大大牽製了元軍，而且，張士誠、徐壽輝的力量還不足以兼並朱元璋。這樣一來，朱元璋暫時沒有對付不了的敵人，並且麵臨著一個很好的發展機會。
朱元璋目前首要的任務是鞏固以應天為中心的根據地。於是在占領應天不久，朱元璋立即派徐達攻取鎮江。出戰前，為了嚴明軍紀，朱元璋故意以放縱士卒的罪名將徐達抓起來，並準備以軍法處斬。此時，李善長出來求情，眾將不知是計，也一起求情。於是朱元璋就順水推舟，說看在眾人的麵上，暫時免去徐達死罪，不過要徐達攻下鎮江後，做到不燒不搶，方可完全赦免徐達之罪。眾將見對待主將尚且如此嚴厲，因此，無不嚴守軍紀，鎮江很快攻下。
到1357年冬，朱元璋在一年的時間裏先後攻下了金壇、丹陽、江陰、常州、常熟、揚州等地，控製了應天周圍的戰略據點。到1359年，從現在的地圖看，朱元璋已經占領了江蘇南京、太湖以西，往南經江蘇、安徽、浙江三省交界處，到浙東的一塊長方形地區。與四年前剛占領應天時相比，形勢已大有改觀。
在完成了“高築牆”的部署後，朱元璋便著手實行“廣積糧”了。在初期，軍糧的解決主要是靠強征，即征收“寨糧”。但是長此以往，軍隊就會成為純粹的破壞力量，失去民心。為了解決糧食問題，朱元璋除了動員百姓進行生產外，決定推行屯田法，大力開展軍隊屯田，任命元帥康茂才為都水營用使，負責興修水利，又分派諸將在各地開墾種田。幾年工夫，到處興屯，府庫充盈，軍糧充足。
在1360年，朱元璋下令不再征收“寨糧”，以減輕農民負擔。為了積糧，朱元璋明令禁酒，但是其手下大將胡大海的兒子胡三舍與別人違法犯禁，私自釀酒獲利，朱元璋知道後，下令殺了胡三舍，有人進諫說胡大海此時正在攻打紹興，希望朱元璋可以看在胡大海的麵子上放了胡三舍。朱元璋大怒，堅決嚴明軍紀，於是自己動手將胡三舍殺掉。
在爭取民心的同時，朱元璋還不斷網羅人才，特別是地主階級的知識分子，朱元璋在應天還專門修建了禮賢館來接待他們。這些人在朱元璋統一全國的過程中起了重要作用，如李善長、朱升。朱元璋十分尊重儒士，他曾在1358年召見儒生唐解實，詢問漢高帝、漢光武、唐太宗、宋太祖、元世祖平定天下之道，這也表明朱元璋決心要開創一個新的封建皇朝。
朱元璋建立以應天為中心的根據地，在長江上遊有陳友諒，長江下遊有張士誠，東南鄰方國珍，南鄰陳友定。方國珍、陳友定的目標在於保土割據，張士誠則對元朝首鼠兩端，沒有多大雄心；陳友諒最強，是朱元璋占領應天後遇到的最危險的敵人。
陳友諒本是徐壽輝手下大將倪文俊的部下。後來他殺死倪文俊，並於1360年挾持徐壽輝，攻占了太平、采石。於是陳友諒以為應天唾手可得，就殺了徐壽輝，在采石稱帝，國號漢，改元大義。
接著，陳友諒約張士誠東西夾擊應天，平分朱元璋的領地，應天大震。朱元璋隻好召集眾將商量對策，一時眾說紛紜。惟有劉基默不作聲，朱元璋知道劉基有主張，於是征求他的意見，劉基認為目前最危險的敵人莫過於陳友諒，必須集中力量消滅他。雖然陳友諒勢力強大，但是他殺君自立，部眾離心，人民疲敝，故而不難戰勝，隻要等他們深入，再以伏兵擊之，不難取勝。
朱元璋同意劉基的判斷，於是設計誘敵深入，製造戰機。朱元璋的部將康茂才和陳友諒是老朋友，於是康茂才修書一封，派人送到陳友諒營中，約陳攻擊應天，並說願意在江東橋作內應。
六月二十三日早晨，陳友諒率艦隊主力趕到應天郊外的江東橋，才發現橋是石橋而非木橋，方知受騙中計。但為時已晚，朱元璋的伏兵奮起攻擊，陳友諒大敗。朱元璋收太平，占領信州、安慶。陳友諒敗逃九江，第二年八月攻下安慶，於是朱元璋率軍直取陳友諒的老巢江州，陳友諒逃往武昌，朱元璋攻克江西和湖北東南部。
正在這時，中原紅巾軍發生分裂，力量削弱。至正二十三年二月，張士誠乘人之危，派部將呂珍進攻安豐，劉福通向朱元璋求救。待到朱元璋率軍趕到安豐時，劉福通已被呂珍殺死，朱元璋隻救出小明王韓林兒，把他安排在滁州居住。
朱元璋率主力營救小明王時，陳友諒認為反攻時機已到，於是率兵進攻洪都（今江西南昌）。
朱元璋見這些人半年沒出濠州城，於是他從自己招募的新兵中挑選了心腹徐達、湯和等二十四人離開濠州，南略定遠。在南略定遠途中，朱元璋先招撫了張家堡驢牌寨民兵三千人，後又招降了豁鼻子秦把頭的八百人。統率著這支隊伍，朱元璋向東進發，乘夜攻破定遠橫澗山的元軍營地，元帥繆大亨投降。朱元璋從降軍中挑選了精壯漢人二萬人編入了自己的隊伍，並南下滁州（今安徽滁縣）。
在南下滁州途中，定遠名人李善長到軍門求見。李善長和朱元璋一見如故，李善長以漢高祖劉邦為例勸說朱元璋：隻要效法劉邦知人善任，不亂殺人，很快便可平定天下。朱元璋認為很有道理，於是留李善長做了幕府的書記，並囑咐李善長好好協調將領間的關係，共創大業。
朱元璋很快攻下了滁州，其親侄兒文正、姐夫李貞帶著外甥保兒（後來取名文忠）前來投靠。從他們口中，朱元璋得知二哥、三哥、姐姐都去世了，不免傷心。其時還有定遠孤兒沐英，甚是可憐，於是，朱元璋就將這三個孩子收作養子，改姓朱。後來，朱元璋又收養了二十幾個義子。
在朱元璋進攻滁州時，郭子興受到趙均用、孫德崖等人的排擠，所以，朱元璋攻下滁州城不多久，郭子興也來到了滁州。朱元璋立即交出兵權，三萬人的隊伍，紀律嚴明，軍容肅整，郭子興見了十分歡喜。
1353年，朱元璋任命虹縣（今安徽泗縣）人胡大海為前鋒，一舉攻克了和州。消息傳來，郭子興即刻任命朱元璋為總兵官，鎮守和州。一次，朱元璋外出，看到一個小孩在哭，朱元璋問他為什麽哭，答說是等父親。朱元璋仔細一詢問才知道，原來孩子的父親和母親都在軍營，父親在營中養馬，母親和父親不敢相認，隻好以兄妹相稱。朱元璋意識到，部隊軍紀存在問題，他們攻破城池後，擾民滋事，擄掠婦女，這樣下去，部隊將失去民心。於是，朱元璋召集眾將，申明紀律，下令歸還軍中有夫之婦，讓城中許多被拆散的夫妻團圓。此事廣為傳頌，朱元璋深得民心。
此年三月，郭子興病逝，小明王韓林兒任命郭子興的兒子郭天敘為都元帥，妻弟張天為右副元帥，朱元璋為左副元帥。名義上，都元帥是軍中之主，右副元帥的地位也比左副元帥高。但是滁州和和州的軍隊，多是由朱元璋招募收編的，而且朱元璋比郭天敘和張天有勇有謀，並且手下又有人才。所以，朱元璋事實上成了這支隊伍的主帥。
在朱元璋稱帝之前，所奉行的策略是朱升提出的“高築牆、廣積糧、緩稱王”。高築牆是指加強軍事防備，鞏固後方；廣積糧是指發展經濟生產，儲備糧食，增強經濟實力；緩稱王則是指不要過早稱帝，以免樹敵過多。這三條建議極具戰略眼光，是朱元璋發展初期的指導思想。
朱元璋在和州駐守幾個月後，糧食供應成了問題。與和州相對，緊靠長江南岸的太平（今安徽當塗）、蕪湖是盛產稻米的地方，但是沒有船隻，隻能望江興歎。這時恰好兩支紅巾軍的巢湖水軍前來歸附，朱元璋親自處理合並事宜。七月間，巢湖水軍千餘隻戰艦突破元軍封鎖抵達和州。朱元璋的步馬軍登上巢湖水軍的船隻，從和州東渡長江。到達對岸的采石，常遇春一馬當先，率軍衝殺，攻克采石，獲得大量糧食。將士想把糧食和戰利品運迴和州慢慢享用。見此，朱元璋果斷地命人砍斷船纜，任船順流而下，斷絕退路。將士們見無路可退，一鼓作氣，在朱元璋率領下攻克太平。進入太平，朱元璋重申軍紀，嚴禁擄掠，有個別兵士犯禁，立即處死，因此，朱元璋的軍隊受到當地百姓的擁護。朱元璋於是置太平興國翼元帥府，自己做元帥，任命李善長為帥府都事。這樣，朱元璋便開始了穩固根據地的工作。
至正十六年（公元1356年）三月，張士誠在長江三角洲地帶發起攻勢，進攻江南元軍。乘此機會，朱元璋親自統率水陸大軍，第三次進攻集慶（今江蘇南京）。在第三天，攻破城外的陳兆先軍營，其部三萬六千人歸降朱元璋。但是，朱元璋看出降軍心存疑慮，軍心不定。於是朱元璋就從降軍中挑選了五百名勇士當親軍，在夜裏守衛，而自己身邊，隻留有親兵統領馮國用一人。
第二天，降軍知道此事，都十分感動，疑慮全消，甘願跟隨朱元璋打天下。於是，戰爭進行得十分順利，不到十天，朱元璋便攻下集慶。
朱元璋進城後，下令安撫百姓，改集慶為應天府。小明王韓林兒獲報後，升朱元璋為樞密院同僉，不久又升為江南等處行中書省平章。朱元璋在應天則設天興建康翼大元帥府，以廖小安為統軍元帥，李善長為左右司郎中。
此時，盡管朱元璋擁有十萬兵力，聲勢比過去大了很多，但是占有的地盤仍然很少，而且四麵受敵。東麵和南麵是元軍，東南是張士誠，西麵是徐壽輝，雖然同是反元武裝，但是張、徐二人同小明王卻相互敵視。不過，北麵小明王、劉福通率領的紅巾軍主力，大大牽製了元軍，而且，張士誠、徐壽輝的力量還不足以兼並朱元璋。這樣一來，朱元璋暫時沒有對付不了的敵人，並且麵臨著一個很好的發展機會。
朱元璋目前首要的任務是鞏固以應天為中心的根據地。於是在占領應天不久，朱元璋立即派徐達攻取鎮江。出戰前，為了嚴明軍紀，朱元璋故意以放縱士卒的罪名將徐達抓起來，並準備以軍法處斬。此時，李善長出來求情，眾將不知是計，也一起求情。於是朱元璋就順水推舟，說看在眾人的麵上，暫時免去徐達死罪，不過要徐達攻下鎮江後，做到不燒不搶，方可完全赦免徐達之罪。眾將見對待主將尚且如此嚴厲，因此，無不嚴守軍紀，鎮江很快攻下。
到1357年冬，朱元璋在一年的時間裏先後攻下了金壇、丹陽、江陰、常州、常熟、揚州等地，控製了應天周圍的戰略據點。到1359年，從現在的地圖看，朱元璋已經占領了江蘇南京、太湖以西，往南經江蘇、安徽、浙江三省交界處，到浙東的一塊長方形地區。與四年前剛占領應天時相比，形勢已大有改觀。
在完成了“高築牆”的部署後，朱元璋便著手實行“廣積糧”了。在初期，軍糧的解決主要是靠強征，即征收“寨糧”。但是長此以往，軍隊就會成為純粹的破壞力量，失去民心。為了解決糧食問題，朱元璋除了動員百姓進行生產外，決定推行屯田法，大力開展軍隊屯田，任命元帥康茂才為都水營用使，負責興修水利，又分派諸將在各地開墾種田。幾年工夫，到處興屯，府庫充盈，軍糧充足。
在1360年，朱元璋下令不再征收“寨糧”，以減輕農民負擔。為了積糧，朱元璋明令禁酒，但是其手下大將胡大海的兒子胡三舍與別人違法犯禁，私自釀酒獲利，朱元璋知道後，下令殺了胡三舍，有人進諫說胡大海此時正在攻打紹興，希望朱元璋可以看在胡大海的麵子上放了胡三舍。朱元璋大怒，堅決嚴明軍紀，於是自己動手將胡三舍殺掉。
在爭取民心的同時，朱元璋還不斷網羅人才，特別是地主階級的知識分子，朱元璋在應天還專門修建了禮賢館來接待他們。這些人在朱元璋統一全國的過程中起了重要作用，如李善長、朱升。朱元璋十分尊重儒士，他曾在1358年召見儒生唐解實，詢問漢高帝、漢光武、唐太宗、宋太祖、元世祖平定天下之道，這也表明朱元璋決心要開創一個新的封建皇朝。
朱元璋建立以應天為中心的根據地，在長江上遊有陳友諒，長江下遊有張士誠，東南鄰方國珍，南鄰陳友定。方國珍、陳友定的目標在於保土割據，張士誠則對元朝首鼠兩端，沒有多大雄心；陳友諒最強，是朱元璋占領應天後遇到的最危險的敵人。
陳友諒本是徐壽輝手下大將倪文俊的部下。後來他殺死倪文俊，並於1360年挾持徐壽輝，攻占了太平、采石。於是陳友諒以為應天唾手可得，就殺了徐壽輝，在采石稱帝，國號漢，改元大義。
接著，陳友諒約張士誠東西夾擊應天，平分朱元璋的領地，應天大震。朱元璋隻好召集眾將商量對策，一時眾說紛紜。惟有劉基默不作聲，朱元璋知道劉基有主張，於是征求他的意見，劉基認為目前最危險的敵人莫過於陳友諒，必須集中力量消滅他。雖然陳友諒勢力強大，但是他殺君自立，部眾離心，人民疲敝，故而不難戰勝，隻要等他們深入，再以伏兵擊之，不難取勝。
朱元璋同意劉基的判斷，於是設計誘敵深入，製造戰機。朱元璋的部將康茂才和陳友諒是老朋友，於是康茂才修書一封，派人送到陳友諒營中，約陳攻擊應天，並說願意在江東橋作內應。
六月二十三日早晨，陳友諒率艦隊主力趕到應天郊外的江東橋，才發現橋是石橋而非木橋，方知受騙中計。但為時已晚，朱元璋的伏兵奮起攻擊，陳友諒大敗。朱元璋收太平，占領信州、安慶。陳友諒敗逃九江，第二年八月攻下安慶，於是朱元璋率軍直取陳友諒的老巢江州，陳友諒逃往武昌，朱元璋攻克江西和湖北東南部。
正在這時，中原紅巾軍發生分裂，力量削弱。至正二十三年二月，張士誠乘人之危，派部將呂珍進攻安豐，劉福通向朱元璋求救。待到朱元璋率軍趕到安豐時，劉福通已被呂珍殺死，朱元璋隻救出小明王韓林兒，把他安排在滁州居住。
朱元璋率主力營救小明王時，陳友諒認為反攻時機已到，於是率兵進攻洪都（今江西南昌）。