其时濠州城中有郭子兴、孙德崖等五位元帅，他们之间钩心斗角，谁也不平谁，攻占濠州近半年，竟想不到去扩大土地，只是死守濠州孤城。于是，朱元璋回到老家钟离乡招兵买马，不久招募到徐达、周德兴等七百余人。郭子兴喜出望外，又封他做镇抚，让他来领导这些人。至正十三年（1353年），在五个月的守城作战中，濠州起义军死伤较多。朱元璋意识到，几支起义军恒久待在濠州，不是内讧迭起，即是被敌军打败。因此，他决计离开濠州，向外扩大土地，生长势力。
至正十四年（1354年）六月，他征得郭子兴同意，只领导徐达、汤和、吴良、吴祯、花云、陈德、顾时、费聚、耿再成、耿炳文、唐胜宗、陆仲亨、华云龙、郭兴、郭英等24位贴身兄弟南下定远讨伐。这时定远张家堡驴牌寨，有民兵三千人，由于缺粮，进退维谷，被朱元璋设计收编。另外，他还收编了缪大享在横涧山的义兵二万余人。定远被攻占以后，朱元璋又招降了当地的冯国用、冯国顺兄弟。冯氏二兄弟是念书人，通兵法，朱元璋十分信任他们，向他们请教取天下大计。冯国用说：“金陵的地理形势是龙蟠虎踞，是建设帝王国都的风水宝地，可以先攻打下来看成凭据地，然后四出征战。只要倡仁义，收人心，不近财宝女色，要平定天下并不难。”朱元璋言听计从，将冯留在军中做照料以计议大事。
在朱元璋进军滁州（今安徽滁县）途中，定远人李善长又来军中谒见。田主阶级身世的李善长是个文人，颇有智谋，他劝说朱元璋以汉高祖刘邦为模范，为人要豁达漂亮，知人善任，不出五年便可称王天下。李善长的一席话更使朱元璋立下雄心雄心，也使他越发明白念书人的用处。朱元璋十分信任李善长，将他留在自己身边出谋划策。今后，朱元璋对有学问的念书人特别器重，礼贤下士。
至正十三年（1353年）七月，朱元璋率部占领了滁州。没有多久，郭子兴率其部万余人从泗州来到滁州，看到朱元璋率领的三万戎马，命令严明，军容整齐，很是兴奋。但郭子兴没有远大理想，只想统领滁州，朱元璋对郭子兴说：“滁州乃一山城，舟楫不通，商贾不集，非英雄所居之地。”郭子兴这才取消了原来的念头。不久，朱元璋率军夺下和州（今安徽和县），由于他发现士兵染上了抢掠奸淫的恶习，便决心整顿军纪。他召集诸将，申明纪律，释放了军中被抢来的全部妇女，深得黎民拥护。渡江攻陷太平（今安徽当涂）后，一士兵违反军纪，立即被斩首示众。那时候，群雄称霸，以荼毒生灵为价钱，只是为了换取奢华、享乐的生活，而朱元璋以夺天下为目的，约束军队，严明军纪，因其仁义之声远近闻名，不少地方举城归降，使朱元璋胜出群雄。至正十五年（1355年）三月，郭子兴病亡，这时刘福通已经派人把韩林儿接到亳州（今安徽亳县），立为天子，称小明王，国号宋，年号龙凤。郭子兴死后，郭天叙被任命为都元帅，朱元璋为左副元帅，军中文告均用“龙凤”年号。
至正十五年五月，朱元璋因和州缺粮，准备南渡长江夺太平，恰巧遇上巢湖水师李普胜、赵普胜要与朱元璋相助。不久，李普胜想对朱元璋下辣手，从而窃取他的军队，却反被朱元璋灌醉后淹死在江中了。于是赵普胜逃归徐寿辉，巢湖水师大部门为朱元璋所有。六月，朱元璋取采石、太平，改太平路为太平府，以李习为知府，朱元璋为元帅，李善长为帅府都事，汪广洋为府令史，陶安做令史。这时，又有一批儒士开始受到朱元璋的重用。
朱元璋在取下太平后，便计划攻占集庆（今江苏南京）。前面提到，定远人冯国用早在两年之前就曾向朱元璋建议攻取金陵，占领太平后，陶安也说：“金陵是古代帝王的国都，攻取它后就即是占领了有利地形，今后可以所向无敌。”朱元璋于是决定朝集庆开进。七月，张天攻城失败，九月，郭天叙、张天再次攻城，由于投降元帅陈野先的出卖，郭、张二帅为元集庆守将生擒遇难。至正十六年（1356年）三月，朱元璋亲率水陆雄师，三攻集庆，城破，杀福寿等元将，元水寨元帅康茂才投降。朱元璋把集庆路更名为应天府，置天兴建康翼统军大元帅府。随后，朱元璋又先后拿下镇江、金坛。七月，宋政权升朱元璋为枢密院同签。不久，宋政权又在应天设江南等处行中书省，宋政权以平章授于朱元璋。
其时，朱元璋虽然占据了应天这个牢固的基地及其四周的城镇地域，但东有张士诚，西有徐寿辉，南有元军，仍然面临较困难的境况。针对这样的形势，朱元璋接纳了牢固东、西战线、出击东南的战略，成效显著。
张士诚，小名九四，泰州白驹场人，以操舟运盐为业。平时因为经常受到富户及弓兵丘义的欺侮，心存恼恨，至正十三年（1353年）正月，红巾军起义发作后，张士诚与其弟士义、士德、士信及李伯升等十八人，杀死了丘义和许多田主，又荟萃了受官役之苦的盐丁，起兵反元。然后乘胜攻陷泰州，很快军队生长到一万多人，并连克兴化、高邮。张士诚起兵反元，但并没有决心推翻元朝的黑暗统治，因此徐徐被元朝统治者的抚慰所驯化。占领泰州后，元曾多次招降，但他其时还未投降。当元攻打下兴化之后，高邮知府李齐又被劝降。行省授以民职，不久又反。至正十四年（1354年）正月，自称诚王，国号大周，改元天。
至正十六年（1356年）六月，朱元璋开始同张士诚接触。此时张士诚的势力已到达朱元璋控制下的镇江。为了牢固自己的基础，朱元璋派杨宪去平江与张士诚通好，并写下书信与张士诚道：“吾与足下工具境也，睦邻守国，保境息民，昔人所贵，吾甚慕焉，自今以后，通使往来，毋惑于交构之言，以生边衅。”但张士诚自恃高邮战役的大胜，且兵多将广，实力雄厚，遂将使官杨宪扣留而向镇江兴兵，结果在龙潭大北，退守常州。朱元璋乘胜困绕常州，俘获张士诚的两员上将，形势对张士诚十分倒霉。十月，张士诚请和，宁愿以每年输贡粮二十万石、黄金五百两、白金三百斤作为犒军之资。朱元璋得书后寸步不让，致书张士诚，责怪道：“挑起战端，责任完全在你”，“我很是讨厌你的蜚言夸辞”。随后他向常州增兵。至正十七年（1357年）又克长兴（今浙江长兴）、泰兴（今江苏泰兴）、江阴、常熟，张士诚之弟张士德在常州被俘，直到至正二十六年（1366年）朱元璋放肆进攻张士诚，双方战争频频，始终处于相持状态。
与徐寿辉部的接触，开始于巢湖水师破裂后。至正十八年（1358年）初，陈友谅、赵普胜进据池州，与朱元璋军在青阳、石埭、潜山有所交锋，赵普胜被杀后，陈友谅便以朱元璋为进攻重点。至正二十年（1360年）五月，陈友谅沿江而下，攻池州，不胜，转攻太平，双方交战中，朱元璋守将花云、朱文逊等战死。陈友谅在采石杀徐寿辉做了天子后，又向东去攻打应天，结果在龙湾遭到大北，逃到江州。朱元璋乘胜取太平、安庆，他的手下于光、欧普祥降于袁州，吴宏降于饶州，王溥降于建昌，胡廷瑞降于龙兴，陈友谅愈发伶仃无援。朱元璋也向由元朝控制的东南地域提倡攻势。至正十七年（1357年），邓愈、胡大海受朱元璋之命攻克徽州、休宁，进攻婺州（今浙江金华），战胜了由杨完者率领的苗军。九月，朱元璋命费子贤取武康（今浙江德清西）。十月，命缪富翁取扬州，“青军”张明鉴投降。至正十八年（1358年）六月，邓愈、胡大海取浦江（今浙江浦江）。十一月，朱元璋亲自征战婺州，一月之间便将其攻克。至正十九年（1359年）二月，朱元璋命邵荣攻湖州（今浙江湖州）。五月，朱元璋又被韩宋朝廷升为江南行省左丞相。八月，命常遇春攻衢州，九月克之。
十月，胡大海克处州。至正二十年（1360年）五月，胡大海攻信州。至此，朱元璋的队伍占领了皖南、浙江的许多都市，在南方稳下脚来，便开始对陈友谅提倡了一系列进攻。