В ноябре 1918 г. В Германии произошла революция. Кроме того, страна потерпела поражение в Первой мировой войне. Немцы стали оставлять ранее оккупированные территории и спешно покидать Украину. В декабре они оставили Харьков, где в тюрьме и находился Рыбалко. После освобождения он возвратился в родные места, поступил на службу в Лебединский военный комиссариат. Затем он добровольно вступил в РККА, а в марте 1919 г. возглавил боевой отряд уездной чрезвычайной комиссии (знаменитой ЧК). В июне Рыбалко назначают командиром роты Лебединского пехотного полка, который воевал против армии атамана Григорьева в составе группы войск под командованием легендарного героя Гражданской войны Александра Пархоменко. А уже в сентябре он принимает командование этим полком. В мае 1920 г. — новое назначение. Рыбалко становится комиссаром 84-го кавалерийского полка 14-й кавалерийской дивизии 1-й конной армии. Рыбалко воевал на Польском фронте, а также против врангелевцев, банд Махно на Украине, банд Белова и Пржевальского на Дону и Кубани, пройдя за годы Гражданской войны путь от рядового до комиссара бригады. За годы Гражданской войны Рыбалко был несколько раз ранен, награжден серебряными именными часами от ВЦИК, а в 1921 г. — орденом Красного Знамени.

В сентябре 1925 г. Рыбалко направляют на Курсы усовершенствования высшего начсостава РККА при Военной академии им. М. В. Фрунзе. После окончания курсов Рыбалко — командир эскадрона. Затем следует первая зарубежная командировка. В течение года Рыбалко служит в должности командира-комиссара отдельного кавалерийского дивизиона в Улан-Баторе. С октября 1928 г. И по май 1931 г. будущий танкист занимал должность командира-комиссара 7-го кавалерийского Черниговского червонного казачества полка 2-й кавалерийской дивизии Уральского военного округа.

В мае 1931 г. Рыбалко начал учебу в Военной академии РККА им. М. В. Фрунзе. 3 года учебы стали хорошей школой для будущего маршала. Он получил очень хорошую подготовку, Именно в этот период — период интенсивной модернизации Красной армии и формирования танковых войск — он, как и многие его сокурсники, понял, какое значение приобретают технические войска. После окончания учебы в академии Рыбалко направили в Китай. Теперь Павел Семенович выступал не только в качестве военного советника, но и собирал разведывательную информацию о вероятном противнике (Японии). Более 1,5 лет тяжелейшей работы в очень специфичных условиях. И вновь поставленные задачи оказались полностью выполненными.

В декабре 1935 г. полковник Рыбалко получает новое назначение — помощником командира 8-й Туркестанской горно-кавалерийской дивизии в Среднеазиатском военном округе. А в июле 1937 г. следует направление в Польшу в качестве военного атташе. 1 сентября 1939 г. началась Вторая мировая война. Она началась с нападения на Польшу. Через несколько недель некогда грозная польская армия оказалась полностью деморализованной и разбитой. Полковник Рыбалко стал невольным очевидцем трагедии Польши и ее армии. В апреле 1940 г. комбриг Рыбалко был назначен военным атташе в Китае. В декабре 1940 г. он был переведен в Москву, а еще через некоторое время стал начальником кафедры разведки в Высшей специальной школе Генерального штаба.

После начала Великой Отечественной войны генерал-майор Рыбалко продолжает готовить разведчиков. Его назначают заместителем начальника школы по учебной и научной работе. Но гибель нескольких родственников в боях с оккупантами делает Павла Семеновича еще более настойчивым в стремлении попасть на фронт. Единственный сын генерала Рыбалко — лейтенант Вилен Рыбалко — весной 1942 г. сгорел в танке во время боя в районе Барвенковского выступа… Вскоре П. С. Рыбалко назначили заместителем командующего 5-й танковой армией, которая формировалась в Московском военном округе.

Когда в тяжелых оборонительных боях под Воронежем погиб командующий армией отважный генерал, Герой Советского Союза А. И. Лизюков, П. С. Рыбалко пришлось заменить боевого товарища. Шла Сталинградская битва. 5-я танковая армия была переброшена на берег Волги. В этой обстановке командование приняло решение провести ротацию командующих 3-й и 5-й танковых армий. В результате командующим 5-й танковой армией стал опытный танкист генерал Романенко, а Рыбалко назначили командующим 3-й танковой армией, которая в тот период находилась на переформировании в тылу.

14 января 1943 г. танкисты Рыбалко начали наступление из района северо-западнее Кантемировки. В ходе Острогожско-Россошанской, а затем и Харьковской наступательных операций были освобождены сотни населенных пунктов, уничтожено и взято в плен более 100 тысяч вражеских солдат и офицеров. Заслуги командующего были отмечены присвоением очередного воинского звания «генерал-лейтенант» и награждением полководческим орденом Суворова I степени. Однако под Харьковом наши войска встретили ожесточенное сопротивление немцев. Более того, противник сам перешел в контрнаступление. Тяжело пришлось танкистам. За весь предыдущий период в ходе наступления они практически не получали пополнения, воевали без отдыха. Обескровленные, оставшиеся почти без материальной части, танковые бригады были окружены в начале марта 1943 г. В Харькове. Ценой неимоверных усилий танкистам все же удалось пробиться к своим и занять оборону по реке Северский Донец. 3-я танковая армия стала гвардейской. Она доказала свою мощь и силу уже вскоре, во время Курской битвы. Гвардейцы-танкисты умело действовали под Орлом, блестяще выполнив все поставленные перед ними задачи.

В гигантской битве за Днепр центральное место занимало, разумеется, Киевское направление. Наступление на данном направлении вели войска 1-го Украинского фронта под командованием генерала армии Н. Ф. Ватутина. В состав этого фронта входила и 3-я гвардейская танковая армия генерала Рыбалко. 3-я гвардейская наступала в полосе, достигшей 70 километров. За последние двое с небольшим суток перед выходом к Днепру ее танковые и мотострелковые бригады и артиллерийские полки преодолели почти 200 километров. На исходе 21 сентября передовые части подошли к реке. Форсировать Днепр танкистам армии Рыбалко предстояло у широкой излучины близ селений Большой и Малый Букрин.

Табельных переправочных средств для танков у армии не было. Поэтому первыми форсировали реку на подручных средствах автоматчики танковых и мотострелковых бригад. Подручные средства — это все, что может держаться на воде и с помощью чего сумеет переправиться на ту сторону хоть один солдат: плащ-палатка, сложенная конвертом и набитая сеном, наспех залатанная рыбачья лодка, плот, укрепленный на пустых бочках из-под бензина…

С захватом участков у сел Григоровка и Зарубинцы было положено начало боям за создание Букринского плацдарма. В течение октября 1943 г. войска Воронежского (с 20 октября — 1-го Украинского) фронта, а в их составе и войска 3-й гвардейской танковой армии вели непрерывные схватки с врагом за расширение Букринского плацдарма, проявляя при этом, как и при форсировании Днепра, высокое боевое мастерство, инициативу, беспримерный массовый героизм. В ходе боев на этом плацдарме сосредоточились крупные силы, которые готовились к решающему броску на Киев. Параллельно с созданием Букринского плацдарма в полосе Воронежского фронта создавался Лютежский плацдарм и ряд других. 3 ноября 1943 г. 38-я и 60-я армии внезапно для врага перешли в наступление. На следующий день в сражение была введена