Na początku XX wieku coraz wyraźniej zarysowywał się konflikt pomiędzy zaborcami Polski, Austro-Węgrami i Niemcami z jednej, a Rosją z drugiej strony. Prawdopodobny stawał się wybuch wojny. W polskiej myśli politycznej obecne były w tym czasie dwie orientacje. Pierwsza z nich, proaustriacka, zakładała przekształcenie Monarchii Austro-Węgierskiej w państwo trialistyczne, w którym ziemie polskie, powiększone o tereny odebrane Rosji, stanowiłyby równorzędną Austrii i Węgrom część państwa. Koncepcję przeciwstawną prezentowali zwolennicy sojuszu z Rosją i jednoczenia ziem polskich pod berłem cara. Józef Piłsudski zakładał, iż w sprzyjających warunkach możliwe będzie wywołanie powstania na ziemiach zaboru rosyjskiego i powołanie powstańczego rządu, a więc stworzenie faktów dokonanych, z którymi musiałyby się liczyć rządy w Wiedniu i Berlinie. Celem strategicznym jego koncepcji było osiągnięcie niepodległości Polski, doraźnym – autonomia w ramach Cesarstwa Austro-Węgierskiego. W warunkach narastającego kryzysu w Europie polscy politycy w Galicji zawarli porozumienie, w efekcie którego już jesienią 1912 r. powstała Komisja Tymczasowa Skonfederowanych Stronnictw Niepodległościowych, stawiająca sobie za cel koordynację działań niepodległościowych i stworzenie siły zbrojnej do walki z Rosją. Przygotowania struktur wojskowych, które wraz z Polskim Skarbem Wojskowym podporządkowano 1 grudnia 1912 r. Józefowi Piłsudskiemu, obejmowały tworzenie organizacji prowadzących szkolenie militarne i przygotowujących przyszłe kadry oficerskie i podoficerskie. Powstały więc: Związek Strzelecki (tworzony przez Strzelca i Polskie Drużyny Strzeleckie), Polowe Drużyny Sokoła, Drużyny Bartoszowe.

Tuż po rozpoczęciu działań wojskowych w 1914 r. Józef Piłsudski zainteresował swoją koncepcją wojskowe władze austriackie. Próba jej realizacji – wkroczenie Kompanii Kadrowej do Królestwa Polskiego (6 sierpnia 1914 r.) i zajęcie Kielc nie doprowadziły do wybuchu powstania. W tych okolicznościach władze austriackie zdecydowały się rozwiązać oddziały Piłsudskiego. Ostatecznie uratowało je utworzenie w dniu 16 sierpnia 1914 r. Naczelnego Komitetu Narodowego (N.K.N.), który powoływał do życia polskie formacje zbrojne mające status oddziałów austriackiego pospolitego ruszenia, ale wyróżniające się polską komendą i mundurem. Oddziały te miały nosić nazwę Legionu Zachodniego (formowanego w Krakowie) i Wschodniego (tworzonego we Lwowie). Pod wpływem niepowodzeń austriackich wojsk w Galicji Wschodniej i zdominowania Legionu Wschodniego przez zwolenników Narodowej Demokracji sympatyzujących z Rosją oraz konieczności składania przysięgi według słów roty austriackiego pospolitego ruszenia oddział ten rozpadł się w Mszanie Dolnej we wrześniu 1914 r. W tych warunkach z oddziałów Legionu Zachodniego i resztek Wschodniego utworzono trzy pułki piechoty i dwa dywizjony kawalerii, z których 1. pułk piechoty i dywizjon kawalerii pod dowództwem Józefa Piłsudskiego walczyły w 1914 r. w Królestwie Polskim i na Podhalu (największe bitwy pod Laskami, Krzywopłotami i Łowczówkiem). W grudniu 1914 r. oddziały Piłsudskiego otrzymały nazwę I Brygady Legionów Polskich. 2. i 3. pułk piechoty oraz dywizjon kawalerii, dowodzone przez Zygmunta Zielińskiego i Józefa Hallera (podlegające Komendzie Legionów złożonej z oficerów austriackich), wysłano w październiku 1914 r. do obrony przełęczy w Karpatach Wschodnich. Stoczyły one szereg ciężkich bitew (m.in. pod Rafajłową, Zieloną, Pasieczną, Nadwórną i Mołotkowem), których trudy pomnożone zostały jeszcze przez działania w warunkach zimowych w terenie górskim. Oddziały te otrzymały w marcu 1915 r. nazwę II Brygady Legionów Polskich, lecz powszechnie mówiono o nich Karpacka lub Żelazna Brygada.

Rok 1915 przyniósł kolejne walki oraz rozbudowę formacji legionowych. I Brygada w dalszym ciągu walczyła w Królestwie Polskim (m.in. nad Nidą i pod Konarami), natomiast II Brygada przerzucona została na Bukowinę, a następnie do Besarabii. Jej oddziały odznaczyły się zwłaszcza w bitwach pod Rokitną, gdzie doszło do słynnej szarży ułanów i pod Rarańczą. W październiku 1915 r. powstała III Brygada Legionów Polskich, a wszystkie oddziały legionowe zostały skoncentrowane na Wołyniu, gdzie walczyły przez rok do października 1916 r., staczając m.in. bitwę pod Kostiuchnówką. W tym okresie Legiony Polskie liczyły sześć pułków piechoty, dwa pułki kawalerii, pułk artylerii i pododdziały służb – łącznie ok. 25 000 żołnierzy.

Konsekwencje obliczonej na pozyskanie polskiego rekruta proklamacji cesarzy Franciszka Józefa I i Wilhelma II z 5 listopada 1916 r., a przede wszystkim spór pomiędzy Józefem Piłsudskim, który, widząc w Legionach jedynie narzędzie demonstracji politycznej, przeciwny był ich dalszemu rozwojowi, a forsującym ich rozbudowę Departamentem Wojskowym Naczelnego Komitetu Narodowego, kierowanym przez Władysława Sikorskiego, doprowadziły do rozbicia tej formacji. Józef Piłsudski w październiku 1916 r. poprosił o dymisję, a oddziały legionowe wycofane z frontu zaczęto reorganizować w Polski Korpus Posiłkowy. Przekazano je także spod dowództwa austriackiego pod zwierzchnictwo niemieckie. Konieczność złożenia nowej przysięgi zawierającej zwrot o dotrzymaniu sojuszu z armiami niemiecką i austro-węgierską doprowadziła w lipcu 1917 r. do tzw. kryzysu przysięgowego. Żołnierzy pochodzących z Królestwa Polskiego, którzy powyższą przysięgę złożyli, wcielono do Polskiej Siły Zbrojnej, obywateli austriackich do Polskiego Korpusu Posiłkowego, odsyłając ich pod dawną komendę. Odmawiających złożenia przysięgi poddanych austriackich wcielono do oddziałów armii austro-węgierskiej, a pochodzących z Królestwa Polskiego internowano w Szczypiornie i Beniaminowie.

W proteście przeciw postanowieniom traktatu brzeskiego zawartego w lutym 1918 r. część oddziałów Polskiego Korpusu Posiłkowego przebiła się w nocy z 15 na 16 lutego 1918 r. przez front na stronę rosyjską pod Rarańczą, gdzie połączyła się z oddziałami II Korpusu Polskiego i stoczyła 11 maja 1918 r. bitwę z Niemcami pod Kaniowem. Żołnierze oddziałów, którym nie udało się przedarcie przez front, zostali wcieleni do oddziałów austriackich na froncie włoskim. Stu ośmiu oficerów i żołnierzy uznanych za przywódców buntu postawiono przed sądem w Máramaros-Sziget, lecz ich proces na skutek sytuacji politycznej i wojskowej cesarz austriacki Karol przerwał we wrześniu 1918 r. W dwa miesiące później na miejscu rozbitych państw zaborczych powstała niepodległa Polska.