Zwardoń jest stosunkowo młodą miejscowością. Czas jego powstania nie jest dokładnie znany. Był to prawdopodobnie XVII wiek. Chociaż przypuszczalnie istniała tutaj wcześniej graniczna osada czy też punkt celny na szlaku handlowym.
Najstarszą częścią Zwardonia jest osiedle Myto. Prawdopodobnie około XVII-XVIII wieku, zjawiło się tutaj czterech braci o nazwisku Zwardoń. Na niczyich ziemiach postawili oni zagrody, zajmując się hodowlą owiec i bydła. Prawdopodobnie byli to osadnicy Wołoscy posuwający się zboczami gór Beskidu Żywieckiego, którzy nie znaleźli miejsca w zasiedlonych górach Beskidu Śląskiego, albo też włościanie przeniesieni w górne rejony Soły, z przeludnionych wsi dookoła Węgierskiej Górki.
Nazwa Zwardoń pojawia się na mapie końcem XVIII wieku przy istniejącym już wówczas bitym trakcie oraz w dokumentach określających zasięg cyrkułu myślenickiego (od 1821 roku wadowickiego). W końcu XVIII wieku za panowania cesarza Józefa II zbudowano przez Przełęcz Przysłop, zgodnie z przebiegiem starego szlaku handlowego, tzw. trakt cesarski czyli popularną „cesarkę”. W XIX wieku Zwardoń znalazł się w dobrach Wielopolskich, ale od roku 1813 dobra Soli, a wraz z nią i Zwardonia przypadły hrabiemu Szembekowi. Majątek ten w latach 70. XIX wieku wykupili Habsburgowie (Albrecht i Karol).
3 listopada 1884 r. została otwarta linia kolejowa z Żywca do Czadcy przez Zwardoń. Teren ówczesnego Zwardonia (obecnie centrum) dookoła stacji kolejowej, na której zatrzymywały się pociągi pośpieszne jadące ze Lwowa przez Kraków do Wiednia, nazywał się „świńska młaka” – było to trzęsawisko otoczone lasami.