Za rządów Komorowskich, na początku XVI wieku, pojawili się na Żywiecczyźnie pierwsi osadnicy wołoscy. Z 1511 roku pochodzą dane dotyczące pobierania podatku od Wołochów, zaś z 1520 roku opłat od hodowanych przez nich owiec. Koczujący pasterze z czasem zakładali stale osiedla. Dokumenty lokacyjne wsi zakładanych na prawie wołoskim w okresie XVI i XVII wieku nie zachowały się. Najprawdopodobniej jednak na omawianym obszarze najstarszymi wsiami wołoskimi, pochodzącymi z początku XVI wieku są: Jeleśnia, Sopotnia Mała i Wielka oraz Korbielów. Pod koniec XVI wieku założony został Cisiec (wieś mieszana rolniczo-pasterska) i Rajcza, na początku XVII wieku Ujsoły i Żabnica, wreszcie najpóźniej, bo pod koniec XVII wieku Glinka i Zlatna. Pasterskie osadnictwo wołoskie było uzupełniane przez ludność wędrującą w górę strumieni z przeludnionych osad w dolinach, w tym także zbiegami z nadmiernie eksploatowanych pańszczyźnianych wsi rolniczych. Gospodarka folwarczno-pańszczyźniana pojawiła się na Żywiecczyźnie w 2 połowie XVI wieku, kiedy to w roku 1568 Jan Spytek i Krzysztof Komorowski utworzyli pierwszy folwark, tzw. zamkowy, w Żywcu. Mikołaj Komorowski zakładał dalsze folwarki, w tym na omawianym obszarze w Świnnej, Wieprzu i Węgierskiej Górce. Jego bezwzględne rządy spowodowały masowe zbiegostwo chłopów, a także przyczyniły się do wzmożenia zjawiska zbójnictwa. Warto podkreślić, że uciekający z dóbr Komorowskich chłopi przedostawali się na Orawę (między innymi Mutne, Nowoć, Półgóra, Rabcza, Sihelne, Wesołe, Zakamienne), gdzie stanowili ważny żywioł osadniczy, wykorzystywany podczas lokacji wsi przez węgierskich właścicieli dóbr. Istotne jest, że wsie lokowane na prawie wołoskim nie znały pańszczyzny.
W 1618 roku Mikołaj Komorowski zmuszony brakiem pieniędzy, sprzedał dobra łodygowickie, zaś w 1623 roku uciekł z Żywca przed wierzycielami — Rylskimi, którzy najechali i splądrowali miasto. W tej sytuacji w następnym roku Komorowski, za sumę 600 000 złotych, oddal państwo żywieckie jako zastaw królowej Konstancji, żonie Zygmunta III Wazy. Po królowej Ziemię Żywiecką dziedziczyli jej synowie: biskup płocki i wrocławski kardynał Ferdynand oraz późniejszy król Polski — Jan Kazimierz.
W okresie potopu szwedzkiego górale żywieccy walczyli przeciwko Szwedom, formując odrębne oddziały. Dzięki ich odsieczy, ciągnącej z głębi gór, zaskoczeni Szwedzi oddali Żywiec i wycofali się z Żywiecczyzny. Postawa żywieckich górali była reakcją na wydany przez Jana Kazimierza w Żywcu w roku 1655 uniwersał, w którym król zwracał się do mieszkańców Żywiecczyzny, jako swoich poddanych, aby podjęli walkę z najeźdźcą. Za udział w wojnie przeciw Szwedom król obiecywał uwolnienie poddanych od ciężarów zamkowych na okres trzech lat. Po zakończeniu wojen szwedzkich za wierność i patriotyczną postawę wielu otrzymało przywileje i nadania królewskie.
W 1660 roku Żywiecczyzna została spustoszona przez królewskie oddziały wojskowe, którym nie wypłacono żołdu. Oddziały te zawiązały konfederację pod nazwą Związek Święcony i Związek Pobożny, aby samodzielnie ściągać należności, a faktycznie rabowały, niszczyły zasiewy, a nawet paliły wsie. Niewiele lepiej obchodził się z ludnością oddział wojsk królewskich wysłany przeciw konfederatom. Ten epizod do tego stopnia zrujnował gospodarkę wielu wsi, że opuściło je wówczas prawie 2500 osób. Część z nich przeniosła się na niezasiedlone dotychczas tereny w górnym dorzeczu Soły, inni, przekroczywszy karpackie przełęcze, dostali się na Orawę, bądź też przeszli na ziemie śląskie.
Po śmierci Jana Kazimierza we Francji w roku 1672, zadłużone dobra żywieckie wydzierżawione zostały na lat 5 Wawrzyńcowi Wodzickiemu. Po nim objął je, a następnie wykupił w roku 1678, Jan Wielopolski — „pan” na zamku w Pieskowej Skale, późniejszy kanclerz wielki koronny. Poprzez małżeństwo z Konstancją Komorowską (1665) ostatnią dziedziczką „państwa” suskiego, a później również ślemieńskiego, skupił w jednym ręku wszystkie dawne dobra Komorowskich. Po Janie Wielopolskim całą tę fortunę w roku 1688 odziedziczył Franciszek z Wielopolskich Gonzaga Myszkowski, późniejszy wojewoda krakowski. Za jego czasów przez okres 40 lat wójtem Żywca był Andrzej Komoniecki, autor potężnego 500-stronnicowego dzieła pt. Chronografia albo Dziejopis Żywiecki, kroniki, która po dziś dzień stanowi podstawowe źródło dotyczące przeszłości Żywiecczyzny. W roku 1740, w kilka lat po śmierci Franciszka, żywiecki majątek ponownie podzielono na trzy części tak, że Żywiecczyznę otrzymał najstarszy syn Karol, wielki chorąży koronny i starosta generalny małopolski. W roku 1776, po śmierci Karola, nastąpił kolejny podział, również pomiędzy trzech synów. Żywiec z kluczem (folwarkiem) zamkowym otrzymał ordynat pińczowski Franciszek Myszkowski, pozostałe klucze Kotliny Żywieckiej z Cięciną, Ciścem i Milówką — Ignacy, resztę dóbr — najmłodszy syn Józef. Wkrótce nastąpiły dalsze podziały. Rozczłonkowane i obciążone długami dobra przypadły wierzycielom.
Na początku XIX wieku właścicielem tutejszych wsi był ostatni dziedzic Żywiecczyzny z rodu Wielopolskich — hrabia Adam. Próbował on ratować resztki swojej fortuny przez budowę zakładów przemysłowych. W 1819 roku założył hutę szkła w Złatnej, a w roku 1838 rozpoczął budowę huty żelaza w Węgierskiej Górce, która pracowała w oparciu o miejscową niskoprocentową (12%) rudę darniową. Inwestycje te zwiększyły popyt na drewno, które spławiano z gór potokami. Urządzenia spławne, tzw. klauzy, istniały w dolinie potoku Ujsola przy wjeździe do Ujsoł oraz w dolinie potoku Straceniec w Zlatnej. Ponieważ założone zakłady nie przynosiły spodziewanych zysków 6 listopada 1838 roku hrabia Adam sprzedał swoje dobra. Wykupił je arcyksiążę Karol Ludwik Habsburg, który w tym czasie posiadał już rozległy majątek na pograniczu śląsko-żywieckim. Od 1847 roku wykup dóbr żywieckich kontynuował syn Karola Ludwika Albrecht. W momencie śmierci Albrechta Habsburga w 1895 roku jego posiadłości zajmowały ogromne terytorium od granicy śląsko-morawskiej na rzece Ostrawicy (dobra cieszyńskie) przez Żywiecczyznę (większość dawnego „państwa żywieckiego”) do Lanckorony, Makowa i Babiej Góry. Dobra bezdzietnego Albrechta odziedziczyli jego dwaj bratankowie. Wówczas Żywiecczyzna dostała się w ręce Karola Stefana Habsburga, który na początku XX wieku odkupił jeszcze od księcia Władysława Lubomirskiego Rajczę. Majątek Karola Stefana składał się przede wszystkim z lasów, toteż Habsburgowie od początku nastawili się na gospodarkę leśną. Spowodowała ona znaczne ograniczenie szałaśnictwa i dostępu chłopów do korzystania z zasobów lasu. Zakazywano wycinania drzew i wyrządzania innych szkód (np. cerhlenie). Jednocześnie wykupywano od ludzi pola uprawne i zalesiano. Tym postępowym zresztą działaniom towarzyszyła intensywna eksploatacja. Wycinano prastarą puszczę karpacką — dorodne lasy bukowo-jodłowe i świerkowe. Na ich miejsce wprowadzano wydajniejsze monokultury świerkowe z domieszką jodły.
