Eksploatacja lasu doprowadziła też do rozwoju flisactwa na górnej Sole. Spław drewna zaczynał się w Soli. Organizowano go kilka razy w roku: wiosną na św. Jana (24 czerwca), w lipcu koto św. Jakuba (25 lipca) i podczas jesiennego przyboru wód. Kres flisactwa nastąpił w roku 1884, kiedy to wybudowano linię kolejową z Żywca do Czadcy przez przeł. Zwardońską. Linia ta łączyła się w Czadcy z koleją koszycko-bogumińską, zaś w Żywcu z linią Bielsko-Sucha. W ten sposób Ziemia Żywiecka uzyskała dogodne połączenie z innymi ziemiami Austrii i całym europejskim światem. Wcześniej, za panowania cesarza Józefa II (1765-1790), tj. w latach 80-tych XVIII wieku zbudowano tutaj, zgodnie z przebiegiem starego szlaku handlowego, tzw. trakt cesarski, do dziś określany przez miejscową ludność cysorką. Obok gospodarki leśnej Habsburgowie rozwijali działalność przemysłową; stworzyli żywiecki browar, ukończyli budowę huty w Węgierskiej Górce (największa w Galicji) oraz zakładów metalurgicznych w Sporyszu (dziś Fabryka Śrub).
Niezależnie od zmian własnościowych następowały zmiany polityczne. W roku 1772 doszło do pierwszego rozbioru Polski, w wyniku którego Galicja (Małopolska), a wraz z nią Ziemia Żywiecka, dostała się pod panowanie Austrii. Administracyjnie Żywiecczyzna należała do powiatu Zatorskiego (jego siedzibę przeniesiono później do Kęt), wchodzącego kolejno w skład cyrkułów: w Wieliczce, Myślenicach i Wadowicach. Po reformie administracyjnej w 1867 roku w Żywcu utworzono samodzielny powiat, który zlikwidowano dopiero w okresie PRL w 1975 roku.
W 1 połowie XIX wieku Ziemia Żywiecka, jak zresztą cała Galicja, przeżyła okres intensywnej germanizacji. Do szkół i urzędów wprowadzony został język niemiecki. Wszystkie ważniejsze stanowiska w administracji państwowej obsadzono Niemcami i zniemczonymi Czechami. Także w administracji dóbr żywieckich Habsburgowie zatrudniali przeważnie Niemców i Czechów. Stanowili oni większość kadry kierowniczej w zakładach przemysłowych oraz dominowali w służbach leśnych. Tendencje germanizacyjne nasiliły się za rządów Albrechta Habsburga, kiedy to Żywiec otrzymał niemiecką nazwę Saybusch, a do robót leśnych sprowadzono pracowników z austriackiej Styrii.
Na Żywiecczyźnie głośnym echem odbiło się powstanie styczniowe 1863 roku. Marceli Jaksa, syn powstańca z 1830 roku (listopadowego) werbował tutaj ochotników. Byli oni wcielani do oddziałów Apolinarego Kurowskiego i Józefa Hauke-Bosaka.
W roku 1867, po przyznaniu swobód autonomicznych narodom wchodzącym w skład monarchii austriackiej, na Ziemi Żywieckiej zaczęła się rozwijać społeczno-kulturalno-oświatowa działalność polskich organizacji, takich jak Towarzystwo Szkoły Ludowej, Towarzystwo Pomocy Naukowej, Towarzystwo Gimnastyczne „Sokół”. Doprowadziła ona do rozbudzenia zainteresowań politycznych. W 1910 roku powstała tajna organizacja „Zarzewie”, a następnie Polska Organizacja Bojowa, które przygotowywały się do zbrojnej walki o niepodległość Polski.
W okresie zaborów nastąpił też wielki przełom spoleczno-gospodarczy. W wyniku Wiosny Ludów 1848 roku doszło do ostatecznego rozpadu ustroju feudalno-pańszczyźnianego. Zniesienie poddaństwa i pańszczyzny oraz uwłaszczenie chłopów w zasadniczy sposób zmieniło położenie ludności. Powoli rodził się kapitalizm. Na Żywiecczyźnie pierwszymi jego przejawami były powstające niewielkie zakłady przemysłowe, takie jak wspomniana już huta szkła w Złatnej (1819) i huta żelaza w Węgierskiej Górce (1838), a ponadto papiernia i huta żelaza w Rajczy (około 1840), fabryka produktów suchej destylacji drewna w Węgierskiej Górce, Żywiecka Fabryka Papieru „Solali” i inne.
Rozpad monarchii austriackiej po I wojnie światowej i odzyskanie niepodległości w 1918 roku nie przyniosło na Żywiecczyźnie większych zmian. Nie zostało odrobione wielowiekowe zacofanie gospodarcze. Wielkie posiadłości habsburskie, mimo pierwotnych obietnic, nie zostały upaństwowione ani rozparcelowane. Co prawda 28 listopada 1919 roku nad majątkiem Habsburgów ustanowiono przymusowy zarząd państwowy, a do sejmu skierowano projekt ustawy o ich wywłaszczeniu, to jednak zabiegi Karola Stefana w polskich kolach rządowych okazały się na tyle skuteczne, że nie tylko utrzymał swoją własność, ale nawet, w roku 1924, zdjęto z niej państwowy zarząd. Na taki obrót sytuacji wpłynęło bez wątpienia przyjęcie przez Karola Stefana polskiego obywatelstwa i jego lojalne zachowanie wobec polskich władz. W zamian za ustępstwa państwa Habsburg, w tymże samym roku 1924, przekazał część swoich dóbr Polskiej Akademii Umiejętności (poza omawianym terenem). Po śmierci Karola Stefana w roku 1933 resztę posiadłości oddziedziczyl jego syn Albrecht, który po wybuchu II wojny światowej został przez Niemców aresztowany za odmowę współpracy. Jego majątek skonfiskowano (Karol Albrecht zmarł po wojnie w Szwecji).
Gospodarstwa rolne międzywojennej Żywiecczyzny były karłowate, 32% z nich nie przekraczało powierzchni 1 ha, toteż nie mogły wyżywić pracujących na nich rodzin. Słabo rozwinięty przemysł nie był w stanie zapewnić pracy bezrobotnym. Próby rozwijania ruchu turystycznego i letniskowego, dokonywane przez Oddział Babiogórski Polskiego Towarzystwa Tatrzańskiego w Żywcu oraz przez Sekcję Miłośników Ziemi Żywieckiej przy Towarzystwie Szkól Ludowych w Żywcu, również nie przyniosły oczekiwanych rezultatów. W tej sytuacji dochodziło do licznych migracji zarobkowych „na Saksy” (do Niemiec) i do „Hameryki” (Stany Zjednoczone).
