Spod kościoła zaledwie parę kroków do żywieckiego zamku. Choć w pierwszej chwili nie jest widoczny, wystarczy wejść w okazałą bramę w ciągu kamienic prawie vis a vis kościelnej wieży by po chwili stanąć na skwerze tuż przed czworobocznym budynkiem zamku. Zbudowali go Komorowscy około 1500 roku (po zniszczeniu zameczku na pobliskim Grójcu). Ostateczny renesansowy kształt otrzymał w 1569 roku. W 1623 roku zamek przy biernej postawie Mikołaja Komorowskiego byl oblężony przez jego wierzycieli — Rylskich (zajęli także miasto Żywiec), którzy rozgrabili jego zbiory i wyposażenie. Kolejne przebudowy miały miejsce w latach 1708-21 (barokowa — Wielopolscy) i 1850-70 (neogotycka — Habsburgowie). Pomimo licznych przeróbek dotrwał jednak do naszych czasów przede wszystkim jako budowla renesansowa. Mimo trwającego praktycznie od lat 60-tych remontu, z zewnątrz nie prezentuje się najlepiej (fasada była znacznie zniszczona). Zwraca jednak uwagę niezbyt okazała czworoboczna wieża z pesudogotyckim krenelażem (na prawo od wejścia) i renesansowe portale. Natomiast po przekroczeniu bramy ukazuje się bardzo ciekawy dziedziniec. Mimo że nie jest rozległy, zachwyca pięknem i harmonią renesansowej architektury. Trzy kondygnacje misternych krużganków, których nie powstydziłby się niejeden włoski pałac czy zameczek, są jakby miniaturą dziedzińca wawelskiego. Latem odbywają się tu koncerty muzyki dawnej. Z dziedzińca prowadzi wejście do sal wystawowych muzeum (czynne oprócz pon. w godz. 9.00-16.00). Ekspozycja prezentuje historię miasta i regionu (m.in. Dziejopis Żywiecki, stroje mieszczańskie, pieczęcie cechowe) oraz dawną sztukę sakralną, a także czasowe wystawy malarstwa i rękodzieła artystycznego miejscowych twórców. Z dziedzińca prowadzi również wejście do przytulnej kawiarenki Rycerskiej (nastrojowe wnętrze).
Od zamku rozpoczynają się tereny starego parku. Na jego skraju, w bezpośrednim sąsiedztwie starego zamku zwraca uwagę klasycystyczny pałac. Zbudowali go Habsburgowie w latach 1885-95 jako nowocześniejszą rezydencję magnacką (wraz z kaplicą zburzoną przez Niemców w 1940 roku). Ten w większości parterowy budynek o trzech skrzydłach nosi znamiona dawnego przepychu łub przynajmniej subtelnej elegancji. Obecnie w części budynku mieści się szkoła leśna, zaś część pomieszczeń pełni funkcje reprezentacyjne — np. lustrzana sala balowa, która ze względu na doskonałą akustykę wykorzystywana jest jako sala koncertowa. Z ciekawostek warto zwrócić uwagę na frontową elewację z malowidłem przedstawiającym legendę o św. Hubercie, patronie myśliwych, któremu ukazał się jeleń z krzyżem pomiędzy rogami.
Od pałacu szerokie aleje prowadzą w głąb rozległego parku zamkowego (dziś oficjalnie — park miejski). Założono go w 1712 roku jako ogród geometryczny (park francuski) a w połowie XIX w. całkowicie przekomponowano na park krajobrazowy w stylu angielskim (najokazalszy w południowej Polsce — 25 ha). Wspaniale okazy drzew ocieniają parkowe aleje, które stylowymi mostkami pokonują malownicze strugi. Pośrodku parku na wysepce stoi filigranowy ośmioboczny domek chiński (jeszcze z 2. poł. XVIII w.) — wybudowany przez Wielopolskich (ich herb Starykoń zdobi dach i kamień pod balkonem). Latem czynna jest tu kawiarenka oraz niewielka galeria. Z parku najlepiej wyjść aleją na tyłach zamku w stronę ul. Kościuszki. Przy wyjściu po lewej stronie stoi hotel i elegancka restauracja Staropolska. Kierując się w prawo ul. Kościuszki do skrzyżowania z dochodzącą ukośnie z lewej strony ul. Świętokrzyską można dojść do najstarszego zabytku sakralnego w Żywcu — gotyckiego kościoła św. Krzyża. Pochodzi z końca XIV w. i stal w centrum pierwotnej osady—Starego Żywca. Sylwetki nie ma zbyt smuklej, ale jego ściany wspierają typowo gotyckie przypory a całość wieńczy pięknie zachowany gontowy dach. Nawę zamyka okrągła absyda (z czasów przebudowy w 1690 roku, którą zdobi okazała pasja (trzy krzyże) z 1710 roku. Wewnątrz również znajdują się dwa zabytkowe krucyfiksy: XV–wieczny w kruchcie i wczesnobarokowy w ołtarzu głównym. Znajdowało się tu również arcydzieło gotyckiej sztuki snycerskiej — XIV-wieczna rzeźba św. Anny Samotrzeciej — obecnie w Muzeum Ziemi Żywieckiej (ul. Kościuszki 5 — niedaleko dzwonnicy), podobnie jak przeniesione z kościoła wspaniale Zdjęcie z Krzyża z ok. 1450 roku.
Z innych zabytków Żywca warto jeszcze zwrócić uwagę na murowany kościół św. Marka z 1885 roku z obrazem pędzla Teodora Stachowicza z 1834 roku, kościół cmentarny Przemienienia Pańskiego z potowy XIX w. i ciekawą kaplicę św. Wita z 1869 roku. Stoi ona na miejscu dawnej drewnianej, wybudowanej na polecenie króla Jana Kazimierza przy źródle, z którego woda miała go ponoć uzdrowić w czasie pobytu w Żywcu (zatrzymał się tu w podróży do Francji po abdykacji). Obiektem zabytkowym jest również żywiecki browar (1856 roku), którego zabudowania znajdują się na południowych rubieżach miasta, po prawej stronie drogi biegnącej w kierunku Węgierskiej Górki.
W Żywcu jest bogata infrastruktura turystyczna. Noclegi zapewniają hotele w centrum miasta: Polonia, Staropolski, Roma (wszystkie przy ul. Kościuszki). Tańsze jest Schronisko Młodzieżowe (ul. ks. Słomki — koło dworca PKS) oraz duży camping Dębina przy wylotowej drodze w kierunku Jeleśni (ul. Kopernika). W centrum w rejonie ul. Kościuszki znajdują się też liczne restauracje (głównie przyhotelowe) a także kawiarnie, bary i piwiarnie.
Ważniejsze instytucje publiczne to: Urząd Miasta — ul. Powstańców Śl. 9, poczta — ul. Kościuszki 31, szpital rejonowy — ul. Sienkiewicza 52, pogotowie ratunkowe — ul. Handlowa 5, tel. 61-38-05, apteki (m.in. ul.Dworcowa, Kościuszki, Rynek), policja — ul. Piłsudskiego 52, tel 62-24–31, straż pożarna, ul. Objazdowa 2, tel. 61-24-11.
Dojazd do Żywca zapewnia PKP: pociągi z Bielska-Białej, Suchej. B, Zwardonia, a także dalekobieżne m.in. z Katowic i Warszawy, oraz PKS, dla którego Żywiec jest głównym węzłem w regionie. Tu docierają autobusy m.in. z Krakowa i Katowic, stąd wyruszają autobusy do prawie wszystkich miejscowości zachodniej części Beskidu Żywieckiego. Rozbudowana jest również komunikacja podmiejska MZK — linie m.in. do: Trzebini, Przyłękowa, Wieprza, Jeleśni i in.
W Żywcu odbywa się corocznie kilka ciekawych imprez kulturalnych i regionalnych. Należą do nich m. in: Żywieckie Gody—przegląd zespołów kolędniczych i obrzędowych (w styczniu), imprezy folklorystyczne w ramach Tygodnia Kultury Beskidzkiej (w lipcu i sierpniu) czy Dni Muzyki Dawnej (latem na dziedzińcu zamkowym).
Trasa 16Ż/NZ.