Zamek pokrzyżacki z przełomu XIV i XV wieku (1398 - 1405), zbudowany na planie prostokąta. Posiada trzy baszty okrągłe (Młyńska, Różana i Polna) oraz czworoboczną wieżę Prochową (zniszczona w czasie wojen szwedzkich i odbudowana dopiero w okresie międzywojennym). Główny i najstarszy gotycki budynek, tzw. Dom Zakonny (obecnie muzeum) znajduje się w północno zachodniej części zamku. W latach 1560-1570 książęta pomorscy przeprowadzili gruntowną przebudowę bytowskiej warowni. Powstał wówczas Dom Książęcy (obecnie hotel) i nie istniejąca Kancelaria Książęca. Swój wygląd zmieniła także wieża bramna. W 1623 roku wybudowano Dom Wdów (obecnie biblioteka). Zamek w okresie swej świetności pełnił rolę strażnicy granicznej, siedziby administracji krzyżackiej oraz zajazdu dla rycerstwa zachodnioeuropejskiego podążającego do stolicy państwa krzyżackiego - Malborka.
Po przebudowie w XVI i XVII w. zamek pełnił funkcję letniej rezydencji książąt zachodniopomorskich - Gryfitów. Po 1930 r. niemieckie władze państwowe przeznaczyły zamek na ośrodek szkoleniowy i schronisko dla młodzieży. Pod koniec lat 60-tych przystąpiono do programu odbudowy zamku bytowskiego, który odzyskał swoją świetność. Przy północnym murze znajduje się Dom Zakonny, naprzeciw Dom Książęcy, zaś przy murze wschodnim Dom Wdów i Dom Sądu. Obecnie w zamku mieści się Bytowski Ośrodek Informacji Turystycznej, siedziba Zarządu Kompleksu Zamkowego, Kaszubsko-Pomorskiego Bractwa Rycerzy Zamku Bytowskiego, siedziba Zrzeszenia Kaszubsko - Pomorskiego, Izba Przemysłowo Handlowa, Biblioteka Miejska i Powiatowa.
W dawnym Domu Książęcym przygotowano dla gości restaurację i hotel, zaś skrzydło północne zajmuje Muzeum Zachodnio-Kaszubskie prezentujące bogate i ciekawe zbiory etnograficzne oraz czasowe wystawy współczesnego malarstwa, fotografiki i sztuki ludowej. W salach bytowskiego zamku odbywają się koncerty, wernisaże, spotkania, a na dziedzińcu turnieje rycerskie, co sprawia, że pobyt w tym urokliwym miejscu staje się jeszcze bardziej atrakcyjny. Zamek bytowski został włączony w utworzony ostatnio w Polsce Północnej "Szlak Zamków Gotyckich".
