Změny majitelů, rozvoj a zánik 

Po vymření krumlovské větve Vítkovců v roce 1302 zdědil hrad (a k němu náležejících 14 vesnic a sklářskou huť) příbuzný Jindřich I. z Rožmberka a po něm jeho syn, Petr I. z Rožmberka, zvaný Kajícník. Ten nechal v blízké osadě  vybudovat také nový kostel Utrpení Těla Ježíše Krista (Božího Těla). Původně zde prý stávala poutní kaple již roku 1252, sakristie je původní.
15. srpna 1347 určují Petr z Rožmberka, jeho choť Kateřina, jakož i jeho synové Petr a Jošt "...farnímu kostelu na Vítkově Kameni dávky ode dvou poddaných z Haderntalu (pozdější Horní Markov) na udržování věčného světla". To ovšem předpokládá farní kostel s trvalým duchovním správcem. Jistě byl kostel na Vítkově Kameni, byť i skrovně, dotován. Ještě roku 1862 mu příslušela 3 jitra a 1565 sáhů luk v okolí (= necelých 1,5 ha).  

Kostel prošel několika přestavbami, byl opuštěn, poničen, rozstřílen cvičnou střelbou, rozkraden, hrozilo mu zřícení. Díky pomoci bývalých německých obyvatel ale přežil a byl nákladně opraven a znovu vysvěcen. Z původní podoby se částečně dochoval lomený oblouk západní brány kostela, dveřní ostění v chóru a západní okno s pětibokou kružbou v chóru. Na severní straně chóru se nachází nástěnná malba z prvního gotického slohu ze 14. století, která byla objevena teprve před několika lety. Malba zobrazuje Pannu Marii s Ježíškem a Tři krále.

Vrátíme se ale zpět k Hrádku. Vítkův hrádek sice nesloužil jako sídlo Rožmberků, avšak jejich moc zde byla zastupována určeným purkrabím, jehož přítomnost je na hradě poprvé doložena k roku 1381. Jmenoval se Mikuláš a k jeho povinnostem patřilo kromě správy hradu a panství také vybírání veškerých poplatků včetně mýta na obchodní stezce. V držení mocného rodu Rožmberků bude Vítkův Hrádek s krátkou přestávkou následujících 300 let. V červenci roku 1394 se Hrádek stal na jednu noc místem nedobrovolného pobytu českého krále Václava IV., zajatého vzbouřenou českou šlechtou v čele s Jindřichem III. z Rožmberka, který jej z Prahy po svých hradech přepravoval na rakouský hrad Wildberg. 

Husitské války hrad naštěstí nijak nezasáhly, ale okolní krajina velmi trpěla pod nájezdy husitských vojsk. Byla dobyta některá významná místa, například město Prachatice či Zlatokorunský a Vyšebrodský klášter. Tato skutečnost vedla Oldřicha k uzavření míru s Tábority 10. září 1424. Ve smlouvě byly chráněny právě rožmberské hrady na Vltavě. Potřeba získávat neustále finance na nákladné boje s husity vedly Oldřicha II. z Rožmberka k odprodeji Vítkova Hrádku 9. srpna 1427 jeho švagrovi Reinprechtovi von Wallsee. Za Hrádek zaplatil 2000 kop Vídeňských halířů. Roku 1464 vykupuje Oldřichův nejmladší syn Jan Vítkův Hrádek zpět a po této události se opět stal jejich správním bodem.

Posledním jmenovaným správcem Vítkova Hrádku je v listině z roku 1587 Jan Jeřábek z Frankenleben. Posledním rožmberským majitelem a zároveň posledním zástupcem tohoto rodu byl Petr Vok z Rožmberka. Po smrti staršího bratra Viléma († 1592) po něm zdědil tzv. "Rožmberské dominium", nejucelenější středověké panství v rámci českého království na velké části území jižních Čech. S ním ale také zdědil po dlouhá léta narůstající obrovské dluhy. V důsledku finanční tísně prodal Petr Vok v roce 1601 českokrumlovské panství včetně Vítkova Hrádku císaři Rudolfu II., čímž se stal Hrádek císařským majetkem na dvě desetiletí a zde definitivně končí éra Rožmberků, jakožto majitelů hradu. 

V době sporů mezi habsburskými bratry Rudolfem II. a Matyášem obsadila v lednu roku 1611 Český Krumlov vojska pasovského biskupa Leopolda, která pustošila celé okolí města. Dalšímu drancování stihl ještě zabránit Petr Vok z Rožmberka, který pasovské vojsko vyplatil. Císař Rudolf byl donucen k abdikaci a na trůn se usadil jeho mladší bratr, Matyáš Habsburský. Naděje, že bude lepším než jeho předchůdce, se ale brzy rozplynula, neboť se projevil jen jako slabý a váhavý panovník. Během stavovského povstání roku 1618 ovládla Vítkův Hrádek nakrátko vzbouřená česká šlechta. Po porážce stavovského vojska na Bílé hoře byl hrádek znovu obsazen císařskou posádkou.

Od roku 1622 vlastnil panství Krumlov i Vítkův Hrádek štýrský rod Eggenbergů. Bezpečnost místa v neklidných dobách tehdy zajišťovala hradní vojenská hotovost o síle 200 ozbrojených mužů pod velením hejtmana Fuxe. Dramatické dějiny okolí během třicetileté války a trojí průchod švédských vojsk v období 1641 - 1648 daly příčinu k domněnce, že byl hrad v těchto letech zpustošen a vypálen. Tomu odpovídá i text povídky Hvozd autora Adalberta Stiftera.
Ovšem podrobný inventář z roku 1649 však ještě uvádí stavbu jako obyvatelnou - se vstupní branou s padacím mostem z dubového dřeva, dvěma mřížemi a místností branného, konírnou, baštou s vězením, baštou se sklepem, hradní věž se schodištěm a místnostmi (chodba, spižírna, kuchyně, důstojnický pokoj, pokoj hejtmana, dvě komory a hlavní sálová prostora s bílými kachlovými kamny). Okna v obytných patrech měla sklené výplně a venkovní mříže. Zpráva detailně popisuje také bohaté zásoby vojenské jednotky. O 70 let později se v listinách vyskytuje také solnice.

Po roce 1649 byl hrad využíván spíše jako správní centrum a nezaujímal zřejmě významnější místo, neboť ani pečlivý rožmberský kronikář Václav Břežan o Vítkově Hrádku nic nezaznamenal. Z toho je patrno, že Hrádek ztrácel na významu. Ovšem vojenský a strážní význam zde přetrvával, na rozdíl od jiných hradů, až do novověku. Byli zde ubytováváni úředníci, hejtmani a správci, kteří dohlíželi na chod hradu a přilehlých osad.

V následující době Vítkův Hrádek stále ztrácí na strategickém významu. Schwarzenbergové, kteří Hrádek vlastnili od roku 1719, zde sice umístili správce polesí a v roce 1725 provedli nejnutnější opravy střech, poté už však Hrádek jen nezadržitelně chátral, Schwarzenbergové si totiž v nedalekém sv. Tomáši postavili komfortní lovecký zámeček. Z tohoto roku také pochází písemná zmínka o obyvatelném hradu. Poté byl zřejmě ponechán svému osudu a stal se vítaným zdrojem stavebního materiálu. 

V průběhu 18. století Hrádek nadále chátral, přispěl k tomu i požár, při kterém shořelo všechno dřevěné vybavení. Již roku 1797 je Vítkův Hrádek v pramenech jmenován ruinou. V říjnu roku 1869 rozhodl kníže Jan Adolf Schwarzenberg o opravě hradu a jeho zachování pro budoucí generace. Záchrannou akcí bylo (v souvislosti s návštěvou korunního prince Rudolfa v červenci 1871) provedení konzervace zdiva, zajištění železnými svorníky, při vnitřním obvodu vystavění dřevěného schodiště a vyhlídkové terasy. Ještě hradní studna byla později (r. 1934) znovu vyhloubena. Zdivo studny bylo překvapivě zachovalé a voda se objevila v hloubce 4,5 m. 

V roce 1880 byly poblíž dnešního vstupu do Hrádku nalezeny meče z období let 1500-1200 před n.l. Meče byly uloženy mělce, v hloubce šířky jedné dlaně pod povrchem v prostoru před vstupem do zříceniny. Jedná se o dva bronzové meče o délce 646 mm a 640mm. Meče mají plné jazykovité rukojeti s odlomenými konci a úzké dlouhé čepele, z nichž jedna je zesílena středovým žebrem. V záštitách mečů se dochovaly bronzové nýty, které dokládají, že rukojeti byly vykládané destičkami z organického materiálu. Mohlo by se jednat o dřevo, event. kost či rohovinu. Meče jsou v současné době uloženy ve  sbírce Jihočeského muzea v Českých Budějovicích.

V polovině 19. století, s rostoucí oblibou výletů do přírody a rostoucím rozmachem romantismu, se zdála být zřícenina Vítkova Hrádku přímo ideálním místem. Možná i proto zde už v roce 1871 bylo vybudováno schodiště. I po těchto romantických a dalších dílčích úpravách z roku 1905 byl hrádek stále ve vlastnictví pánů ze Schwarzenbergu až do konfiskace majetku (1947). Avšak po mnichovské dohodě se na podzim roku 1938 Hrádek dostal do zabraného území - tzv. Sudety - a byl rázem součástí Třetí říše. 

Po druhé světové válce patřila zřícenina Vítkova Hrádku krátce Klubu českých turistů, po roce 1948 byla zestátněna. Hrádek poté obsadili vojáci československé lidové armády a vybudovali si zde v roce 1950 pozorovatelnu. Více o době PVOS najdete v samostatné záložce.

Bez nutných zásahů památkové péče a příspěvků na opravu pokračovala devastace této významné kulturní památky i poblíž stojícího kostela ve Svatém Tomáši. Z map okolí beze stopy zmizelo mnoho obcí. S odstraněním Železné opony byla v roce 1990 předána zřícenina Vítkova Hrádku pod správu obce Přední Výtoň, která vlastní objekt dodnes. Havarijní stav objektu však tehdy neumožnil očekávané zpřístupnění a turistické využití, naopak bylo nutno z bezpečnostních důvodů vyhlásit zákaz vstupu.

Byl to překvapivě hajný na zdejším polesí, pan Petr Ziegrosser, který se největším dílem zasloužil o novodobé dění po roce 1990 nejen kolem Vítkova Hrádku, ale i kostela ve Svatém Tomáši. Bývalý lesník, kterého osud přivedl na úpatí ruin Wittinghausen hrdě říkal, že kostelík by byl v roce 1948 zničen, kdyby na radu demoliční čety režimu přes četné výhrůžky a ponižování nekoupil dům poblíž kostela za půjčky a nebránil se jeho zničení. Protože vyhození kostela do povětří by ohrozilo dům, bylo dovoleno oběma stavbám zůstat stát.

Jeho dcera Helena vzpomínala:
"Táta ještě před hradem zachránil zdejší kostel, koupili naproti němu chalupu a díky tomu nemohli komunisti kostel odstřelit. Z kostela vyvážel suť, u toho zastavoval turisty, aby třeba odvezli kolečko; sháněl sponzory, aby na kostel přispěli. A chodil kosit kopřivy kolem hradu, aby mohli k němu turisti. Když říkával, že sem budou lidi jezdit, měli ho za blázna..."