Založení hradu se datuje do 13. století. Po roce 1280 jej vlastnil Mutina Skuhrovský. Dále byl v držení moravských pánů z Meziříčí a poslední z nich ho r. 1387 prodal Půtovi z Častolovic. Po vymření Častolovických jej král roku 1454 daroval Zdeňkovi ze Šternberka. Za Jiřího z Poděbrad hrad pozbyl svého významu a začal se měnit v rozvaliny. Roku 1558 se hrad již připomíná jako pustý.
Hrad Skuhrov se vypínal na skalnatém, ze tří stran nepřístupném výběžku a měl za úkol střežit obchodní stezku do Kladska. Ze dvou skromných zbytků zřícenin lze odhadovat, že se hrad skládal ze dvou souvislých částí. Spojení se světem zajišťovala obchodní stezka do Kladska, kterou hrad střežil. Na místě zřiceniny byla postavena dřevěná rozhledna, ze které je výhled na obec a malebné údolí řeky Bělé. Rozhledna dosahuje výšky 9 metrů, druhá vyhlídková plošina je umístěna ve výšce 6 metrů.
