Pilskalns atrodas 18 km augšpus Daugavpils. Apdzīvots jau 1.gadu tūkstotī pirms mūsu ēras, bet 10.-12.gadsimtā šeit Vecpils pilskalnā atradusies latgaļu koka pils Novene ar senpilsētu, kas izveidojās par ievērojamu novada centru, svarīgu satiksmes ceļu krustpunktu. Te gāja ceļš no Lietuvas uz Pleskavu un tālāk uz Novgorodu, šo ceļu izmantoja arī lietuviešu sirotāji. Kad vācu krustneši iekaroja Jersiku, nopostītās latgaļu pils vietā 1275.gadā Livonijas ordeņa mestrs Ernests fon Raceburgs uzcēla mūra Dinaburgas pili kā robežcietoksni, vērstu pret Lietuvu un lai kontrolētu tirdzniecību pa Daugavu. Lietuvieši vācu pili saukuši par Naujeni, t.i., Jaunpili un dižkunigaiša Traidena vadībā mēģināja to ieņemt drīz vien pēc celtniecības pabeigšanas. Turpmāko simts gadu laikā viņi Dinaburgas pili divas reizes nodedzināja, taču pils atjaunota un nostiprināta. Pils šeit atradās līdz 1582.gadam. Šo vēsturisko notikumu dēļ pilskalnam doti trīs secīgi nosaukumi – Vecpils, Naujenes un Dinaburgas.

Kopš 1997.gada 25 m augstajā stāvajā Daugavas krastā starp divām dziļām gravām pilskalnā var apskatīt pilsdrupas un Daugavpils tautas mākslinieka Igora Manžosa būvētu miniatūru Dinaburgas pils maketu mērogā 1:40. Pilskalna pakājē atrodas senlaiku latgaļu apmetne un Vecpils kapulauks. Staigājot pa pilskalnu var apmeklēt Bruņinieku ceļu, Mīlnieku un Vēlēšanās tiltiņu, atpūsties Bruņinieku laukumā.