Kaut arī Madona kā apdzīvota vieta pastāvējusi jau kopš 7.gadsimta, savu pašreizējo nosaukumu (līdz 1921.gadam – Biržu muiža) un pilsētas godu tā ieguvusi samērā nesen - 1926.gadā. Šeit nav senu un ievērojamu kultūrvēsturisku objektu, toties Madonu izsenis dēvē par dārzu pilsētu, tā izceļas arī ar 20.gadsimta sākumā celto plēsto laukakmeņu un sarkano ķieģeļu mūra ēkām. Sakopta, zaļa, klusa mazpilsēta ar vienu no augstākajām strūklakām Latvijā. Pilsēta, kas prot izmantot dabas apstākļu dotās iespējas – piedāvāt ziemas sporta veidus un izklaides.

Senākie arheoloģiskie atradumi Madonas teritorijā attiecas uz 2.gt.p.m.ē. Zem ūdens Salas ezera (Baznīcezera) ziemeļu daļā saglabājušās 9.gadsimta ezermītnes atliekas. Savukārt Cesvaines, Rūpniecības un Saules ielas rajonā bijis liels 7.-12.gadsimta kapulauks.

Madonas pilsēta izveidojusies vēsturiskās latgaļu valsts Jersikas trīs centru - Negestes, Mārcienas un Cesvaines ielokā. Livonijas laikā apkārtne iekļāvās Cesvaines pilsnovadā, te cauri gāja nozīmīgs satiksmes ceļš.

Uzskata, ka senrakstos Madona pirmo reizi minēta 1461.gadā kā Rīgas arhibīskapam piederoša četru arklu zemes platība, kuru virsbīskaps Silvestrs togad nodeva lēņu īpašumā, un šeit vēlāk izveidojās Madonas muiža. Zviedru valdība šo novadu savukārt paturēja par kroņa īpašumu. 17.gs. kartēs vietējā muiža sastopama

gan ar Modonas, gan Biržu vārdu. 1760.gadā Krievijas imperatore Elizabete Biržus kopā ar Cesvaines, Aizkujas, Bučauskas, Kraukļu, Kārzdabas un Lodes muižām dāvināja grāfam Aleksandram Buturļinam. Vēlāk šos novadus imperatore Katrīna II atpirka un uzdāvināja serbu izcelsmes ģenerālmajoram Maksimam Zoričam, izņemot Kārzdabu, kas palika kroņa īpašumā.

Madona – tolaik Birži – sāka veidoties 1899.gadā vietā, kur atradās nelielā Biržu muiža. Tad uzcēla pirmās mājas. Kā biezi apdzīvota vieta Madona sāka veidoties tikai 1903.gadā līdz ar Pļaviņu – Gulbenes – Valkas šaursliežu dzelzceļa būvi. Ap 1901.gadā celto dzelzceļa stacijas ēku sāka celt namus, arī mūra ēkas no plēstiem laukakmeņiem un ķieģeļiem.

Līdz Pirmajam pasaules karam bija uzbūvētas 40 mājas, lielākoties par barona fon Vulfa līdzekļiem, un tajās izīrēja telpas veikalu, viesnīcas, zirgu pasta, kā arī dažādu administratīvu, tiesas un policijas iestāžu vajadzībām. Mājas cēla arī amatnieki, tirgotāji, ierēdņi. Apbūvei izmantoja arī tuvāko Lazdonas pagasta zemnieku zemes. Iezīmējās topošo ielu tīkls, vēlākā Blaumaņa iela jau toreiz veidota kā plats bulvāris ar koku stādījumiem un no brauktuves atvirzītām ēkām.

Madona pārdzīvoja gan 1905.gada revolūcijas sadursmes, gan lielinieku varu no 1918.g. 14.decembra līdz 1919.g. 5.jūnijam, gan Latvijas Brīvības cīņu notikumus.

Biržu muižas pēdējie īpašnieki pirms 1920.gada agrārreformas bija baronu Vulfu dzimta, kura šeit saimniekoja gadsimtu.

1908.gadā Madonas pievārtē Sarkaņos atvēra Biržu meiteņu proģimnāziju, kas pēc gada pārcēlās uz pašu Madonu. Latviešu izglītības biedrības Biržu nodaļas organizētā skola bija pirmā vidējā mācību iestāde Latvijā ārpus pilsētām. Drīz tai pievienojās arī zēnu proreālskola. 1911. gadā dibināta vietējā kredītsabiedrība, pāris gadus vēlāk – Brīvprātīgā ugunsdzēsēju biedrība. Pirmā pasaules kara laikā caurejošajai dzelzceļa līnijai posmā Stukmaņi – Gulbene pārlika sliežu platumu, lai ērtāk nodrošinātu armijai vajadzīgos pārvadājumus.

1921.gadā Madonai ar vairāk kā 1000 iedzīvotājiem piešķīra miesta tiesības. Nākamais pilsētas attīstības impulss bija 1925.gads, kad Madona kļuva par jaundibināta apriņķa centru un pieauga uz līdzās esošo Lazdonas un Sarkaņu pagastu zemnieku zemju rēķina. Tādēļ senas kultūrvēstures pašai Madonas pilsētai nav. Iedzīvotāji nodarbojās galvenokārt ar sīkrūpniecību (mehāniskās darbnīcas, akmeņkaltuves, koka un ādas apstrādes uzņēmumi) un tirdzniecību. 1926.gadā uzcēla Madonas vidusskolas ēku, kas bijusi otrā Latvijas Republikas laikā uzceltā vidusskola. Kopš 1928.gada pakāpeniski bruģēja ielas un laukumus. Iedzīvotāju skaits pilsētā 1935.gadā tuvojās 2,5 tūkstošiem.

Otrā pasaules kara vētras Madonu īpaši neskāra, lai gan netālā apkārtnē 1944.gada augustā notika sīvas kaujas.

Biržu nosaukums saglabājās līdz 1921.gadam, kad pilsētu pārdēvēja par Madonu, pēc tuvējā ziemeļos esošā Madonas ezeriņa. Vietējie iedzīvotāji par „donu” dēvē ieplaku starp uzkalniem. Pastāv arī pieņēmums, ka Madona savu nosaukumu guvusi no Biržu muižas, ko vāciski sauca “modohn”, tāpat to sauca arī krievi, tādēļ arī dzelzceļa staciju, ko te uzcēla, nosauca par “Madsonu”. No tās arī savu nosaukumu guvusi jaunā pilsēta.

Pēc kara pilsētas teritorija pakāpeniski paplašinājās, tās centrs izveidojās ap bijušo tirguslaukumu, tagad Saieta laukumu, kam 20.gs. 60.gados līdzās uzbūvēta rajona administratīvā ēka. 70.gados daudz darba ieguldīts pilsētas labiekārtošanā un apzaļumošanā. Madona bija pirmā Latvijas pilsēta, kur bez mūzikas skolas darbojās arī mākslas skola.

2003.gadā Madona tika atzīta par Latvijas sakārtotāko pilsētu.