Nogle ejendomme gør sig fortjent til mange forskellige navne. Sådan er det med Clemensborg, der både er kendt som Clemenshus, Clemensborg, Skt. Clemensborg og Telefonhuset. Det sidste navn kom til, da Jydsk Telefon boede i ejendommen gennem mange år.
Nu er ejendommen renoveret af mange omgange. I dag spejler den moderne glasfacade sig i åen og smelter fint sammen med den smukke ældre bygning med finesser og detaljer, og har en unik placering i hjertet af byen. Ejendommen blev opført mellem 1899-1900 af murermester N. P. Knudsen efter tegninger af arkitekt Rudolf Frimodt Clausen. Da byggeriet stod færdig, flyttede Jydsk Telefon-Aktieselskab ind i ejendommen. Selskabet var i starten lejere i bygningen, men købte i 1911 ejendommen for den nette sum af 282.000 kr. Ejendommen blev solgt af tømrermester P. Christian Petersen, murermester N. P. Knudsen og enkefru Arp.