Adeiladwyd Tŵr Paxton rhywbryd rhwng 1805 a 1808 fwy na thebyg i gynllun gan Samuel Pepys Cockerell.  Mae’n adeilad trionglog, dau lawr o uchder, gyda tho castellog hecsagonal.  Ar y llawr mae tri bwa i gadw cerbydau.  Ar y llawr nesaf mae ystafell wledda ac ar y llawr uchaf mae ystafell olygfa, gyda fflat uchaf â ffenestri lliw yn dangos yr Arglwydd Nelson a golygfeydd o’i fywyd.

Dyma’r hyn sy’n cael ei ddweud am y rheswm dros adeiladu’r tŵr, a elwid yn wreiddiol yn  `Dŵr Nelson` -

1 Fod y tŵr wedi ei adeiladu gyda’r arian a’r deunyddiau a addawyd i’r etholwyr yn etholiad 1802 ar gyfer pont ar draws yr afon Tywi.  Yn ôl y fersiwn hon mae’r tŵr yn ffoli a adnabyddir fel `Tŵr Sbeit`.

2 Fod y tŵr wedi’i adeiladu i brofi i’r etholwyr nad oedd Paxton wedi’i ddinistrio gan y gwariant yn ystod ymgyrch etholiadol 1802.

3 Fod y tŵr wedi’i adeiladu fel platfform wylio o’r man lle byddai Paxton yn gwylio ei hoff geffylau yn rasio o Ddinbych y Pysgod i Middleton.

4 Yr eglurhad mwyaf tebygol yw ei fod yn nodwedd addurnol – yr eithaf mewn ffasiwn ar y pryd.  Mwy na thebyg iddo gael ei adeiladu fel man i westeion Paxton ymweld ag ef ac i fwyta a gwylio’r golygfeydd.

Cysegrwyd y tŵr i’r Llyngesydd Nelson, ffrind i Paxton, wedi ei farwolaeth yn Trafalgar yn Hydref 1805.  Dyma a ysgrifennwyd: ‘At y comander anorchfygol, Is-iarll Nelson, er cof am weithredoedd a gyflawnwyd mor wych yng Ngheg y Neil, o flaen waliau Copenhagen ac ar lannau Sbaen; yr ymerodraeth ymhob man a gynhaliwyd ganddo dros y môr; ac am ei farwolaeth lle, yn llawnder ei ogoniant ei hun, er yn anamserol dros ei wlad ac Ewrop, wrth goncro bu farw; codwyd y tŵr hwn gan William Paxton.’

Yn 1965 fe’i trawyd gan fellten gan bron ddinistrio un o’r tyrau cornel.

Mae’r tŵr erbyn hyn yng ngofal yr Ymddiriedolaeth Genedlaethol.

Cymerwyd pâm o wydr er cof am Nelson o’r tŵr i Amgueddfa Caerfyrddin.