Doullens ligt in een rustige omgeving, waar vroeger de grens liep tussen het koninkrijk Frankrijk en de Spaanse Nederlanden.
Dit verklaart de opeenvolgende vernielingen van het belfort waarvan de oorsprong teruggaat tot 1275. In het huidige belfort dat werd gebouwd begin 17de eeuw, zetelde het schepencollege (de huidige Gemeenteraad).
De Kardinaal van Richelieu en vervolgens Lodewijk XIV en zijn zoon deden het belfort eer aan. Het diende als wachttoren, bewaker van de gemeentelijke klok, gevangenis en kapel.
De gevel in steen en rustieke materialen heeft op de gelijkvloerse verdieping een koetspoort, en op het bordes drie poorten waaronder de Erepoort in het centrum. Op de verdieping verlichtten zes vensters de Kamer van het Provoostambt en de Stadskamer, die sinds de Revolutie ommuurd waren.
Een toren in de stijl van de gevel torent boven het gebouw uit. Deze toren symboliseert de gemeentelijke vrijheid. Het is in zekere zin de burgerlijke klokkentoren !