不雅观音阁在战国期间曾是一个烽火台，隋唐时改建为道路通畅的门阁，后由唐尉迟敬德重修。在往后的沧桑岁月中，此阁久经风雨，多次重修，终于在清道光年间建成较大规模。因阁内供奉不雅观音佛像，故名为“佛阁”，后又改名为“不雅观音阁”。
当时的不雅观音阁占地一千多平方米，高三十米，高下四层，底层为南北大街通畅门洞，门洞两侧供奉铁铸佛像三尊，门洞上匾额横书“燕赵第一镜”，相传为本地贡生王琴堂所书。二层供奉铜铸不雅观音佛像。阁顶有十二个檐角，仰天飞起，形成飞檐。每逄正月十五元宵节夜，阁上金碧辉煌，宏伟壮不雅观，阁下灯火辉煌，热闹非凡。
现在的不雅观音阁是于1986年起逐渐修复起来的，原来的佛像和大部分文物皆在文革中被毁，仅遗存下来底层门洞和顶层太阳角楼。重修后的不雅观音阁建筑面积1200平方米，高21米，高下三层，顶层覆盖绿色琉璃瓦，在阁顶层四角增建了玉轮、钟、鼓三座角楼，加上原来的太阳楼，共计四座角楼。北面匾额“燕赵第一镜”为当代书法家黄绮所书，南面匾额“纵目南海”为当地书法名人李颖为写。
目前，在不雅观音阁周围增建了部分佛教建筑，形成了以不雅观音阁为中央的佛教场所，紧张活动有:每年农历2月19日庙会、7月30日“打醮”节、正月14日至16日华灯节。
北门(匾额:燕赵第一镜)
南门(匾额:纵目南海)
不雅观音阁西北侧面
