天正六（1578）年、安房岡本城に居城していた里見義頼が重臣に築城を命じ、天正八（1580）年に城番を置いたといわれています。その子義康が天正十六（1588）年に大規模な改修をして、天正十八（1590）年に完成した。この年の小田原の役で、里見義康は三浦半島・鎌倉方面に進軍したが、この行為が豊臣秀吉に「関東惣無事令」違反として、また参陣が遅れたことを咎められ、上総を没収され、安房一国のみを安堵される。慶長五（1600）年の関ヶ原の役では徳川家康の東軍に属して宇都宮を守った功により、鹿島三万石を加増された。この頃には城山周辺に惣構えの工事を行い、鹿島領民が担当した堀は「鹿島堀」と呼ばれた。しかし、慶長十九(1614)年の大久保忠隣事件で、忠隣の孫娘を室にしていた里見忠義は嫌疑をかけられ、結局城の無断改修と召抱えの家臣が多すぎることなどを理由に安房九万二千石を没収、鹿島三万石の替え地として伯耆国倉吉に事実上の配流となった。忠義は倉吉の地で失意のうちに死去し、里見氏は途絶えた。このとき殉死した八人の忠臣の遺骨が密かに館山に持ち帰られ、城山の地に葬られた。滝沢馬琴の「南総里見八犬伝」はこの八人の忠臣をモデルにしたと言われる。

白浜町滝口の長尾川下流にかかる、石積み工法の洋式三重橋。3つのアーチがあるので本当はメガネではないが、川面に移る姿からめがね橋とよばれるようになった。橋は明治21年(1888)年に、村民の寄付399円40銭で建設された。架設以前は川を歩いて渡っていたという。関東大震災にも壊れることなく、戦時中は戦車が通ったという頑丈な橋だ。昭和52年と平成5年に補修工事が行われ、建設当時の姿を留めている。県指定有形文化財。日本の名橋百選。