澎湖の住民は海で生計を立てており、海辺の山には、常に風除けや魔よけを願い平安を祈る石塔を建てました。内垵にも、およそ100メートルの間隔で離れた石塔があり、「塔公」と「」とそれぞれ呼ばれています。内垵の北港西側の海上には、「海瀨礁」と呼ばれる暗礁があり、この北側には「鱟仔尾」と呼ばれる陸地があります。両者は、矢のようにまっすぐ内垵村の方向を指しています。

1843年に地元の若者が二つの石塔を建て、およそ百メートルの壁を築いて二つの石塔を連結させました。これは、塔公と塔婆が手を携えて外敵の侵入を防ぐとともに、海水の流入も防いでくれることを意味するものでした。

石塔の設置にあたっては、の調和を図る原理が重んじられることから、それぞれ塔公、塔婆と呼ばれるようになりました。このうち、塔公は西側を向いた正方形の六層の塔で、塔の頂に赤い陶器の壺が置かれていることから、高さ1231センチメートルと、澎湖県で最も高い石塔です。塔婆は一層の円錐形の塔で、塔の頂には薄緑色の陶器のが逆さまにして置かれています。

塔公と塔婆からほど近い海岸に、柱状玄武岩が姿を見せています。こまかな玄武岩の節（ふし）が地上2メートル程の高さに出ており、海上から見える様子が、観音様の頭に似ていることで有名になりました。この両脇には、それぞれ九本の岩柱が、ちょうど十八羅漢のように立っていたことから、十八羅漢石柱とも呼ばれていました。残念なことに、今日では岩が壊れてしまい、もうかつての様子はとどめていません。