Il castello di Huang Si Qiao, a circa 24 chilometri a ovest di Fenghuang, è il castello di pietra meglio conservato della Cina. Il suo antico nome era Feiyang Castle, costruito durante l'anno 687 di dinastia Tang per uso militare. Era l'avamposto dei governi delle passate dinastie per impedire alle persone di etnia Miao di ribellarsi. I Miao sono stati costretti a ritirarsi nel profondo della zona montuosa e la loro popolazione è stata drasticamente ridotta.
Il castello è stato costruito da pietre blu, tra le quali il più grande supera i 1000 chilogrammi e il più piccolo supera i 500 chilogrammi. Queste pietre blu erano collegate dalla miscela di riso appiccicoso cotto a vapore e calcare, che rendeva l'edificio integrato e solido. La cinta muraria del castello è alta 5,6 metri, spessa 2,9 metri e larga 2,4 metri, occupando un'area di 2900 metri quadrati.
Le mura della città hanno tre porte della città, vale a dire la porta Heyu, la porta Shicheng e la porta Riguang, ognuna con una torre della città alta dieci metri in distinto stile della dinastia Qing. Inoltre, ci sono 300 merli a freccia e due postazioni estese.