Castle Panic er et samarbejdsspil for hele familien, hvor spillerne skal beskytte deres fæstning mod invaderende horder af trolde, orker og andre farlige monstre.

I midten af spillepladen står fæstningen, som er omgivet af en række cirkler. Monstrene dukker løbende op i yderkanten af brættet og bevæger sig i slutningen af hver tur én cirkel nærmere midten. Bliver de ikke stoppet inde de nærmer sig borgmuren, ødelægger de den og fortsætter deres hærgen inden for borgens mure.

Spillerne skal forsøge at stoppe monstrene, inden de når så langt vha. de kort de sidder med på hånden. De fleste kort er afbilledet med soldater, riddere eller bueskyttere, som kan skade monstrene i forskellige afstande. De kan også være heldige at trække helte, barbarer eller byggematerialer og forstærkninger som kan bruges til borgmurene.

Castle Panic kan enten spilles som et fuldt kooperativt spil, hvor alle vinder eller taber sammen. Men det kan også spilles kompetitivt, hvor alle stadig taber sammen, men hvor der kun er én vinder, som er den spiller, der har dræbt flest monstre.