Le origini del paese si perdono in un tempo lontano, al tempo dei Sanniti Pentri. Alcuni storici ritengono che l'antica Allifae fosse l'odierna Castello; altri invece l'antica Piedimonte o la parte alta di essa. Di certo è che Castello del Matese, nel X - XI secolo, era roccaforte, prima di Alife e poi di Piedimonte. Con Piedimonte, di cui insieme a San Potito era casale, ha diviso fino al XIX secolo la storia civile, militare ed amministrativa.
I Normanni fortificarono Castello con cinque torri, di cui solo due sono ancora esistenti, ed un mastio che serviva da cittadella e da abitazione. Il feudo, ceduto a Tommaso d'Aquino da Federico II nel 1229, fu assediato da truppe pontificie, comandate dal cardinale Giovanni Vitelleschi di Tarquinia. Passato ai Gaetani d'Aragona, nel 1460 subì un altro assedio da parte dei Baroni che si erano ribellati a Ferrante I d'Aragona con cui si era schierato Onorato Gaetani, conte di Fondi e principe di Piedimonte, al quale apparteneva anche il casale di Castello; i vassalli di Onorato Gaetani, prima di arrendersi si batterono strenuamente contro l'esercito dei baroni ribelli. Quando nel corso del XVII secolo cessò la funzione di difesa militare di Piedimonte, Castello divenne un piccolo centro agricolo e pastorale, e si allontanò sempre più da Piedimonte, alternando ritmi di vita semplice e tranquilla ad avvenimenti gravi e luttuosi, come la peste del 1656. Nel 1691 la chiesa madre di S. Croce fu ricostruita in stile barocco, dopo il terremoto del 1688 che ne causò il crollo.Il 12 febbraio 1752, con decreto della Real Camera della Sommaria, Castello ottenne l'autonomia amministrativa; ma la sua separazione da Piedimonte durò fino all'Agosto 1764, quando, per le scarse possibilità economiche, Castello si dovette unire di nuovo al paese più grande.
Nel Giugno del 1799, gli abitanti di Castello, insieme a quelli di San Gregorio, sventolando le bandiere borboniche e armati di rudimentali fucili, scesero a Piedimonte per festeggiare la fine della Repubblica Partenopea. Alla fine del 1801, durante il periodo napoleonico,

Castello si distaccò definitivamente dal capoluogo matesino col nome di Castello di Piedimonte. Dopo l'unità del 1860, con Decreto Reale del 26 Ottobre 1862, assunse il nome di Castello d'Alife che conservò fino al 13 agosto 1970 quando si decise di cambiarlo in quello geograficamente più corretto di Castello del Matese. Di Notevole interesse artistico sono le torri della fortificazione normanna che subirono gli assedi del 1229 e 1447 e sovrastano i resti delle antiche mura di cinta; la torre più piccola presenta una merlatura aggiunta posteriormente, mentre la torre grande rivela avanzi di una antica muratura.; la Chiesa di S.Croce che fu eretta nel X secolo e ricostruita nel 1691 in stile barocco dopo il terremoto del 1688 che ne causò il crollo. La facciata è piuttosto semplice e presenta bei portali. L'interno a tre navate, presenta pregevoli opere barocche e tardo barocche, domina dietro l'altare maggiore un affresco del Bocchetti raffigurante l'Esaltazione della Croce; sul pavimento sono visibili lastre di antichi sepolcri, alcuni decorati con stemmi gentilizi. Altre chiese di pregevole fattura sono quella del Purgatorio, di Sant’Antonio, di Santa Maria di Ogni Grazia, di Sant’Agostino.