Il partito federalista era in discesa dopo il suo successo iniziale. Ciò era dovuto al fatto che il suo primo candidato era George Washington, eroe di guerra e virginiano che era ugualmente accettabile per il Sud come per il Nord.
Il successivo portabandiera del partito, John Adams, batté a malapena il Jefferson democratico-repubblicano nel 1796, e da lì è stato tutto in discesa. Adams ha vinto cinque stati del New England, più quattro dei cinque stati "Midatlantic" --- New York, New Jersey, Delaware e Maryland, ma ha comunque prevalso solo con voti altalenanti degli stati Jeffersoniani di Pennsylvania, Virginia e North Carolina. Nella ri-partita del 1800, Jefferson vinse il Maryland e New York, ponendo fine alle presidenze federaliste.
Nelle campagne del 1804 e del 1808, i federalisti vinsero solo gli stati del New England, in quest'ultimo caso (migliore) , solo gli stati costieri del Massachusetts, New Hampshire, Connecticut e Rhode Island. Nel 1812, sembravano godersi una rinascita, vincendo New York, New Jersey e Delaware, ma solo perché l'ex governatore di New York, DeWitt Clinton, era a capo del biglietto.
Il colpo finale ai federalisti avvenne durante la guerra del 1812, quando i quattro stati costieri del New England (la base del partito) furono sospettati di non sostenere lo sforzo bellico e di voler firmare una pace separata con la Gran Bretagna.