L’officialisation de son arrivée est une question d’heures puisque Frédéric Guilbert va être prêté par Aston Villa jusqu’à la fin de la saison au Racing Club de Strasbourg. Formé à Caen il fait tout d’abord ses débuts avec Cherbourg en CFA. Auteur de 30 matches pour 1 but inscrit lors de la saison 2013-2014, il est repéré par les Girondins de Bordeaux pour évoluer dans un premier temps avec l’équipe réserve. C’est avec les Girondins qu’il signe son premier contrat professionnel en 2015, intégrant même l’équipe de France espoirs. Il restera de 2014 à 2017 aux Girondins, disputant au total 36 rencontres sous le maillot bordelais. En 2016, durant son passage à Bordeaux, il est prêté à son club formateur, le SM Caen.
Acteur et titulaire indiscutable à son poste, il participe au maintien du club caennais en Ligue 1. En 2017, il s’engage avec le club normand et signe un contrat de quatre ans. C’est contre Strasbourg qu’il inscrira son premier but en Ligue 1, le 4 mars 2018, lors d’un succès 2-0 des Caennais. Le 31 janvier 2019 il s’engage avec Aston Villa mais est prêté jusqu’à la fin de la saison au SM Caen. Il fait ses débuts en Premier League le 23 août 2019 à l’occasion d’une rencontre contre Everton. Au total, Frédéric Guilbert a pour le moment disputé 31 matchs sous le maillot d’Aston Villa pour un total de deux buts inscrits. Au niveau de son palmarès il est finaliste de la Coupe de la Ligue anglaise 2020 avec Aston Villa.