Il accélère au trot quand je "relâche"

Bonsoir

Je post ici en espérant ne pas être jugé en mal ou avoir des réflexions désobligeantes.

Il y a 4 ans et demi que j'ai Pilgrim. Je l'ai bossé a l'envers, il avait la gueule en l'air, je ne faisais rien pour qu'il soit bien mit. Je n'ai jamais appris a mettre un cheval "correctement". Tout simplement car tous les enseignants que j'ai eu n'était pas spécialement dans cette optique.

J'ai vois désormais les choses différemment.
Je veux travailler Pilgrim a l'endroit, qu'il bosse vraiment.
Alors je ne cherche pas a l'avoir bas et rond, mais qu'il soit "horizontal" : pas la gueule en l'air et qui se muscle (enfin) à l'endroit.

Au pas , aucun soucis : je n'ai rien a lui demander, il est bien mit et avance d'un pas sûr et rapide.

Au galop , il a une bonne attitude : horizontal, n'est pas trop sur les épaules, se met au contact du mors sans tirer. Rien a redire.

Le soucis vient au trot ...
Je joue avec mes doigts et il se met gentiment en place.
Lorsqu'il descend bien, il me demande de "relâcher". Mais des que je relâche la pression, que j'ouvre mes doigts ou quoi, il accélère ... Il reste dans la bonne attitude, mais il "s'échappe".
Donc dès si il me demande de relâcher et que je le fais pas, il a tendance a s'appuyer trop, c'est donc pas ce qu'il faut ... et dès que je relâche un peu, il accélère.

Alors je me pose des questions :
Est-ce ma faute ? Je réagis mal ?
Est-ce qu'il faut que je le laisse accélérer en le laissant se calmer tout seul ?

Je précise aussi que Pilgrim ne supporte pas la carrière , que je le bosse en exterieur. J'ai la chance d'avoir des pruniers a disposition, donc lignes droites, grandes étendues : un endroit où je peux vraiment le tester.

Je vous remercies d'avance , en esperant avoir des réponses a mes questions