J'ai eu ce problème avec mon poney au début. C'est aussi un poney trèèèèèès craintif et l'engueuler ne faisait que le renforcer dans sa crainte !
Il faut surtout que tu t'imposes comme son leader en fait et que ce soit TOI son repère en cas de peur.
Déjà, je te conseillerai de mettre des gants quand tu le sors pour ne pas lâcher.
Ensuite pour le mien, je lui ai appris le "à ta place" dès qu'il fait mine de dépasser, il suffit que je le lui dises "à ta place" et hop, il vient se mettre à ma droite sa tête à hauteur de mon épaule.
Pour lui apprendre, il a fallu du temps, mais ça s'est fait naturellement car on a une super relation. Dès qu'il voulait me dépasser, je l’arrêtais puis le faisait reculer pour le remettre à la place à laquelle je voulais qu'il soit et on repartait qu'à mon ordre.
Maintenant, même en cas de grande peur, il ne cherche jamais à me dépasser, il va faire un écart ou autre, mais toujours vers l'extérieur (jamais vers moi) et ce même en liberté totale
Et quand le peur vient de devant, il se "cache" derrière moi, c'est très drôle à voir
En tout cas, je n'engueule jamais vraiment mon poney, au max, j'hausse la voix, mais jamais de punition "physique". Il est tellement craintif que ça le renforce dans sa peur

Tout est dans l'attitude, c'est toi le chef !