En fait, il n'y a pas que la taille du poney et du cavalier qui compte, mais aussi la corpulence des deux.
Par exemple, si on compare ce poney (photo prise au hasard sur Internet) qui mesure 1m45:
Avec ce poney (ma grosse loute d'1m45 également):
On voit tout de suite que c'est pas le même gabarit (et encore c'est pas super flagrant).
Il faut prendre en compte la race du cheval, sa morphologie (un poney qui a un dos large et un poney qui a un dos étroit ne pourra pas porter les mêmes cavaliers, même s'ils font la même taille) et la morphologie du cavalier. Une personne ronde pourra difficilement monter sur une crevette alors qu'une personne fine pourra se le permettre plus facilement.
Après la taille, bien sûr que ça compte ! Si trop grand, on risque de déséquilibrer le poney (en particulier à l'obstacle).
MAIS ce n'est pas parce qu'on est grand que cela nous empêche de monter à (grand) poney.