Tu peux prendre plein de race en poney D un peu porteur.
pour un usage loisir, prends en priorité un poney un peu rustique (dans le bon sens du terme, un petit tout terrain en quelque sorte) et plutôt froid si tu t'orientes vers de l'équitation d'extérieur. Il y a plein de races possibles et certaines ont déjà été citées.
Pour le poids et la taille pas de soucis, à mon sens pour l'usage que tu as indiqué.
Personnelement je préfère voir quelqu'un d'1m70 qui a un bon équilibre, léger dans la selle et qui monte sans gêner le cheval. Que quelqu'un d'1m50 qui ne tiens pas à cheval, reste le poids dans la selle et ne fait pas attention au dos du poney.
Pour beaucoup, c'est plus une question d'esthétisme et d'autre mettent souvent en avant la règle des 10% (je ne sais qui l'a inventée).
En gros il ne faudrait pas dépasser 10% du poids de son cheval, autant dire que des hommes adultes devraient tous monter sur des chevaux de traits uniquement.
Un petit conseil, on achète souvent un poney/cheval pour un usage et un fini souvent par faire autre chose, donc vise la polyvalence