Je suis d'accord avec les avis précédents.
J'ajouterai que tu te projettes déjà sur du moyen/long terme où ça coincerait, mais ce qui me semble plus révélateur c'est comment il considère déjà actuellement votre relation en ne s'y investissant pas avec les mêmes sentiments que toi.
Ceci dit, qu'il soit clair sur la question en ne cherchant pas à t'enfermer dans la relation me semble plutôt sain, aussi dur que ça puisse être.
Tu as deux options à court terme : soit considérer que ça va être beaucoup d'efforts pour un fort risque que ça coince à moyen terme, avec des sentiments qui ne sont pas de la même intensité et des aspirations déjà bien différentes.
Soit "prendre le risque" en te donnant un temps pour réévaluer la situation un peu plus tard (dans un an...) et "profiter" en attendant. C'est prendre le risque de continuer une relation qui ne mènera peut-être pas très loin, mais ça peut aussi te porter sur le moment...
Ce n'est pas un choix évident.
Tu as bien identifié le problème et ce que ça crée chez toi en terme d'inquiétudes, à toi de voir si c'est gérable ou si ça te stresse trop dès maintenant... Personnellement j'aurai du mal à rester dans cette situation mais cela dépend de chacun.