Главный вопрос в том, в каком именно храме Вы крестили ребенка. Если в православном - он православный христианин, если в григорианском - принадлежит к Армянской Апостольской церкви. Это разные церкви! И хотя в догматическом и культовом отношениях Армянская церковь и близка к Православию, но всё же она не является таковой, так как исповедует монофиситство (ересь) и возглавляется верховным патриархом-католикосом всех армян, а не Патриархом РПЦ.
Что же касается возможности посещения православных храмов, участия в Богослужениях и приобретения православных икон, то это, разумеется, возможно и очень хорошо. Но вот участвовать в Церковных Таинствах (Исповеди, Причащения, Соборования, Венчания и др. ) можно лишь в том случае, если человек является чадом Православной Церкви.