Деревянная церковь Иоанна Милостивого была построена в 1193 году. Возведение каменного храма архивные описания относят к 1421 году (по другим источникам 1422-1423 годы), а его финальную перестройку к 1672 году. В настоящее время он представляет собой небольшую кубическую постройку с одним алтарным выступом. Кладка XV века выполнена из красного ракушечника с применением в небольшом количестве серой известняковой плиты, кладка XVII - XVIII веков - кирпичная.
До окончательной перестройки церковь Иоанна Милостивого имела отличительные особенности, характеризующие поиски новгородских зодчих начала XV века и позволяющие причислить её к уникальным памятникам местной архитектуры. Так, это самый ранний из сохранившихся в Великом Новгороде храмов с одностолпной трапезной палатой, к тому же расположенной необычно - не с запада, а с севера от храма.
Большие повреждения церковь получила в годы Великой Отечественной войны и к началу реставрационных работ находилась в аварийном состоянии. В процессе реставрации храму удалось вернуть облик, наиболее близкий к XVII веку, сохранив при этом формы XV столетия и некоторые более поздние детали.