В селе Анипемза сохранились величественные руины Ереруйкской базилики, которая стоит в ряду самых ранних христианских сооружений Армении. Стены храма были возведены в IV веке.

Ереруйкская базилика сооружена из чисто тесанных крупных камней красноватого туфа. Удлиненный и просторный зал храма разделен на три нефа тремя парами пилонов. Базилика стоит на мощном шестиступенчатом основании — стилобате.

Ереруйкская базилика внесена в предварительный список Всемирного наследия ЮНЕСКО с 1995 года.