«Аллилуйя»- слово древнееврейское, означает «хвалите бога». При богослужении  в церкви многие молитвы, заканчиваются многократным припевом: «Аллилуйя, аллилуйя!» Поэтому слова «петь аллилуйю» у нас стали означать то же, что «акафисты петь» (смотри) - захваливать, не в меру превозносить. От них произошли и выражения «аллилуйщина», «аллилуйщик».

Сравни: «дифирамбы петь», «панегирики произносить».