Большинство скитов в местах наших были образованы монахами. Лишь потом, спустя годы по разным причинам скиты мужские преобразовывались в женские. Так было и со скитом Оленевским. Вот что говорит предание о его основании.
Святой Макарий с братией своею после устроения скита Керженско-Никольского двинулся в верха керженские. Притомившись, устроились они на отдых и ночлег на правом берегу Керженца-реки. Места здешние до сих пор глухие, таежные. Кругом болота непроходимые. Только и можно пройти по гривам песчаным. Вот по этим гривам и отправились иноки на охоту. Перешли речку тихоструйную, что Чернушкой зовется, и изумились, увидев очень большого красивого оленя. Он доверчиво подошел к ним, как бы говоря: «подивитесь на красоту мест здешних». Хоть и были в руках у иноков мечи железные, но доверчивость оленя, его «умный взгляд» не позволили подняться руке вооруженной на красавца лесного.
Макарий после рассказа иноков, увидел в этом глас свыше, глас Божественный и повелел монаху Оленего остаться на житие и обоснование святой обители на месте сём. Вот поэтому скит, возникший здесь, одни называют Оленейским, а другие - Оленевским. Это был 1439 год. Обитель сначала была немноголюдной, но в 1568 году, спустя более века со дня основания, в эту глухомань лесную прибыла Анфиса Колычева, родственница митрополита Московского Филиппа. Прибыла не одна, а со слугами своими. С этого времени скит оживает как духовно, так и материально. Именно сюда потянулись преследуемые и гонимые, униженные и обиженные властями и порядками тех времен. Скит стал прирастать числом иноков и обителями. Всем помогала богатая, но праведная Анфиса. Если первоначально скит был мужским, то с появлением Анфисы он становится женским. Нет, она не выгнала иноков. Немощных старцев оставила в скиту, выделив для них кельи в мужской обители, остальным, по их желанию, построила дома за пределами скитскими. Наверное поэтому в Оленеве до сих пор не было и нет ни одной прямой улицы.
«Питиримово разорение» 1720-х годов обошло скит Оленевский, правда запретили звоны колокольные, сняв их со звонниц, а потому на моление к заутрене, обедне собирались под удары в било. Это чугунная, железная, а иногда и деревянная пластина, по которой ударяли молотом, чаще деревянным. Подвешивали било на перекладину.