В 1902 году Василию Иванову исполнилось двадцать лет и он должен был вернуться в родное село к призыву в солдаты. В формулярном списке за 1903 год об этом событии сохранилась следующая запись карандашом: «31/232 Василий Иванов, родился 2 января 1882 года. 20 [лет]. Клиросное [послушание]. 1903 сентября 14 выбыл на родину к воинской повинности».
Но в следующем, 1904 году мы мы вновь (за номером 26/232) встречаем его имя: «...Василий Иванов двадцать один клиросное». Его, как единственного сына у матери, не взяли в солдаты, и он прожил в Оптиной пустыни, неся клиросное послушание, до 4 февраля 1905 года.
По просьбе настоятеля Боровского Пафну-тьевского монастыря отца архимандрита Венедикта и по благословению архиепископа Калужского Вениамина после семи лет послушания в Оптиной пустыни его перевели в Боровский преподобного Пафнутия монастырь.
В своей автобиографии батюшка пишет: «Всего я прожил в Оптиной пустыни с 1897 по 1904 год. И по просьбе отца архимандрита Венедикта — начальника монастыря преподобного Пафнутия Боровского чудотворца и по благословению епископа Вениамина Калужского и Боровского я переехал в Боровский монастырь и занял там послушание регента. Отец архимандрит Венедикт тоже из Оптиной пустыни. Там он был секретарем старца отца Амвросия... он жил в Оптине несколько лет и был секретарем и помощником старца Оптиной Пустыни — Амвросия.., а в Боровском умер настоятель храма... тогда послали отца Венедикта в Боровский монастырь. Я его хорошо знал, и он меня, а потому он меня просил в Боровский монастырь».
Еще находясь в Оптиной, отец Венедикт обратил внимание на даровитого послушника и совсем не случайно попросил Калужского владыку о переводе отца Амвросия (тогда еще послушника Василия) регентом в Пафнутьев монастырь, когда сам сделался там настоятелем. Он же и совершал постриг отца Амвросия и выбрал ему такое имя по большой своей любви и духовной связи со своим первым учителем и советчиком — преподобным Амвросием Оптинским, прозревая духом в будущем монахе достойного продолжателя этого имени и дела старчества. «Когда я жил в Оптиной пустыни, кроме своего послушания (пения), я жил при старцах, по соседству: первый старец — отец Иоанникий, он прожил в Оптиной пустыни много лет, поступил еще при архимандрите Моисее; второй — старец отец Варлаам — бывший эконом монастырского хозяйства; третий — старец отец Серапион — из помещиков Курской губернии, бывший товарищ по учению архиепископа Антония Храповицкого...
Из Оптиной пустыни меня отец архимандрит Ксенофонт не отпускал и сказал: «Мы тебя воспитали и образовали, и ты оставляешь нас». Жалко было и мне оставлять Оптину с ее Богодухновенными старцами, и я тихо ответил, что так благословил Владыка и отец архимандрит Венедикт просит, так как у них регента нет, и вот уже за мной приехал посланник от отца Венедикта: «Итак, дорогой батюшка, сказал я, простите и благословите на новое место, а если что не поладится, тогда не откажите принять меня обратно в свое словесное стадо».
Интересным здесь кажется привести воспоминания об архимандрите Ксенофонте современника и очевидца — митрополита Вениамина Федченкова: «...Вспомнился и отец игумен монастыря... его звали Ксенофонт... Это был уже седовласый старец с тонкими худыми чертами бледного лица. Лет более семидесяти... Мое внимание обратила особая строгость его лица, даже почти суровость. А когда он выходил из храма боковыми южными дверями, то к нему с разных сторон тянулись богомольцы, особенно — женщины. Но он шел поспешно вперед, в свой настоятельский дом, почти не оглядываясь на подходивших и быстро их благословляя... Я наполнился благоговейным почитанием к нему... И вспоминается мне изречение святого Макария Великого, что у Господа есть разные святые: один приходит к Нему с радостью; другой — в суровости; и обоих Бог приемлет с любовью».
А вот что сообщает протоиерей Сергий Четвериков об отце Ксенофонте: «Ксенофонт, архимандрит и настоятель Оптиной пустыни, смиренный, строгий, молчаливый и благоговейный хранитель оптинских преданий, из крестьян».
Из краткого диалога, который состоялся между отцом настоятелем и Василием, заметно, что отец настоятель был огорчен отъездом смиренного послушника, который тоже с сожалением и не без тревоги и трепета расставался со своей духовной родиной — Оптиной, и как любящий сын просил бы своего родителя не оставить его в случае нужды, так и он просит не забыть его в трудных обстоятельствах, если таковые с ним приключатся. И в то же время ясно видно, что главный урок Оптиной — послушливость воле Божией, выражающейся через слово Владыки в данном случае, им усвоен как непреложный закон духовной жизни и шествия стопами Господа, жизнь Свою без остатка вручившего Отцу Небесному.