Находясь в Твери, святой Арсений не забывал и обители Печерской, где положил начало своим иноческим трудам, и постоянно памятовал о жизни ее преподобных основателей - Антония и Феодосия. Святитель помыслил основать свой монастырь, напоминающий ему Печерский, и желал, чтобы в нем было положено его тело. О своем намерении святой Арсений сказал князю тверскому. Князь похвалил доброе желание святителя и сам обещался помогать ему во время постройки монастыря, снабдить его земельными угодиями, необходимыми для его содержания. Тогда святитель избрал на реке Тмаке, в 4 верстах от города Твери, одно место, которое ему сильно понравилось. Оно называлось Желтиково. Призвав Божье благословение, он повелел построить здесь деревянную церковь во имя преподобных Антония и Феодосия Печерских, своих великих наставников. Устроив келии, святой собрал братию, поставил им игумена. Это произошло в 1394 году. Спустя десять лет, святитель заложил в Желтиковом монастыре каменный храм и освятил его во имя Пречистой Богоматери, честного и славного Ея Успения, конечно, помня Успенский храм Печерского монастыря. Церковь освящена 30 августа 1405 года; она была благолепно украшена и расписана живописью. Великий князь тверской исполнил свое обещание - пожертвовал монастырю несколько вотчин. Святитель часто приезжал в свою обитель и принимал участие в трудах братии, показывая всем пример монашеской жизни. Он не искал среди братии чести и славы, но в монастыре, устроенном им самим, желал быть простым иноком. Великий своими добродетелями, он наставлял и просвещал всю братию: как месяц сияет между звездами, так и святой Арсений блистал своим благочестием среди иноков обители. Желтиков монастырь святитель желал сделать местом своего упокоения. Своими руками он вытесал себе здесь из белого камня гробницу, а из другого крышку к Желая, чтобы иноки новой обители всегда назидались подвигами Печерских отцов, святой Арсений повелел списать древний Патерик Печерский - книгу, в которой изложены были подвиги и великие труды святых Киево-Печерских подвижников ⁶ . Отсюда видно, что святитель старался и делом, и словом, и назидательными писаниями просвещать и поучать свою паству; он непрестанно носил в своем сердце слова Писания: "Рабу же Господа не должно ссориться, но быть приветливым ко всем, учительным, незлобивым" (2Тим.2:24). Таким пастырем и был святой Арсений. Немало церквей Божьих построил он в самом городе и в его окрестностях; он же возобновил и главный Спасо-Преображенский собор в Твери.

Князь тверской Михаил искренно уважал достойного пастыря. Он часто беседовал со святым Арсением и получал немалую душевную пользу от сих бесед. Кроткие слова святителя глубоко западали в сердце князя. Наставляемый святителем, великий князь строил храмы Божии, творил дела милосердия, помогал неимущим в своем княжестве и посылал милостыню в Царьград. Чувствуя приближение своей кончины, князь изъявил желание воспринять иноческий образ. Святой Арсений одобрил его благое намерение, постриг князя, причем нарек его в иночества Матфеем, и вскоре после того, напутствуемый святителем, инок-князь отошел из сей временной жизни. Любя мир, святой Арсений старался всегда примирять враждовавших. В то время часто происходили раздоры между князьями, и святитель всегда старался положить конец княжеским распрям. С Божией помощию ему удалось в 1403 году примирить тверского князя Иоанна Михайловича с братом его, Кашинским князем Василием Михайловичем, которого тверской князь обидел. Но спустя некоторое время вражда между князьями-братьями снова возгорелась. Тогда святитель, грозя страшным Божиим гневом и вечным осуждением, положил конец сей вражде в день праздника Животворящей Троицы 1406 года.

Примиряя враждующих, святитель старался обходиться со всеми тихо и кротко: никого не позволял обидеть, всякий приходивший к нему находил защиту и прибежище; святой был защитником сирот и вдов, с любовью обходился с нищими и убогими, ободрял ослабевших, всем помогал добрым советом, деньгами или отеческим наставлением.