Його духовні подвиги здобули йому популярність, і, коли овдовіла патріарша кафедра в Олександрії, імператор Іраклій і все духовенство прохали святого Іоанна зайняти патріарший престол.
Святитель гідно ніс архіпастирське служіння, піклуючись про моральне і догматичному вихованні пастви. Під час свого патріаршества він викрив і вигнав з Олександрії єресь монофелітів-Антиохийца Фуллона.
Але головною своєю справою святитель вважав милостиню і благодіяння всім нужденним. На початку свого патріаршого служіння він наказав врахувати жебраків і убогих в Олександрії, яких виявилося понад сім тисяч чоловік. Всім цим нещасним святитель давав щоденне безкоштовне харчування. Два рази на тиждень, в середу і п'ятницю, він виходив до дверей патріаршого собору і, сидячи на паперті, приймав усіх нужденних: розбирав чвари, допомагав скривдженим, роздавав милостиню. Три рази в тиждень він відвідував лікарні, надаючи допомогу страждальцям. У цей час імператор Іраклій вів важку війну з перським царем Хозроєм II. Перси розграбували і спалили Єрусалим, захопивши безліч полонених. Святий Патріарх Іоанн виділив велику частину церковної скарбниці для їх викупу.
Святитель ніколи не відмовляв тим, хто просить. Одного разу по дорозі в лікарню він зустрів жебрака і велів йому дати 6 срібняків. Жебрак, змінивши одяг, обігнав Патріарха і знову став просити милостиню. Іоанн знову дав йому 6 срібняків. Коли ж жебрак втретє попросив милостині і слуги стали гнати настирливого прохача, Патріарх наказав дати йому 12 срібняків, сказавши: "Не Христос чи спокушає мене?" Два рази святитель давав гроші купцю, який зазнав аварії корабля, а на третій раз дав йому, належав Патріархії, корабель, наповнений пшеницею, на якому купець зробив благополучну подорож і повернув борг.
Святий Іоанн Милостивий був відомий своїм лагідним ставленням до людей. Одного разу святитель змушений був за якусь провину відлучити від Церкви одного клірика. Винний озлобився на Патріарха. Святитель хотів закликати його для бесіди і забув про це. Під час звершення Божественної літургії святий згадав слова Євангелія: коли приносиш свій дар на вівтар і згадаєш, що брат твій має щось проти тебе, - залиши дар свій і перш помирись з братом твоїм (Мф.5,23-24). Святитель вийшов з вівтаря, закликав до себе провинився клірика і, пав перед ним на коліна, всенародно просив вибачення. Вражений клірик розкаявся в скоєному і згодом став благочестивим священиком.
Один городянин образив Георгія, племінника Патріарха. Георгій просив святого помститися кривдникові. Святитель обіцяв так віддати кривднику, що здивується вся Олександрія. Це заспокоїло Георгія, і святий Іоанн став повчати його, кажучи про необхідність лагідності і смиренності, а потім, закликавши образника, оголосив, що звільняє його від сплати церковної данини за землю. Олександрія дійсно була здивована такою "помстою", а Георгій зрозумів урок свого дядька.
Святий Іоанн, строгий аскет і молитовник, завжди мав в душі пам'ять смертну. Він замовив для себе труну, але не велів майстрам доробляти її до кінця, вказавши кожен святковий день приходити до нього і питати, чи не час завершити роботу.
Незадовго до смерті святий Іоанн змушений був через хворобу залишити свою кафедру і піти на о. Кіпр. Під час шляху на кораблі хворому святителю було знамення: в сонному баченні йому з'явився світлий чоловік і сказав: "Цар царів кличе тебе до Себе". Це бачення благовістило швидку кончину Патріарха. Прибувши на Кіпр, в рідне місто Амафунт, святитель з миром відійшов до Господа (616 - 620).
