En 1925, el papa Pío XI nombró a Roncalli visitador apostólico en Bulgaria con el fin de atender a las minorías católicas en un país de mayoría ortodoxa, por lo que fue consagrado obispo. Bulgaria estaba sumida en un caos motivado por el gobierno despótico de su rey Boris III. Un atentado contra el monarca provocó la muerte de 250 personas y varios centenares de heridos. Días después llega Roncalli a Bulgaria e inmediatamente fue recibido por el rey. Roncalli ejerció una labor diplomática basada en la caridad atendiendo a pobres y necesitados. Aprendió búlgaro y en este idioma predicaba sus homilías. Desde entonces se estableció un diálogo entre Roma y Sofía y, con el consentimiento de las autoridades, creó un Seminario latino.

En 1934 fue nombrado delegado apostólico para Turquía y Grecia. Fue fríamente acogido en Turquía y no lo aceptaron como diplomático. Su programa fue como en Bulgaria: caridad y comprensión y redactó su primera carta pastoral en turco. En Ankara atendió espiritualmente a los pocos católicos italianos y franceses que vivían allí. Fijó su residencia en Estambul y allí recibió a los numerosos diplomáticos que agradecían su exquisita acogida y, a veces, un almuerzo excelentemente preparado. También su actividad diplomática y apostólica se desarrolló en Grecia, país muy mal relacionado con la Iglesia Católica. Logró un cierto acercamiento con la jerarquía ortodoxa. En 1944, Pío XII lo nombró nuncio en París. A principios de 1945 presentó sus cartas credenciales al general De Gaulle. Este general estaba irritado con un numeroso grupo de obispos y clérigos franceses que había colaborado con el régimen de Vichy y pretendía destituirlos. Hábilmente, el nuevo Nuncio enfrió la cuestión y, tan solo tres obispos fueron destituidos. La Nunciatura de París estuvo siempre abierta a toda clase de personas: políticos, intelectuales, artistas y campesinos. Pasados ocho años, el papa Pío XII lo nombró cardenal y patriarca de Venecia (1953).

Este nombramiento, muy en consonancia con su deseo de ser “Pastor”, le sirvió para ser el “párroco” de la diócesis veneciana, y como tal se comportó en los 5 años al frente de Venecia. Visitaba las parroquias, los hospitales y las cárceles; y administraba las confirmaciones y las primeras comuniones. Siempre muy cercano al pueblo que lo quiso y al que quiso.