Un gran duelo en la Cristiandad ante la muerte de Pío XII (9 de octubre de 1958) precedió al cónclave para designar al nuevo pontífice. Fue elegido Monseñor Roncalli; le faltaba un mes para cumplir los 77 años. Se pensó que aquel pontificado iba a ser de paso. Es verdad que no llegó a durar 5 años, pero fue muy fecundo.

Desde un principio, el nuevo Papa deseó estar junto al pueblo: restableció la antigua costumbre de celebrar audiencias, le encantaba charlar con la gente, visitaba a los reclusos de la cárcel Regina Coeli, se hacía presente en todas las parroquias de Roma. Y todo en el marco de una vida sencilla: su jornada empezaba a las cuatro de la madrugada, celebraba Misa en su capilla privada, desayunaba sobriamente, compartía con el secretario de estado los asuntos más importantes, leía la prensa y recibía audiencias hasta las dos de la tarde. Almorzaba siempre acompañado de un cardenal o de un obispo o de un buen amigo. Por la tarde, preparaba sus discursos y encíclicas, revisaba los documentos y firmaba despachos.
Una de las primeras medidas fue el nombramiento de 23 cardenales, entre ellos Mons. Montini (futuro Pablo VI). Lo más sobresaliente de su pontificado fue el anuncio de un nuevo concilio, el Vaticano II, con una triple finalidad: la reforma de la Iglesia, la unión de los cristianos y la apertura de la Iglesia al mundo. Juan XXIII impulsó el Ecumenismo; mantuvo excelentes relaciones con el patriarca Atenágoras I, con el obispo anglicano Dr. Fisher y con el moderador de la iglesia presbiteriana C. Craig; nombró cardenal al jesuita Agustín Bea y lo colocó al frente del Secretariado para la Unión de los Cristianos.

Fue el Papa de la paz. Durante la Guerra Fría intentó aliviar la tensión entre Estados Unidos y Rusia. Medió entre Kennedy y Kruschev, evitando una posible catástrofe. Muy significativa fue la visita de Rada, hija de Kruschev, al Papa, junto con su marido Alexis. La audiencia se desarrolló en un ambiente cálido y festivo y, al final, regaló a Rada un rosario y le pidió que, a su regreso a casa, saludara de su parte a su hijo Iván. Era un primer paso del acercamiento al mundo comunista. Con su humildad y sencillez trató de construir un mundo en paz.