En los cinco años que estuvo en antena su director, Carlos Vélez (a la derecha de la fotografía), se enfrentó a la censura, a cambios imprevistos en horario y día de emisión, reducción de presupuesto, de tiempo y mil vicisitudes más pero hizo de este programa un "must" entre los artistas de la época y, por supuesto, entre los espectadores. La pluralidad fue su mayor virtud y también su maldición. Los políticos se habían hecho ya conscientes del poder de la televisión y querían influir en todo, no sólo en los Telediarios sino también en espacios como éste, que representaban a la clase cultural del país. Unos invitados fueron censurados por anticomunistas y otros por lo contrario. El carácter conciliador y diplomático de Vélez ayudó a capear los continuos incidentes con los mandamases de Prado del Rey y, con una actitud encomiable, siempre se atribuía las culpas de no saber "bregar" con ellos.
Durante la primera temporada Paloma Chamorro ejercía de coordinadora y se encargaba junto a Ramón Gómez Redondo de la sección artística elaborando concienzudos reportajes en los estudios de los más rompedores pintores o acudiendo a las performances de los nuevos artistas en las salas más "cool" de las grandes ciudades. También organizaban en plató tertulias a las que acudían los veteranos y los jóvenes y se producían momentos de gran intensidad creativa en aquellas discusiones. El 25 de marzo de 1977 esa parte del programa se independizó con el título "Trazos" (después "Imágenes"). Paloma se centró en este nuevo espacio y abandonó la nave nodriza dejando a Vélez sólo con los debates bizantinos con los gerifaltes de TVE.
En aquella época también se incluía una sección teatral dirigida por Miguel Bilbatúa y mensualmente se emitía una representación dramática con el título "Teatro Estudio".
Por "Encuentro con las letras", el nombre que adquirió el programa definitivamente, pasaron más de mil escritores que fueron entrevistados por los colaboradores habituales del programa: Jesús Torbado, Andrés Trapiello, Daniel Sueiro, Elena Escobar, Antonio Castro... Conversaciones no de 6 minutos como ya es norma hoy en día, sino de media hora, plano - contraplano, ni más ni menos. Un entrevistador documentado y un entrevistado con cosas que contar. Habitualmente se organizaban tertulias con hasta diez personajes de renombre. El realizador Roberto Llamas se las apañaba como podía para hacer de aquello algo visualmente atractivo ayudado por Mario Gómez en las filmaciones.
Uno de los guionistas y colaboradores del programa adquirió fama casi de inmediato, el inefable Fernando Sánchez Dragó se inició televisivamente en este espacio y los críticos alababan su soltura, su rapidez de reflejos, su ritmo en las entrevistas. Fue el único que consiguió hacer carrera televisiva (aparte de la literaria) tras la cancelación del programa. Otra cosa es que, con los años, se haya convertido en una parodia de sí mismo...
A finales de la década, "Encuentros con las letras" empezó a emitirse en color y su director luchaba para que las cintas con el archivo histórico del programa no se reutilizaran para grabar otros encima (como era norma por entonces). Vélez era muy consciente de que aquellas entrevistas eran un documento excepcional tal y como se demostró después.
En 1979 la prensa se hizo eco de una nueva censura, la que impidió el inicio de una serie de emisiones sobre las identidades autonómicas que se iniciaba con una entrevista a la escritora catalana Montserrat Roig. Unos meses antes el programa había pasado de las dos horas a los 55 minutos y poco después se reduciría su presupuesto de las 500.000 a las 200.000 pesetas por programa. Parecía el fin pero duró hasta el 10 de octubre de 1981 marcando un hito en los programas literarios de la televisión española.
Entrevista a Borges en 1978:
Debate sobre la crítica de arte en 1976 coordinador por la Chamorro: