Parece mentira que la cercanía con Madrid no le permita al CD Toledo sentirse como en casa. Los resultados no hablan bien de los verdes como visitantes en la comunidad vecina con sólo dos triunfos en los últimos 19 encuentros disputados. Desde el 3-0 que encajó en El Val de Alcalá en la jornada 34 de la temporada 2003/04, el conjunto capitalino sólo ha sacado un par de triunfos, ambos por la mínima. En febrero de 2010 se ganó en el Cerro del Espino al Atlético de Madrid B (0-1) con un tanto de Pulga, mientras que en septiembre de 2011, Dani Alonso hizo el único tanto del equipo capitalino en el feudo del Alcalá (0-1).
Lo demás han sido intentos vanos por salir victorioso. Aquella temporada 2009/10, el CD Toledo fue a Madrid en cinco ocasiones y salvo el citado 0-1 ante el filial colchonero, se volvió con cuatro derrotas. Perdió claramente en Alcorcón (2-0) e hizo lo propio en Butarque, por 3-0 ante el Leganés. En la recta final de un campeonato que no merece recuerdo alguno, los de Antonio Iriondo cayeron por la mínima en Alcalá (2-1), tras ser remontados, y en Valdebebas ante el Real Madrid Castilla por un contundente 5-1.
Dos cursos después, el botín fue mejor, pero ligeramente. La visita Alcalá abrió la lista de siete a Madrid. Desde esa jornada 4 ya no se volvió a ganar nunca más. El Toledo de Manolo Alfaro empató en Getafe B, en el escenario del próximo domingo, tras adelantarse con un gol en propia puerta en un saque de esquina. El filial azulón empató de penalti ante un rival que terminó con ocho futbolistas. A continuación, sobrevinieron los tropiezos en casa del Castilla (3-0), del Rayo B (2-0) y del Leganés (1-0), aunque los verdes obtuvieron un punto milagroso en la jornada 20 en el Cerro del Espino a pesar del aluvión rojiblanco (0-0). La campaña concluyó con un 2-1 en el desplazamiento a San Sebastián de los Reyes.
Ni siquiera el Toledo de Imanol Idiakez consiguió derribar a los rivales madrileños fuera de casa. La primera tentativa, de nuevo en el feudo del Atlético B, terminó mal en los minutos finales (1-0) y bastante tuvo con un punto (0-0) en Getafe tras la expulsión de Barranco. Los aficionados también presenciaron un 3-1 en contra en el Antiguo Canódromo de Carabanchel ante el Puerta Bonita y un 5-0 demasiado abultado por parte del Real Madrid C. Tampoco fue posible en el Fernando Torres de Fuenlabrada (2-1) ni en Butarque, donde obtuvo un 1-1 con un tanto de Iván Mateo.
Curiosamente, la temporada más fructífera del Toledo en la Comunidad de Madrid es la 2003/04, la del descenso a Tercera División. Muchos seguidores recordarán que su equipo perdió en Fuenlabrada, Alcalá y con el Real Madrid B, pero sacó un valioso punto de Santo Domingo frente al Alcorcón y tres triunfos; 1-2 con el Rayo Majadahonda, 0-1 con el Altético B y 3-4 con el San Sebastián de los Reyes. El curso 1992/93, el segundo de los toledanos en la categoría también trajo tres victorias: Getafe (0-2, Aranjuez (0-1) y Atlético B (0-4).