Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación. Vol 2, núm. 1. 2004

¿Cuánto importa la escuela? El caso de México en el contexto de América Latina

 

Tabaré Fernández

Emilio Blanco

 

1. Introducción

En este artículo tiene como objetivo realizar un análisis comparativo sobre la magnitud del “efecto de la escuela” en México y en América Latina. Los hallazgos en que nos basaremos constituyen un subconjunto de hallazgos provenientes de dos investigaciones más amplias realizadas sobre la incidencia de las organizaciones escolares en la estructuración de la desigualdad de aprendizajes cuatro países de América Latina(Fernández, 2003 b; 2004).

La hipótesis que orienta este análisis, es deudora tanto de la teoría de Heyneman y Loxley (1983) como de las discusiones sobre los regímenes de bienestar social y ha sido tratada extensamente en otro lugar (Fernández, 2004). El papel de la escuela es el resultado de las condiciones sociales más generales de distribución del bienestar social: cuanto mayor sea la desigualdad mayor será la magnitud del “efecto escuela”, por razón de la segmentación social, organizacional y espacial que caracteriza al país. Dado que México es uno de los países con más alta desigualdad en la región, es razonable encontrar que la escuela tiene una alta incidencia en los aprendizajes; sin embargo, esta no es una buena noticia para la política, dado que es razonable pensar que aquella magnitud se debe a que el sistema educativo está segmentado socialmente en una forma similar a como lo están las ciudades, las localidades, los mercados de trabajo y la prestación de los servicios sociales.

Cuatro son las preguntas que habrán de responderse: i) ¿cuál es la magnitud del efecto de las propiedades de la escuela sobre los aprendizajes de sus alumnos?; ii) ¿son sensibles estas magnitudes al diseño de la muestra y años analizados?; iii) ¿difieren los países analizados en la magnitud del efecto escuela?; y iv) ¿qué grandes teorías podrían explicar las diferencias observadas entre los países?.

Para realizar este análisis se utilizan los microdatos para sexto grado de primaria generados por el Programa de Evaluación de Estándares Nacionales en Español y Matemática, implementado por la Secretaría de Educación Pública de México desde 1998 y que se ha puesto a disposición de los investigadores luego de la reciente creación del Instituto Nacional para la Evaluación de la Educación (inee) en agosto del 2002. Aquí se presentarán resultados de los denominados “Levantamientos” hechos entre 1998 y 2003. El método adoptado consiste en ajustar, para cada Levantamiento, modelos jerárquicos lineales (hlm) de tres niveles.

El debate sobre la importancia de la escuela no se zanja con este primer análisis. Existe abundante bibliografía que muestra que una de las variables que tienen mayor impacto en los modelos explicativos es la composición sociocultural del alumnado que asiste a la escuela. Dado que esta también es una propiedad del nivel de análisis de la organización escolar, la primera estimación sobre el “efecto escuela” puede en realidad esconder espúreamente “efectos composicionales” o “contextuales” muy fuertes. Esto nos llevó a estimar para los seis levantamientos de México coeficientes de correlación intraclase condicionales o residuales resultantes de la incorporación de un índice de contexto sociocultural de las escuelas como única variable explicativa.

Para interpretar teóricamente los resultados hallados se realizó un doble ejercicio que integra las dos dimensiones establecidas en la hipótesis. Por un lado, y a partir de la teoría que Heyneman y Loxley propusieran en dos artículos de 1982 y 1983, hicimos análisis sucesivos para un grupo de seis países de América Latina: Argentina, Brasil, Chile, México, Perú y Uruguay, luego para los países participantes del Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (llece) y finalmente, con todos los datos publicados por la ronda 2000 del Programa Internacional de Evaluación de Estudiantes (pisa). Por otro lado, abordamos el problema de los efectos de la desigualdad utilizando una medida de bienestar social que fuera propuesta originalmente por Amartya Sen en 1974. Reiteramos así el itinerario de ejercicios anteriores con 6 y 12 países de América Latina para luego aplicarnos al análisis de los 42 países de pisa.

2. Datos y métodos

2.1. Fuentes de información

En México, la Secretaría de Educación Pública (sep) ha realizado desde 1998 y en forma anual, evaluaciones nacionales de aprendizaje en el marco del programa denominado “Estándares Nacionales en Español y Matemática”. Hasta la creación del Instituto Nacional para la Evaluación de la Calidad de la Educación (inee) en agosto del 2002, tanto la sociedad civil como la comunidad académica mexicana desconocían las características técnicas del Programa y las bases de datos. El secreto comenzó a romperse cuando en enero de 2003 el inee convocó a al primer grupo de investigadores a realizar estudios utilizando los microdatos de Estándares Nacionales. Este artículo tiene su origen precisamente en uno de estos estudios titulado “Determinantes sociales y organizacionales del aprendizaje en la Educación Primaria de México: un análisis de tres niveles”(Fernández 2003 b).

Para los análisis aquí presentados se ha utilizado la base de datos generados en los seis levantamientos del Programa de Estándares Nacionales en Matemática y Lengua aplicados a alumnos que cursan el 6º grado de educación primaria. Luego de una detenida comparación de la información de contexto provista por cada levantamiento (comparación que tuvo como principal requisito obtener indicadores sobre capital cultural y económico de la familia), se seleccionó el 4to. Levantamiento realizado a fines del año 2001. A partir de la muestra de ese año, se construyó un índice de contexto sociocultural de la escuela (Fernández 2003 a) que será utilizado en los análisis hechos en la sección 4. Para los restantes análisis (años 1998, 1999, 2000, 2002 y 2003) sólo se utilizarán los puntajes obtenidos por los alumnos en las pruebas de español y matemática.

La evidencia empírica que se utilizará para discutir el tema en América Latina proviene de distintas fuentes. Por un lado, se utilizarán los análisis jerárquico-lineales (hlm) practicados con las bases de datos de evaluaciones realizadas en 6º grado de Argentina (1999), Perú (1998) y Uruguay (1999) y con los microdatos para Chile de la réplica del Tercer Estudio Internacional de Matemática y Ciencias (1999)[1]. Los datos para el Brasil se ha tomado de la estimación del efecto escuela calculado para todo el país por Fletcher (1997) sobre la base de los datos del Sistema Nacional de Avaliaçao da Educaçao Básica (saeb), de 1995 para la 8º série. Finalmente, se han tomado las estimaciones hechas y publicadas sobre el papel de la escuela por el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (llece ) y por pisa 2000.

2.2. La descomposición de la varianza en los HLM

El primer paso de todos los análisis jerárquico-lineales (hlm) consiste en estimar que proporción de la varianza total en la variable dependiente puede ser atribuida globalmente a cada uno de los niveles implicados en el análisis (Raudenbush & Bryk 2002). En este caso, interesa conocer cuál es la proporción explicada por el nivel individual (conformado por el alumno y su familia), el nivel escuela (propiedades contextuales y propiedades organizacionales en sentido estricto) y por el nivel de las entidades federativas. El estadístico que se computa para este propósito y que consiste el foco de todo este artículo se denomina coeficiente de correlación intraclase (ICC por su siglas en inglés) y se designa por la letra griega ρ (rho).

Se parte de suponer que el nivel de aprendizajes de un niño se puede representar como una función del promedio de aprendizajes que caracteriza a una escuela más un residuo aleatorio generado por las característica únicas del alumno. Formalmente, esto se expresa de la siguiente forma (tomando como referencia un análisis sobre el puntaje en la prueba de matemática):

[1]           Mat _ijk = α _0jk + e_ijk

Donde “Mat_ijk” indica el nivel de habilidades del i-ésimo alumno en la j-ésima escuela de la k-ésima entidad federativa medido a través de una prueba estadandarizada (por ejemplo, en lengua o matemática); “α_ojk” es el promedio de habilidades de la j-ésima escuela en la k-ésima entidad federativa; “e_ijk” es la magnitud (positiva o negativa) en la que cada i-ésimo alumno de la j-ésima escuela de la k-ésima entidad federativa se desvía del promedio grupal. Se le llama también “efecto único” o “residuo”de nivel individual.

La hipótesis en que se concreta la pregunta por el efecto de la escuela tiene que ver con la forma en que el promedio α_0jk varía de escuela a escuela de forma estadísticamente significativa en torno a un parámetro para todas las escuelas de la misma entidad federativa, denotado con la letra griega β y que representa el promedio estimado para el nivel de aprendizajes en matemática en la muestra estatal analizada[2]. La magnitud en que la j-ésima escuela se desvía de la gran media, se supone que es una consecuencia de las propiedades específicas de esa escuela y se representa con la letra “r”. Esto se especifica formalmente:

[2]          α_ojk = β_00k + r_0jk

Donde: β_00k es el promedio de habilidades en la k-ésima entidad federativa; y r_0jk es la magnitud en que la j-ésima escuela se desvía del promedio de habilidades de la entidad. También es denominado “efecto único” de la escuela o “residuo” de nivel 2.

Ahora bien, dado que aquí también interesa identificar la existencia de posibles efectos de las propiedades de cada una de las 32 entidades federativas de México, aún se puede agregar otro nivel de análisis representado por la ecuación [3], para el cual utilizaremos la letra griega γ (gama):

[3]          β_00k =  γ₀₀₀ + u_00k

Donde: γ(₀₀₀ es el promedio nacional de habilidades para toda la muestra o “gran media”; y u_00k es la magnitud en que cada entidad federativa se desvía del promedio nacional. También se denomina “efecto único” de la entidad o “residuo” de nivel 3.

Si ahora se re-emplazan las ecuaciones [2] y [3] en la ecuación [1] se obtiene lo que se llama “modelo combinado” (en inglés “mixed model”). Las preguntas por los efectos específicos de la escuela y de la entidad federativa se especifican en los términos residuales “r” y “u”. Estos se denominan “términos libres” o “ aleatorios”.

[4]          Mat _ijk = γ₀₀₀ + u _00k + r _0jk + e _ijk

Al tomar varianzas para la ecuación 4, se explicita un supuesto sustantivo: que la variación observada en la variable dependiente Y (variable del nivel individual, escolares en este caso) se pude descomponer en una fracción de nivel individual se denominará σ² (sigma cuadrado), un componente de nivel organizacional denominado τ² (tau cuadrado) y un componente político-territorial que se denotará como τ_k². Precisamente, la pregunta por la importancia de la escuela en los aprendizajes del niño tiene que ver con la magnitud relativa del componente organizacional en la variación total de matemáticas:

[5]          Var (Mat_ijk) = Var (u _k ) + Var (r_{j k}) + Var (e_ijk)

La anterior descomposición de varianza se hace bajo el supuesto de que no existe intercorrelación entre los términos de error de nivel 1 y de nivel 2, entre el nivel 2 y el nivel 3 y entre el nivel 1 y el nivel 3.

En el análisis multinivel, la prueba la hipótesis de que existen efectos del nivel 2 y del nivel 3 se hace directamente, contrastando si la varianza en cada uno de los términos libres es distinta de cero. Formalmente se expresa a través de las siguientes hipótesis nulas:

[6]          H₀: Var (r _0jk) = 0.
[7]          H₀: Var (u _0k) = 0.

Una vez que se estiman las magnitudes de las varianzas de r_0jk y de u_0k, y que se establece si son estadísticamente distintas de cero, se puede realizar un último paso, consistente en cuantificar qué proporción representan respectivamente en la varianza total de las habilidades. Tal magnitud es denominada coeficiente de correlación intraclase y se lo designa como ICC (por las siglas en inglés) o con la letra griega ρ. Para el nivel 2 (escuelas) se computa de la siguiente forma:

[8]          ICC = Var (r _0jk) / [ Var (e _ijk ) + Var (r _0jk) + Var (u _0k) ]

Para el nivel 3, por su parte:

[9]          ICC = Var (u _0k) / [ Var (e _ijk ) + Var (r _0jk) + Var (u _0k) ]

Conceptualmente este primer resultado tiene una importancia fundamental, dado que permite distinguir empíricamente la incidencia de distintos niveles teóricos en la determinación de un resultado individual, y de esta forma, establece un mecanismo de análisis estadístico para el vínculo micro-macro.

3. El “efecto de la escuela” en México.

Expuestas las nociones estadísticas básicas y los supuestos sobre las cuales se realizará el análisis, en esta sección se analizarán los modelos jerárquico-lineales de tres niveles ajustados para cada una de las pruebas en la evaluación de aprendizajes en 6º grado del año 2001.

El ajuste del primer modelo multinivel con el objetivo de descomponer las varianzas totales en los aprendizajes de español y de matemática permitió estimar que, en ambos casos, existen diferencias estadísticamente significativas a menos del 1% de error, tanto entre las escuelas como entre las entidades. En el cuadro 1 se presentan estos resultados, además de incluirse en la última columna, el coeficiente de correlación intraclase (icc) para el nivel escuela y para el nivel entidad federativa.

Cuadro 1. Ajuste del modelo incondicional y partición de la varianza, México 2001

Fuente: elaborado por el autor con base en los microdatos del 4to. levantamiento de Estándares Nacionales, inicio del ciclo escolar 2001-2002.

 

Tal como se puede apreciar, la partición de la varianza para español indica que un 29.4% del total se debe atribuir a las características de la escuela. El promedio nacional de aprendizajes en la muestra estimado por el modelo es 468.76 puntos[3]. Si se establece un intervalo de confianza de un 95%, los promedios en español en las escuelas se ubicarán entre:

[10]        468.76±1.96(2.78) = (463.31, 474.21)

En el caso de matemática la partición es similar a la encontrada en español, aunque la importancia de la escuela en el nivel de aprendizajes se reduce levemente al 26.9%. Si el promedio nacional (gran media) es de 472.36 puntos y se establece un intervalo de confianza del 95%, se encontrará que las escuelas oscilan entre:

[11]        472.36±1.96(2.03) = (468.38, 476.34)

Las magnitudes en términos absolutos no son fuertes pero sí sustantivamente relevantes. Puesto en términos directos: entre un cuarto y un tercio del nivel de desempeño que un alumno de primaria alcanza se debe a las propiedades organizacionales de la escuela, de tal forma que dos alumnos iguales en todo, excepto en la escuela la que asisten tendrán fuertes diferencias en sus resultados.

A nivel de las entidades federativas la proporción de la varianza es bastante reducida, aunque estadísticamente significativa. En español la incidencia atribuible a las entidades federativas es de un 3.1%, mientras que en matemática es de un 2.6%.

Ahora bien, los hallazgos presentados para la muestra de en 2001 pueden dar lugar a la siguiente pregunta: ¿estos resultados son específicos de la muestra analizada o son estables para los otros levantamientos de Estándares? ¿Se observa alguna tendencia en la descomposición de la varianza a través de los distintos levantamientos ?

Para responder a esta interrogante se ajustaron modelos hlm3 “incondicionales” o de “varianza con término libre” para las evaluaciones de español y matemática del 1er., 2do., 3er, 5to y 6to. levantamiento de Estándares Nacionales realizados en el 6to. grado, sea al inicio o al final del ciclo escolar[4]. Los resultados de la partición de varianza se presentan en el cuadro 2. En las columnas del cuadro se ubican los coeficientes de correlación para cada año estudiado, tanto en el nivel 2 (escuelas) como en el nivel 3 (entidad federativa). Se presentan las descomposiciones de varianza para el aprendizaje medido a través de la prueba de español y con la prueba de matemática.

Tal como se puede apreciar en el cuadro existe cierta variación en el efecto de las escuelas sobre el aprendizaje a lo largo de los seis años evaluados por el programa de en. Para el caso de matemática el valor máximo fue observado en el inicio del ciclo escolar 1998-1999 con casi un 38.9% de la varianza. En el otro extremo, el mínimo efecto fue observado en el 4to. Levantamiento del 2001 con un 26.9%. Para el caso de español, el valor máximo se observó en el final del ciclo 2002-2003 con 33.9% y el valor mínimo en el inicio de ciclo escolar 1999-2000 con 29.1%. Los máximos y mínimos de ambas pruebas no coinciden en el mismo levantamiento.

Una conclusión análoga puede también extraerse para el caso del “efecto entidad”, aunque los máximos hayan sido observados en años distintos. Es de notarse que para la prueba de español la más favorable descomposición de la varianza para examinar efectos de la entidad se presentó en el 5to. Levantamiento con un 4.1% y la menos favorable fue en el 2do. Levantamiento con un valor casi despreciable (pero estadísticamente significativo) del 1.4%.

Cuadro 2. Descomposición de la varianza en matemática y español para los primeros cinco levantamientos de en realizados en 6to. Grados

Fuente: elaborado con base en los microdatos generados por el Programa de Evaluación de Estándares Nacionales en Español y Matemática para los años 1998 a 2003.  Todas las varianzas estimadas son significativas al 1%.

 

Los datos presentados conforman una serie en el tiempo que involucra los últimos tres años de la administración Zedillo (1994-2000) y los primeros tres años de la Administración de Fox (2000-2006). Las dos administraciones han iniciado programas de mejoramiento de la calidad, programas sociales de reducción a la pobreza (denominado progresa primero y oportunidades luego) (Gómez y Loyola, 1998); programas educativos innovadores y focalizados como Escuelas de Calidad (pec) (Cabrero et al., 2003), así como representan la finalización del período de institucionalización de la educación descentralizada (Arnaut, 2004). Sería razonable, por lo tanto, identificar algún comportamiento sistemático en los datos, al menos para los valores de los coeficientes de correlación intraclase (icc) estimados para el nivel escuela. La gráfica 1 muestra cuál es el comportamiento de estas variables; los icc se han presentado como porcentajes para simplificar su lectura.

Gráfico 1. Tendencias en la descomposición de la varianza de nivel 2 (Escuelas) para las evaluaciones de Estándares Nacionales en 6to. Grado de Primaria en matemática y español, 1998-2003.

 

Tal como se puede apreciar en la parte izquierda del gráfico, podría suponerse que existe una tendencia a la reducción en la proporción de la varianza total del aprendizaje matemático explicable por factores de la escuela. En los seis años el coeficiente de correlación intraclase habría pasado de un 39% a un 29%. Sin embargo, cuando se toman las primeras diferencias, el resultado muestra que las variaciones no son sistemáticas (Véase fila de “primera diferencia” en el cuadro 2). Durante tres años consecutivos (1998 a 2000) el papel de la escuela se reduce fuertemente (entre un 20% y 30%); en el año 2001 se incrementa fuertemente (casi un 25%) para luego reducirse aunque por una tasa muy pequeña en comparación al primer período.

Para el caso de español presentado en el histograma de la derecha tampoco se observa una tendencia clara. Parecería que los Levantamientos se agrupan en dos: por un lado los años 1998,2000, 2002 y 2003 con valores de ICC próximos al 33%; y por otro lado los años 1999 y 2001 con valores de icc próximos a 29%. La oscilación en torno a los valores del 30-33% indica que en esta área no hubo modificación sustantiva.

En síntesis, en este apartado se han mostrado tres hallazgos importantes. En primer lugar,que la escuela mexicana sí hizo diferencia sobre los aprendizajes evaluados en 6to grado en el inicio del ciclo escolar 2001-2002. También ha quedado claro que la importancia relativa de los atributos de la entidad es marginal: a pesar de las diferencias observadas, aún prima la homogeneidad en el sistema educativo mexicano. En segundo lugar, que la participación de la escuela en la varianza total del aprendizaje estimada con la evaluación del 2001 (4º Levantamiento) se corresponde en un rango restringido con las estimaciones que se pudieran realizar en los anteriores y posteriores evaluaciones en 6º grado. Dicha estabilidad de las varianzas estimadas por los hlm está informando que la estructura más general de determinantes de los aprendizajes, aquella definida por la participación de los tres niveles analizados (alumnos, escuelas, entidades federativas) no ha variado en los últimos seis años, a pesar de los fuertes programas sociales y educativos focalizados impulsados por las dos Administraciones . En tercer lugar, este tipo de análisis no significa que todo el efecto de la escuela se corresponde estrictamente con sus propiedades organizacionales específicas, tales como la estructura, la enseñanza, la gestión o el clima. Por el contrario, la investigación multinivel muestra que una parte de la varianza de nivel 2 está generada por variables que representan “efectos composicionales” de clase social, composición étnica o ubicación geográfica.

4. Separando el “efecto composicional” del “efecto organizacional”

Para cuantificar la importancia sustantiva de la escuela (al menos de aquellas propiedades de la escuela que pueden ser objeto de las políticas educativas), es necesario distinguir con mayor precisión la magnitud del “efecto organizacional” de la magnitud que pueda tener el “efecto composicional”. Para esto estimaremos un segundo coeficiente de correlación intraclase, denominado condicional o residual, en razón de que se define como la proporción de la varianza en los aprendizajes que queda sin explicar cuando se ha controlado el “efecto composicional” o “contextual”. Denominaremos así al tipo de variables que se construyen mediante una agregación al nivel escuela, de las características de la población que la escuela atiende (por ejemplo, la condición étnica o el status socioeconómico de sus alumnos). Por lo general, esto se hace mediante promedios, desvíos estándares o proporciones.

Este tipo de efectos fue introducido en la investigación educativa durante los años sesenta y setenta para estudiar el efecto de los “pares” en la formación de expectativas y planes educativos (Haller & Butterworth, 1960). Fue utilizado como indicador de segregación racial en el reporte Coleman (Coleman et al., 1966), se afianzó como variable relevante en los estudios sobre efectos de la escuela (Alexander et al., 1979) y fue metodológica y teóricamente afincada su especifidad en los años ochenta (Blalock, 1984). Teóricamente, los aprendizajes no solamente se ven influidos por las características individuales y sociofamiliares de los alumnos, sino también por el tipo de recursos culturales, económicos y lingüísticos que son activados en las interacciones que se verifican en el proceso de enseñanza y aprendizaje, los grupos de pares y otros eventos cotidianos de la vida escolar. En la investigación educativa hay consenso en que sus efectos también se extienden a la organización escolar en la medida en que se conoce la asociación entre asignación de recursos humanos y materiales por parte del sistema educativo y los contextos de las escuelas; en que la gestión escolar está contextualmente condicionada y que el desarrollo del curriculum y el clima organizacional tiene efectos diferenciados según el contexto sociocultural (Ezpeleta y Weiss, 1996; Ravela et al., 1999; Fernández, 2004).

Fundados en estos antecedentes, el argumento es directo: las propiedades contextuales de la escuela no son susceptibles de modificación a través de políticas educativas, al menos en el mediano plazo; por lo tanto, resulta crucial separar su efecto del efecto específicamente organizacional de la escuela sobre los aprendizajes. Sólo así podrá la política educativa tener una idea más clara de cuáles son los “grados de libertad” con que puede instrumentar objetivos de calidad y equidad.

En este apartado se muestra cómo se reduce el peso del nivel escolar al ser controlado el contexto sociocultural de las escuelas, y cómo ha variado esta medida en el período 1998-2003. Utilizaremos para ello el índice de contexto sociocultural elaborado en el marco del proyecto de contextualización de la muestra de escuelas primarias del Programa Estándares Nacionales (Fernández, 2003 a). Dicho índice resulta de la agregación del factor de capital familiar global para cada alumno, compuesto por el nivel de educación de la madre, el equipamiento de confort del hogar, la dotación de servicios básicos en la vivienda, el hacinamiento y el trabajo infantil. Hemos tomado la decisión de asigar el mismo valor del índice a las escuelas para los seis años estudiados. Al menos se pueden citar dos razones. En primer lugar, únicamente el 4º Levantamiento releva las variables necesarias para construir un índice válido de capital familiar global. En segundo lugar, se supone que el contexto de las escuelas es relativamente estable en el tiempo, debido a que las escuelas están fuertemente condicionadas por las características de la zona de la ciudad o localidad de la cual reciben sus alumnos.

Para responder a las preguntas de este apartado se ajustó el siguiente modelo de tres niveles para cada uno de los levantamientos, siguiendo la lógica del modelo que Raudenbush y Byk (2002: 24,25) denominan “means-as-outcomes regression”:

[12]     [A]   Y_ijk = α_0jk + e_ijk

                [B]   α_0jk = β_00k + β_01k Contexto_jk + r_jk

                [C]   β_0k = γ₀₀₀ + u_0k

                [D]   β_1k = γ₁₀₀

Nuestro interés se centró en la ecuación 12.B. en la cual se ha introducido el índice de contexto sociocultural para la escuela. Dada la reducida proporción de varianza en el nivel 3 que se ha identificado, tomamos la decisión de fijar la variación del coeficiente $ 01k; esto significa que el efecto del contexto de la escuela sobre su promedio de aprendizajes será constante a través de las 32 entidades federativas de México. Tal como se puede ver en la siguiente ecuación, el significado del término aleatorio r_jk ha variado:

[13]     r_jk = α_0kk - β_00k - β_01k Contexto_jk

El residuo de nivel 2 ahora representará el efecto único de la escuela no explicado por el contexto sociocultural. Tomando varianzas y luego diviendo por la varianza total de los aprendizajes, se obtiene el denominado coeficiente de correlación intraclase condicional o residual (icc-r). Dicho coeficiente indica, en este caso, la proporción de varianza residual del nivel escolar (varianza remanente luego de controlar el efecto del contexto sociocultural). Este coeficiente puede considerarse como una medida genérica de la varianza en los aprendizajes que puede ser explicada por el conjunto (indeterminado) de características específicamente escolares, excluyendo el contexto.

[14]         ICC-R = Var-R (r _0jk) / [ Var (e _ijk ) + Var-R (r _0jk) + Var (u _0k) ]

Donde “icc-r” es el coeficiente de correlación intraclase; “Var-R” respententa la varianza residual del nivel 2 una vez que se ha descontado el efecto del contexto sociocultural de la escuela.

En el cuadro 3 se presentan los cálculos para los seis levantamientos y en las dos áreas. Para facilitar el análisis, se han repetido los valores de los icc incondicionales presentados en el cuadro 2, y se añadió una línea que muestra cual fue el cambio observado entre las dos descomposiciones de varianza en términos porcentuales.

Cuadro 3 Coeficientes de correlación intraclase condicionales al contexto sociocultural de la escuela (icc-r) para los levantamientos de en realizados en 6to. grado de Primaria

Fuente: elaborado con base en los microdatos generados por el Programa de Evaluación de Estándares Nacionales en Español y Matemática para los años 1998 a 2003.  Todas las varianzas estimadas son significativas al 1%.

 

En el cuadro 3 se aprecia con claridad un comportamiento diferenciado en matemática y en español. Para el caso de matemática, si se atiende a las líneas que presentan los coeficientes de correlación intraclase residuales (icc-r) se observa que para todos los levantamientos que el efecto residual de la escuela tiene una magnitud importante en todos los levantamientos. Varía en un máximo de 36% en 1998 a un mínimo de 20% en 2001.

La comparación con los icc incondicionales muestra que la reducción del “efecto escuela” una vez descontados los efectos contextuales se modifica considerablemente entre los levantamientos, variando entre un mínimo de 7% en 1998 y un máximo de 26% en 2001. En los últimos cuatro años del período esta reducción fluctúa alrededor del 20%, lo que indica que el contexto sociocultural de las escuelas mantiene una cierta participación, si bien menor, en la explicación de los resultados promedio de los centros.

Para el caso de español, puede observarse que también los coeficientes ICC-R tienen una magnitud importante a lo largo del período. Concretamente, varían entre un máximo de 29.3% en 1998 y un mínimo de 19.5% en 2001. La diferencia con el caso de matemáticas se vuelve notoria al comparar este coeficiente con el ICC incondicional. Puede observarse que la proporción en que se reduce el efecto de la escuela sobre el aprendizaje de español, una vez descontados los efectos composicionales, es mayor que sobre matemáticas a lo largo de todo el período (con excepción del año 1998, donde la diferencia entre matemáticas y español es prácticamente nula). Más aún, resulta evidente que esta diferencia se ha incrementado entre la primera y la última medición. Concretamente, el peso de los factores escolares una vez controlados los efectos composicionales se reduce progresivamente; la proporción de esta reducción alcanza su máximo en el año 2003, con un 37%.

Gráfico 2. Cambio (en %) en la varianza en los aprendizajes explicada por el nivel escuela, una vez controlado el contexto sociocultural de la escuela: Matemática y Español. Años 1998 a 2003

5. Teoría de Heyneman-Loxley

5.1. Formulación de la teoría

La investigación educativa comparada dio un salto cualitativo al ser publicados los resultados del Primer Estudio Internacional de Ciencias (Fiss ) hecho por la International Association for the Evaluation of Educational Achievement (iea) hacia 1970. El marco de referencia más general de los estudios estuvo pautado por una de las conclusiones extraídas del Reporte Coleman respecto del escaso peso que tenían las características de las escuelas sobre los aprendizajes de los alumnos (Coleman et. Al., 1966:21). En consecuencia, la investigación comparativa se orientó al problema de si la estratificación social de los aprendizajes hallada inicialmente en Estados Unidos podía replicarse en otros países del mundo. Por un lado, se trató de establecer cómo afectaba el grado de desarrollo económico tanto al nivel de aprendizaje como a la creación de desigualdades educacionales originadas en desigualdades de clase. Por otro lado, se indagó si las magnitudes relativas de la reproducción social y de los efectos de la escuela variaban según el grado de desarrollo económico del país. En ambos planos, el interés más general estaba relacionado con el valor que la política de creación de capital humano podría tener como instrumento de desarrollo en los países más pobres. La principal y más perdurable formulación fue planteada por dos académicos al servicio del Banco Mundial: Stephen Heyneman y William Loxley.

Stephen Heyneman publicó en 1976 una detallada investigación sobre el aprendizaje de los escolares en Uganda (Heyneman 1976); informe que luego fuera bautizado como el “Reporte Coleman para una nación subdesarrollada”. En éste, el autor hizo notar que la magnitud de la relación entre variables sociofamiliares y los aprendizajes parecían diferir de lo hallado por Coleman y colaboradores. Por lo tanto, eran necesarios nuevos análisis de la relación originaria para países que variaran el nivel de ingreso per cápita. Puesta en un lenguaje econométrico, esta crítica estaba fundada en suponer que la estructura de determinantes familiares y escolares sobre el rendimiento no era estable a través de los países y que las variaciones se debían al efecto de los factores societales condensados en el término “grado de desarrollo”.

Sobre aquella hipótesis general, Heyneman y Loxley publicaron un primer trabajo en 1982 para el que se procedió a realizar nuevos análisis de regresión con los datos de fiss 1970. En un segundo trabajo publicado en 1983, los dos autores completaron la evidencia provista por fiss incluyendo un amplio conjunto de 29 países de altos y bajos ingresos de todos los continentes. La comparación incluyó resultados del fiss 1971, así como del Programa de Estudios Conjuntos de América Latina (en adelante eciel 1975); para los restantes países, utilizaron evaluaciones de aprendizaje hechas en matemática o ciencias, sea en la educación primaria o en la secundaria.

Los países fueron clasificados según el nivel de desarrollo económico alcanzado, usando como indicador el ingreso per cápita: países de bajo ingreso (hasta 320U$S), países de mediano ingreso (321 hasta 1999 U$S ) y países de alto ingreso (más de 2000U$S ). En cada uno de los 29 países de su muestra, los autores ajustaron modelos de regresión a nivel de los niños ingresando primero un bloque con variables sociodemográfica-familiares y computando el coeficiente de determinación (R² - “pre-escolares”) y luego ingresando el bloque de variables de la escuela disponibles, computando cuando había mejorado la explicación en este paso (cambio en R²). Finalmente, expresaron ambos R² hallados en términos porcentuales sobre el R ² total de los modelos completos. El cuadro 4 presenta los resultados hechos por los autores.

Cuadro 4. Variaciones en los modelos según factores analizados por Heyneman & Loxley (1983)

Fuente: los resultados se han generado mediante el re-procesamiento de los datos presentados por en el cuadro 2 de Heyneman & Loxley (1983: 1174 y 1775).

 

Mientras que en los países de bajo ingreso un 67% de la variación total en los aprendizajes explicada por el modelo completo era atribuible al bloque de variables escolares, en los países de alto ingreso, la contribución de la escuela a la explicación se había reducido a la tercera parte del total. Lo inverso se observaba con las variables “pre-escolares”.

Aquí hemos dado un paso adicional relacionado el porcentaje de la varianza total en los aprendizajes que aportan las variables de la escuela según Heyneman y Loxley con la medida continua del ingreso percápita en 1971 para la muestra original. El ajuste del modelo de regresión informa que más de la mitad de la varianza en el primero se debe al segundo ( R² = 0.51) (Gráfico 3).

Gráfico 3. Relación entre el producto bruto interno per cápita en dólares (1971) y la proporción de la varianza explicada por las variables de la escuela según Hayneman y Loxley (1983)

 

Los hallazgos establecieron las bases para una nueva teoría en la investigación comparativa. Por un lado, las diferencias socioeconómicas heredadas del hogar resultaron ser predictores significativamente fuertes de las desigualdades observadas en los aprendizajes de los alumnos a través de todo el mundo. La tesis confirmaba la validez del Reporte Coleman más allá de las fronteras norteamericanas. Por otro lado, afirmaban que la estratificación social de los aprendizajes y el papel de la escuela eran dos dimensiones explicativas que estaban condicionadas por el nivel de desarrollo económico del país.

Heyneman y Loxley sugirieron cinco explicaciones posibles para dar cuenta de las correlaciones identificadas. Las tres primeras se refieren estrictamente a problemas metodológicos que podrían cuestionar la validez de los hallazgos, en tanto que las dos últimas son sustantivas por referir a los mecanismos sociales por los cuales se generarían los resultados observados. Nos restringiremos a éstas dado que refieren al problema más general que abordamos aquí.

Los autores señalaron como primera explicación que en los países con escasos niveles de desarrollo las oportunidades de escolarización tanto en primaria como en secundaria están desigualmente distribuidas según áreas geográficas y por lo general son reducidas en comparación con la población potencialmente escolarizable. Existe una desigualdad de oportunidades educativas generada por una oferta de servicios educativos reducida. Los autores sostienen que:

“Scarcity creates competition for school places from the onset of grade I, and at level of intensity unknown in wealthy countries until college or in the case of the United States, until graduate school. This scarcity is well known within both poor and rich families” (Heyneman & Loxley 1983: 1182).

Esta primera explicación sustantiva implica dos mecanismos “micro-sociales”, uno referido al significado cultural de la educación y otro referido a la racionalidad de los actores. Por el primer mecanismo, los países con más bajos grados de desarrollo económico deberían tener como característica una mayor uniformidad en el significado que las familias le asignan a la asistencia y al éxito escolar. Por el segundo mecanismo, este significado debería aparecer a nivel de la racionalidad de los actores generando balances costos /beneficio para una trayectoria educacional que estarían sólo débilmente causados por el status socioeconómico de o rigen.

La segunda explicación aportada por Heyneman y Loxley es “macrosociológica”y apunta a la existencia de un mecanismo de “hiperselección socio-académica” que afectaría a las clases que tienen acceso a la educación. En un sistema segmentado social y geográficamente, las expectativas y oportunidades de movilidad social empujarían directamente a una alta la competencia por las escazas plazas en las escuelas. El mercado de trabajo escindido entre un sector formal, un sector informal urbano y un sector agrícola mayoritario, marcaría trayectorias individuales contrastantes. El éxito ocupacional estaría asociado al segmento formal urbano, predominantemente público, y este a su vez tendría mayores exigencias de selección fundadas en la escolaridad que en el sexo o el status socioeconómico. En consecuencia, las tasas de retorno privadas de la educación tenderían a ser las más altas entre los países de bajo desarrollo que en los de alto desarrollo (Heyneman & Loxley 1983: 1182).

5.2. Aplicación para América Latina

Si la teoría de Heyneman-Loxley fuera correcta en su formulación original, debería observarse una relación inversa entre el papel de la escuela medido a través de la magnitud del icc y el grado de desarrollo del país ( medido por el producto interno bruto, pib). En consecuencia, en México que era el país con el pib más bajo en el año 2000 se observaría el icc más alto en comparación con Argentina, país con el más alto pib en el 2000. En la gráfica 4 se ha presentado esta relación, utilizando como indicador de desarrollo el pib per cápita expresado en dólares de 1997. Los países analizados son los seis para los que se han calculado coeficientes de correlación intraclase con base en evaluaciones nacionales de aprendizaje: Argentina, Brasil, Chile, México, Perú y Uruguay[5] [6].

Se podría afirmar que la gráfica aporta evidencia compatible con la teoría de Heynemann y Loxley: a menores niveles de ingreso per cápita, mayor es la participación del nivel escuela en el nivel de aprendizaje. Como dato adicional para este ejercicio, conviene señalar que las correlaciones bivariadas obtenidas entre el pib y los icc son de r=-0.55 para los resultados en matemática. En el marco de la tendencia expuesta, conviene llamar la atención sobre la posición discrepante de Chile: es el país con el icc más alto estimado en este grupo. Aún así, los valores están por debajo de los hallazgos de Heyneman - Loxley (r=-0.717).

Gráfico 4. Relación entre el PIB per cápita año 1999 (eje de las X) y los valores de coeficientes de correlación intraclase (ICC) para lengua (lLEN) y matemática (MAT) (eje de las Y)

Podría cuestionarse estos hallazgos sosteniendo que no es legítimo comparar descomposiciones de varianza obtenidas a partir de evaluaciones que difieren en el diseño de sus pruebas y de sus marcos muestrales; es decir, que podría suponerse que la estimación del efecto escuela podría ser sensible al tipo de pruebas aplicadas[7].Aceptando esta crítica, podría avanzarse en el análisis utilizando dos evaluaciones internacionales de aprendizaje: el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (llece) que en 1997 aplicó pruebas de lengua y matemática a alumnos de 3º y 4º grado de 13 países de América Latina, y el pisa 2000 y pisa + en que participaron alumnos de 15 años escolarizados en educación media en 5 países de la región.

El llece reportó en su Informe Técnico, tabla 1, una descomposición de la varianza en los aprendizajes de lengua y matemática para la totalidad de cada muestra nacional (3º y 4º grados conjuntamente). Los resultados conjuntos de los 12 países para los cuales se dispone de información se presentan en la gráfica 6 relacionados con el producto interno bruto per capita para el año 1999 informado en el Panorama Social de la cepal (cepal 2003, anexo estadístico). Tanto la cantidad de países como la más amplia varianza en el PIB per cápita permiten replantear la teoría en discusión en un contexto más amplio. El resultado de este segundo ejercicio se presenta en la gráfica 5. Hay dos lecturas posibles: una respecto al nivel que presenta en cada país el coeficiente de correlación intraclase. Esta es interesante pero no central para la actual discusión. La segunda lectura consiste en observar dónde se ubica cada país en la gráfica.

Gráfico 5. Relación entre el PIB per cápita de 1999 con el coeficiente de correlación intraclase por LLECE en 1997 para 3º y 4º de Primaria

 

Si se toman como referencia Argentina y Chile, rápidamente se concluye que las posiciones observadas con anterioridad no se mantienen. El más alto icc se observa en Perú, como se suponía, pero el segundo valor se observa en la Argentina, algo que contradice la hipótesis. El país más pobre evaluado por llece en 1997 fue Honduras, sin embargo presenta un icc menor que el Paraguay y Perú. La consistencia entre estos coeficientes y los estimados con anterioridad a partir de las muestras nacionales por países son razonablemente consistentes para el caso de lengua (r=0.775), pero bastante débiles para el caso de matemática (r=0.154). Sin embargo, debe recordarse que se trata de estimaciones hechas para dos grados distintos de la escuela primaria (3º y 6º) y que existe alguna evidencia que señala que la proporción explicada por la escuela se incrementa con el grado (Fernández, 2004: 416-418 y cuadro XIII.6). Finalmente, obsérvese otra diferencia: mientras que con los cinco países graficados anteriormente se ajustaba una línea recta, ahora la relación es curvilineal para ambas pruebas.

El tercer ejercicio realizado para someter a prueba la teoría de Heyneman-Loxley se presenta en la gráfica 6. Se graficaron los coeficientes de correlación intraclase (icc) publicados por pisa (pisa/unesco 2003: anexo B7, cuadros 7.1a y 7.1b) contra el pib per cápita para todos los países participantes de la ronda 2000 del pisa.

Gráfico 6. Relación entre el producto interno bruto per cápita (2000) y el coeficiente de correlación intraclase para la prueba de lengua de PISA 2000.

 

El primer aspecto que es necesario notar es que las magnitudes calculadas para los icc de las pruebas resultan sustantivamente más grandes que los estimados por cualquier estudio publicado a nivel nacional y con pruebas nacionales para el caso de los países analizados de América Latina. El valor más bajo de icc se estima para Brasil con 0.359; el más alto es para Perú con 0.580. México por su parte llega a 0.534, una magnitud sustantivamente más alta que la reportada más arriba para 6º con los microdatos de Estándares Nacionales.

En segundo lugar, y tal como se puede apreciar, los resultados que proporciona la gráfica 6 son distintos a los mostrados para llece pero similares al primer grupo de 6 países. Para el caso de la prueba de lengua, se encuentra una relación inversa entre el icc estimado y el desarrollo del país; una situación que confirma la teoría de Heyneman y Loxley. La bondad de ajuste sin embargo, es notoriamente más reducida que el que hallaron los autores con las evaluaciones de los años 70, algo adelantado por Baker y colaboradores en su artículo del año 2002 . En tercer lugar, México se alinea perfectamente en la tendencia junto con otros tres países de la región participantes: Argentina, Chile y Perú. Junto con éstos países de América Latina, aparecen Hungría, Bulgaria y Polonia. En cuarto lugar, hay casos desviados. Brasil tiene una posición discrepante con los otros países de la región: su icc es más reducido que el que cabría esperar de acuerdo a su nivel de desarrollo. Si se observa el gráfico 6, Hungría es el país con la mayor magnitud del efecto escuela. Alemania, Austria y Bélgica conforman un cluster de países con “efectos de escuela” mayores que los estimados para los países latinoamericanos. Una situación similar sucede con Italia. ¿Qué comparten estos tres países europero-occidentales-continentales y un país de Europa Oriental con los países latinoamericanos?

Si fuera metodológicamente aceptable la comparación gruesa realizada hasta aquí, estos dos análisis complementarios permiten formular dos conclusiones. Por un lado, el papel de la escuela en América Latina variaría no sólo según sea el área de conocimiento que se analice sino también entre los niveles del sistema educativo. Con los indicios que se disponen, parecería ser el caso de que el papel de la escuela aumenta conforme se pasa de 4º a 6º y 9º o 10º grados (aproximadamente, porque pisa no evalúa grados). Esta tendencia se observa en todos los países. En segundo lugar, la relación postulada por Heyneman-Loxley entre grado de desarrollo (medido gruesamente por el pib per cápita) y el papel de la escuela parece sostenerse. Finalmente, es importante volver a recalcar que la teoría discutida es “optimista”: valora como una buena noticia un mayor papel de la escuela en los países no desarrollados y de esta forma relativiza el pesimismo generalizado que surgiera luego del Reporte Coleman de 1966.

6. Desigualdad social y aprendizajes

Los estudio de economía política del estado de bienestar proporcionan una segunda línea de interpretación sobre el papel de la escuela. Se encuentra esbozada en los reportes nacionales de pisa que publicaron Brasil, Suecia y Chile (inep 2001; suecia 2001; mineduc 2003) y un reciente estudio comparativo realizado sobre los países nórdicos (Lie, Linnakylä & Roe 2003). La hipótesis principal de la teoría establece distintos papeles para la escuela según el tipo de régimen de bienestar social (entendidos aquí en el sentido que le diera Gosta Esping-Andersen).

6.a. La tesis de la desigualdad distributiva

A los efectos de realizar una primera prueba empírica de la tesis, nos restringiremos a observar una dimensión global de los regímenes de bienestar: la distribución del ingreso. Suponemos que ésta es una consecuencia de un amplio conjunto de instituciones sociales de protección y bienestar social: el mercado de trabajo, el acceso a los servicios públicos, la infancia, las jubilaciones y pensiones, etc. De esta forma la desigualdad en el ingreso puede utilizarse como un indicador del nivel de desigualdad más general existente en una sociedad. Supongamos que los niveles de concentración en la distribución del ingreso observados en las sociedades afectan la distribución de los conocimientos escolares básicos entre los niños, así como también la distribución de los alumnos de distintas clases sociales entre las escuelas, haciendo que éstas sean más o menos homogéneas.

La importancia de esta tesis se puede captar rápidamente. América Latina en su conjunto es una de las regiones del planeta con mayor nivel de concentración del ingreso[8]. Dentro de la región, México se ha caracterizado históricamente por ser una sociedad con un alto nivel de desigualdad (Índice de Gini, G = 0.54) (Cortés, 2000), hoy en día sólo superado por Brasil (G=0.64), Bolivia (G=0.59 ), Honduras (G=0.56) y Chile (G=0.56).

El mecanismo explicativo de esta teoría supone que cuando la estructura social conlleva grandes niveles de desigualdad, las escuelas tienden a estar más segmentadas entre las clases sociales, y por lo tanto, también entre los aprendizajes. La desigualdad en el campo económico tendría externalidades negativas sobre el campo educativo que terminaría revirtiéndose sobre el campo económico, consolidando un círculo vicioso de perpetuación de la desigualdad y del subdesarrollo. Esto conlleva a dos resultados concretos que se obtendrían en el análisis de los efectos de la escuela: primero, que cuanto mayor es la desigualdad en un país, menor sería el nivel promedio que alcanzaría en las pruebas; segundo, que una mayor desigualdad repercutiría en un mayor papel de la escuela en los aprendizajes.

Correctamente interpretada por tanto, la tesis que aquí se esboza resulta complementaria y no antagónica respecto de la teoría de Heynemann-Loxley. La teoría debe considerar la relación entre desarrollo y desigualdad postulada Kuztnez”. Esto significa que una sociedad puede tener bajos grados de desigualdad en dos situaciones extremas: una caracterizada por la ausencia de desarrollo (la fase anterior al despegue modernizador de Rostow) y la otra cuando el país ha alcanzado un alto desarrollo. Es de notar que, dada la relación curvilinear postulada por Kuztnetz entre desarrollo y desigualdad, es probable que la misma forma describa también adecuadamente la relación entre desigualdad y el papel de la escuela. La escuela tendría escasa incidencia ahí donde la desigualdad es muy reducida o donde es tan elevada que la estructura social ha llegado a excluir a los alumnos más pobres de la escuela. Ahora bien, si ha de atenderse a la ley de Kuznetz, entonces se debe concluir que no podrían compararse directamente indicadores de desigualdad del ingreso porque un mismo valor podría estar indicando muy diferentes niveles de bienestar social. Es necesario contar con una nueva medida que combine la aproximación por el nivel de ingreso y la aproximación por la distribución a los efectos de representar más adecuadamente el desarrollo social en un país y en un momento determinado. Amartya Sen (1974) propuso una medida que satisface estas exigencias. El índice de bienestar social pondera el valor del pib per cápita por el complemento del índice de Gini (G). Formalmente:

[15]      Sen74 = pibpc * (1 - G)

Dado que este indicador se corresponde más adecuadamente con la discusión que presenté, lo utilizaré para los análisis empíricos, denominando a este índice simplemente como “índice de Sen” (sen74).

6.b. Desigualdad y papel de la escuela en la región

Se han realizado tres ejercicios preliminares para sondear la consistencia de esta tesis. El primero, simplemente es un gráfico que relaciona los coeficientes de correlación intraclase calculados para los países analizados en la tesis más Perú y el índice de Sen tal como lo informa el Panorama Social de América Latina. El segundo, muestra la misma relación pero con los datos de 12 países la región aportados por el llece (2001). Finalmente, se realiza un análisis con los 42 países participantes en pisa ronda 2000 (pisa/unesco 2003).

El gráfico 7 muestra la relación existente entre el papel de la escuela y el coeficiente de correlación intraclase para lengua (línea completa) y para matemática (línea punteada). El resultado es similar para matemática, por lo que aquí se ha obviado. Se trata de una recta con una tendencia decreciente muy similar a las ya presentadas más arriba en la gráfica 4. No se presentan relaciones curvilineares tal como se había hipotetizado[9]. Nuevamente Chile a pesar de ponderar el pib con el muy alto nivel de desigualdad, sigue mostrandose fuera de la tendencia. La ponderación ingreso-desigualdad coloca al Uruguay (país con menor desigualdad) muy próximo a la posición de Argentina aunque levemente corrido hacia arriba. Obsérvese finalmente que las mayores desviaciones desde la recta tienen que ver con el papel que la escuela juega en el aprendizaje matemático: Perú, Chile y Uruguay están muy por encima de la recta, en tanto que Brasil, México y Argentina están por debajo. De aquí el relativamente débil ajuste de esta regresión ( R2 =0.206). El diferente comportamiento de estos grupos de países podría deberse al carácter federal de los primeros y centralizado de los segundos.

Gráfico 7. relación entre el índice Sen de bienestar social (eje de las X) y los coeficientes de correlación intraclase para pruebas de lengua y matemática en estudios nacionales

 

Ahora bien, ¿qué aporta en forma original esta nueva idea? Se podría argumentar que la falta de “novedad” de estos hallazgos encuentra fundamento en una realidad incontestable: los países analizados, salvo Uruguay, tienen grados de desigualdad bastante similares. Para probar la tesis sería necesaria una mayor varianza en el índice de bienestar social de Sen. Por esta razón se introduce el segundo ejercicio de análisis ahora con datos de 12 países de la región. Es de recordar que una diferencia importante con los datos antes analizados es que Uruguay no participó en esta evaluación por lo que el país con menor bienestar social es Honduras, seguido por Bolivia y Paraguay. La gráfica 8 presenta la relación hallada para lengua; dado que la relación tiene la misma forma en matemática, aquí se ha suprimido.

Gráfico 8. Relación entre el índice de bienestar social y los coeficientes de correlación intraclase de la prueba de lengua calculados para los países de América Latina participantes del LLECE 1997

 

Las posiciones de los países son relativamente similares con algunas excepciones: por ejemplo, las de Paraguay y México en los que el papel de la escuela disminuye para matemática; y de Brasil y Argentina en los que, al contrario de los anteriores, el papel de la escuela es mayor en matemática que en lengua. La relación tanto en lengua como en matemática es curvilineal, en forma de “U”. A medida que el bienestar social se incrementa, decrece el “efecto escuela”para luego volverse a incrementar. Esta lectura de las gráficas puede ser criticada conforme se considere la posición de Argentina o de Chile como casos fuera de tendencia. Los restantes países se comportan de forma bastante previsible con sus puntajes sobre la recta trazada.

Ahora bien, estos resultados podrían interpretarse también en términos de los regímenes de bienestar. Los países que se ubican en términos generales sobre la recta son aquellos que o bien desarrollaron tardía y dualmente un estado de bienestar, o no lo desarrollaron en absoluto (Filgueira 1999). Los países discordantes, Argentina y Chile, pertenecen al régimen de bienestar que fuera denominado del “universalismo estratificado” y que han pasado por transformaciones estructurales muy profundas, particularmente el segundo, en dirección a una re-mercantilización del bienestar social. Incluso dentro de los países que se ubican en la tendencia, aquellos que se encuentran al centro de la distribución, que son Venezuela, Brasil, México y Colombia son países con regímenes sociales de tipo “dual” en tanto que los países del extremo izquierdo de ambas gráficas son países sin regímenes de bienestar desarrollados.

Se puede argumentar nuevamente que los países de América Latina no pueden ser buenos casos para explorar la tesis, dado que la región tiene el grado de desigualdad promedio más alto del mundo (0.548 para los países de llece) y que además existe una reducida varianza (aunque no la menor en términos relativos). En consecuencia, los microdatos de la evaluación de pisa con 42 países de América Latina, países anglosajones, Asia Oriental, Europa occidental, nórdica, mediterránea y oriental constituyen una muestra más idónea para evaluar esta tesis.

La gráfica 9 muestra el ajuste entre el índice de bienestar social de Sen y los coeficientes de correlación intraclase computados con la prueba de lengua para cada país participante del pisa 2000. Una forma útil de leer el gráfico puede ser imaginar los cuatro cuadrantes conformados por la combinación de las dos alternativas (alto/bajo) de cada variable. Esto permite descubrir una primera cuestión importante: no existen países con bajo nivel de bienestar y un reducido efecto de la escuela. En segundo lugar, en el cuadrante opuesto (alto bienestar, alto efecto de la escuela) se concentran tres tipos de países: la Europa central y continental (Alemania, Bélgica, Austria, Suiza), un país mediterráneo (Italia), y Japón; gruesamente, países de regímenes de bienestar corporativos o “conservadores” en la terminología de Esping-Andersen (1990).

Gráfico 9. Relación entre el ínidice de bienestar de Sen y los coeficientes de correlación intraclase para la pruenba de lengua computados por PISA 2000

 

En el extremo superior izquierdo de la gráfica 9 se ubican dos grupos de países: los de Europa Oriental (Hungría, Polonia y República Checa), y los países de América Latina participantes. Junto con la Federación Rusa, estos son los país participantes con mayor nivel de desigualdad en el mundo. En el cuadrante alto -bajo se encuentran dos grupos de países muy nítidamente conformados según tipos de regímenes de bienestar: los nórdicos y los anglosajones.

7. Conclusiones

Los hallazgos más importantes aportados por las investigaciones reseñadas en este artículo son cuatro: i) la magnitud y estabilidad observados en el efecto de la escuela en México; ii) la incidencia del efecto composicional; iii) la validez que aún mantiene la teoría Heyneman -Loxley para dar cuenta de la magnitud que tiene el efecto escuela en una nación en vías de desarrollo como es México; y iv) la implicancia que para la política educativa tiene la relación hallada a nivel comparativo entre desigualdad social y el efecto de la escuela.

En primer lugar, se ha visto que las características de las escuelas primarias mexicanas tienen una importancia sustantiva en el aprendizaje de sus alumnos. Los modelos jerárquico-lineales ajustados informaron que aproximadamente un 30% de la varianza total de los aprendizajes es atribuible a la escuela, tanto en matemáticas como en español. Los resultados son relativamente estables para los seis años analizados aquí (1998 - 2003). El hallazgo confirma para el caso de México que una parte importante del aprendizaje en la educación primaria está explicado por factores pertenecientes al nivel de las escuelas y no al de los alumnos.

Sin embargo, lo anterior no equivale a afirmar que las escuelas pueden “hacer la diferencia” en la proporción observada. No todas las propiedades de la escuela pueden ser modificadas por las políticas educativas o por la gestión escolar. Específicamente, aquí se ha analizado cómo se reduce el efecto total de la escuela cuando se considera la composición sociocultural del alumnado. Con el fin de dilucidar esta segunda interrogante, se ajustaron nuevos modelos hlm introduciendo como única variable explicativa el índice de contexto sociocultural de la escuela. Los resultados mostraron diferencias para matemática y español. Para el caso de matemáticas, el efecto residual de la escuela una vez controlado el contexto sociocultural se reduce como máximo en un 20%, sin observarse tendencias en el período analizado. Para el caso de español, la reducción del efecto escuela no solo es más importante que en matemáticas (un máximo de 37%), sino que además crece sistemáticamente entre los años considerados. Esto indicaría que, si bien no se observan modificaciones significativas en la participación de las características escolares sobre la varianza total, se ha deteriorado la capacidad de las escuelas mexicanas de incidir sobre el aprendizaje de español a partir de sus propios instrumentos.

Ahora bien, ¿cuál es el sentido sustantivo que está detrás de afirmar que alrededor de un tercio de la variación en los aprendizajes de los escolares mexicanos al finalizar la primaria se debe a las propiedades de la escuela?. En la revisión de la bibliografía encontramos dos grandes líneas explicativas. La más clásica de todas remite a los trabajos que Heyneman y Loxley publicaran en 1982 y 1983 sobre un análisis hecho principalmente con los datos del Primer Estudio Internacional de Ciencias (fiss de 1971). La segunda línea de análisis ha sido esbozada en varios de los informes nacionales publicados luego de la ronda 2000 de pisa. En consecuencia, para interpretar el sentido que tienen nuestros hallazgos tomamos la decisión de realizar un análisis comparativo, primero con países de América Latina y luego con los países de pisa.

La aplicación de la teoría de Heyneman y Loxley tanto para América Latina como para los países participantes en pisa puede evaluarse como exitosa. Efectivamente la magnitud del efecto escuela depende del nivel de desarrollo del país, aunque en una forma sensiblemente menos linealizable que lo que hallaron los autores casi treinta años atrás. Esta parecería ser una buena noticia tanto para la política educativa de los países subdesarrollados como para las líneas de política crediticia para el desarrollo que han implementado los organismos financieros internacionales desde fines de los años ochenta. Las “escuelas sí importan” y por lo tanto, invirtiendo en ellas sería posible elevar la calidad de los aprendizajes. Ahora bien, el único contraste fuerte a este hallazgo proviene de los resultados para los 12 países del llece. Se ha encontrado que aquí la relación con el desarrollo tiene una forma de “U”: el papel de la escuela es muy importante en los países menos desarrollados de la región, luego disminuye hasta los países “intermedios” en términos regionales (Venezuela, Brasil) para incrementarse nuevamente conforme se incrementa el desarrollo del país. Una hipótesis para explicar la discrepancia observada sería que las relación postulada por la teoría de Heyneman y Loxley varía según el nivel del sistema educativo analizado.

Ahora bien, el último paso en el análisis consistió en someter a prueba una teoría complementaria a la anterior que vincula el papel de la escuela con el tipo de régimen de bienestar social de un país, y en particular con la desigualdad social que genera. La tesis es importante para un país como México caracterizado por lo que ha sido denominado “régimen dual del bienestar”(Filgueira 1999). Teniendo presente que no es posible comparar directamente los países con una medida de desigualdad como el índice de Gini, se adoptó en su lugar el índice de bienestar social de Sen (1974). Los hallazgos fueron consistentes con lo hipotetizado. Cuanto mayor sea el bienestar social en una sociedad (esto es conforme el nivel de vida es más alto y está más equitativamente distribuido), se observará que las escuelas tienen un papel más reducido en el aprendizaje; a la inversa, las sociedades que presenten mayores desigualdades en los niveles de vida de la población contarán con escuelas que tienen un mayor peso en los aprendizajes. Los gráficos mostraron además claramente cuatro grandes agrupamientos de países. Los 6 países de América Latina y los seis países de Europa Oriental participantes en pisa 2000 son los más desiguales del mundo y tienen los mayores coeficientes de correlación intraclase. Los países de Europa continental que cuentan con un régimen de bienestar que Esping-Andersen (1990) denominara “conservadores” son países con un alto nivel de bienestar y también con un papel fuerte de la escuela. Los países anglosajones más Israel tienen un alto nivel del bienestar y un relativamente reducido papel de la escuela. Finalmente, los países con regímenes de bienestar socialdemócratas muestran con un muy reducido papel de la escuela.

Sintéticamente, las sociedades muy desigualitarias tienden a reproducir la desigualdad social generando segmentación en los espacios urbanos y en la prestación de los servicios públicos. Como resultado, las escuelas tienden a ser más homogéneas en las características de clase de su alumnado y por esta vía se incrementa el porcentaje de la varianza total de los aprendizajes individuales que responde las propiedades de la escuela. A la inversa, cuanto menor es el grado de desigualdad en una sociedad, menor es la segmentación social en el uso de los espacios y servicios. Las escuelas son más heterogéneas, es decir policlasistas, y de aquí que su participación en la varianza total de los aprendizajes sea menor.

Esto ya no constituye una “muy buena noticia” para la política educativa, o más estrictamente, para aquel discurso de política social frecuente durante los noventa, que afirmó que la política educativa era la principal herramienta que disponía el estado para reducir la desigualdad social. Se ha mostrado que ni en México ni en los restantes países de la región esta premisa es válida. El problema es más complejo. La política educativa no sustituye a otras políticas sociales, económicas o laborales, ni tampoco es más importante que alguna de ellas. La premisa correcta es que una política educativa que no esté acompañada de otras fuertes políticas sociales será incapaz de reducir la desigualdad educativa y por ende la iniquidad social en la próxima generación.

Bibliografía

Alexander, K.; J. Fennessey; E. Mcdill y R. D’Amico (1979). School SES Influences - Composition or Context?. Sociology of Education vol. 52 (october).pp. 222-237.

Arnaut, A. (2004). La administración educativa descentralizada. En prensa. México, D.F.: El Colegio de México.

Blalock, H. (1984) Contextual-Effects Models: Theoretical and Methodological Issues. Annual Review of Sociology vol 10, pp. 353-372.

Cabrero, E.; C. Santizo y C. Nájera (2003) Improving Accountability and Transparency in Schools: The Mexican Program of Schools of Quality. Documento de Trabajo nº 140. División de Administración Pública. MéxicoD.F.: Cide.

Comisión económica para América Latina y el Caribe (2003). Panorama Social de América Latina y el Caribe, Edición 2002-2003. Santiago de Chile: Naciones Unidas.

Coleman, J.; E. Campbell; C. Hobson; J. McPartland; A. Mood; F.; Weinfeld y R. York (1966). Equality of Educational Opportunity. Washington: US Departament of Health, Education and Welfare, Office of Education. US Government Printing Office.

Esping-Andersen, G. (1990). The three worlds of the capitalism welfare state. Cambridge. UK: Politi Press.

Ezpeleta, J. y E. Weiss (1996). Las escuelas rurales en zonas de pobreza y sus maestros: tramas preexistentes y políticas innovadoras. Revista Mexicana de Investigación Educativa,1(1), pp. 53-69.

Fernandez, T. (2003a). Contextualización sociocultural de las escuelas de la muestra de Estándares Nacionales (1998-2002). Trabajo de consultoría para el Instituto Nacional para la Evaluación Educativa, Secretaría de Educación Pública Gobierno de México.

Fernandez, T. (2003b). Determinantes sociales y organizacionales del aprendizaje en la Educación Primaria de México: un análisis de tres niveles. Informe de Investigación para el Instituto Nacional para la Evaluación de la Educación (inee) de México. Con la colaboración de Emilio Blanco.

Fernandez, T. (2004). Distribución del conocimiento escolar: clases sociales, escuelas y sistemas educativos en América Latina. Tesis de Doctorado. México, D.F: El Colegio de México.

Fletcher, P. (1997). A procura do ensino eficaz. Rélatorio de pesquisa. Brasilia: Pnud /mec /saeb.

Gómez, J. y R. Loyola (eds.) (1998). Alivio a la pobreza. Análisis del Programa de Educación, Salud y Alimentación en la Política Social. México D.F.: Ed. Ciesas / progresa.

Haller, A.y C.E. Butterworth (1960). Peer Influences on Leves of Occupational and Educational Aspirations. Social Forces, vol. 38, pp. 289-295.

Heyneman, S. (1976). Influences on Academic Achievement: A Comparison of Results from Uganda and More Industrialized Societies. Sociology of Education, 49(1), pp. 200-211.

Heyneman, S. y W. Loxley (1982). Influences on Academic Achievement across High and Low Income Countries: a Re-Analysis of IEA Data. Sociology of Education,55(1), pp. 13-21.

Heyneman, S. y W. Loxley (1983). The Effect of Primary School Quality on Academic Achievement across Twenty-nine High and Low Income Countries. American Journal of Sociology,. 88(6), pp. 1162-1194.

Instituto Nacional de Estudos e Pesquisas Educacionais do Brasil (2001). pisa 2000 : relatório nacional. Brasilia: Ministerio da Educaçao.

Lie, S.; P.Linnakylä y A. Roe (2003). Northern Lights on pisa: Unity and diversitiy in the Nordik countries in pisa 2000. Department of Teacher Education and School Development, University of Oslo. www.pisa.no/Nordisk_rapport_engelsk.html

Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (2001). Primer estudio internacional comparativo en Lenguaje, Matemática y factores sociados. Informe Técnico. Santiago de Chile: UNESCO-OREALC.

Ministerio de Educación de Chile (2003) Habilidades para la lectura en el mundo de mañana. Pisa + . Informe Nacional de Chile. Santiago de Chile: MINEDUC.

Programme for International Student Assessment - Instituto de Estadísticas de la unesco (2003). Literacy Skills for the World of Tomorrow. Further Results from PISA 2000. Paris: Organisation For Economic Co-operation And Development (oecd)/ unesco.

Raudenbush, S. y A. Bryk (2002). Hierarchical Linear Models. Applications and Data Analysis Methods. Second Edition. Advaced Quantitative Technics in the Social Sciences. Thousand Oaks. CA: Sage.

Sen, A. (1974). Informational Bases of Alternative Welfare Approaches Informational Bases of Alternative Welfare Approaches: Aggregation and Income Distribution. Journal of Public Economic, 3, pp. 387 403.

Suecia (2001). PISA 2000 Svenska femtonåringars läsförmåga och kunnande i matematik och naturvetenskap i ett internationellt perspektiv. Stokholm.