Avaliação da proficiência oral: uma análise fatorial e de discriminação de itens do exame Celpe-Bras
Carregando...
Arquivos
Data
2018-04-04
Autores
Ferreira, Laura Márcia Luiza
Título da Revista
ISSN da Revista
Título de Volume
Editor
CEFET-MG
Resumo
Como as avaliações podem admitir erros sistemáticos, os escores podem ser afetados, por isso é preciso validá-las por meio da análise de evidências variadas. Na perspectiva de Messick (1987), a validade é um conceito único, que consiste em avaliar evidências empíricas e teóricas sobre a pertinência das inferências feitas a partir da nota de um teste. O objetivo do presente trabalho é analisar as escalas de avaliação da prova oral do exame Celpe-Bras forma a coletar evidências da validade interna dos instrumentos. Inicialmente, argumento que a prova oral é uma tarefa cuja situação é a entrevista de proficiência oral. Em seguida, apresento a Teoria de Validade proposta por Messick (1987) e a relaciono com a maneira como o conceito tem sido definido por especialistas em avaliação de línguas. Para analisar os sete itens que compõem as duas escalas de avaliação da prova oral, quanto à sua dimensionalidade, apresento uma análise fatorial exploratória. Quanto ao ajuste e à quantidade de informação de cada item, apresento uma análise de discriminação de itens, por meio do modelo Rasch básico na extensão Partial Credit Model. A escala do avaliador-intelocutor é composta por um item e a escala do avaliador-observador contém seis itens, a saber: compreensão, competência interacional, fluência, adequação lexical, adequação gramatical e pronúncia. O conjunto de dados analisados nesta pesquisa é composto por notas atribuídas para 1.000 participantes que se submeteram ao exame na primeira edição de 2016. O resultado da análise fatorial sugere que a nota da prova oral seja uma medida unidimensional. Os valores de peso dos itens da escala, do maior para o menor, são de 0.36 para nota do avaliador-interlocutor, 0.19 para adequação lexical, 0.18 para fluência, 0.13 para adequação gramatical, seguidas dos itens competência interacional, pronúncia e compreensão com os valores de 0.09, 0.06 e 0.04, respectivamente. A partir da análise de discriminação de itens, os valores da média quadrada de infit variou de 0.431 a 1.386, sugerindo bom ajuste dos itens. Porém, quanto ao valor da média quadrada de outfit, o item compreensão apresentou um valor acima de 2.0, apontando necessidade de revisão do item na escala. Ao considerar intervalos entre os valores de threshold dos sete itens das escalas, posso afirmar que uma mesma faixa de nota em cada um dos itens pode não discriminar da mesma forma o mesmo perfil de examinandos. Com base na análise fatorial e na análise de discriminação de itens, discuto uma proposta de mudança de peso dos itens na composição da nota oral, especialmente quanto ao item compreensão, bem como a necessidade de investimento na revisão dos descritores das escalas, da tarefa e da situação de entrevista de proficiência oral.
Since sistematic errors may affect scores, assessments are imperfect samples of constructs to be validated. According to Messick's Validation Theory (1987), assessment validation is a matter of gathering multiple sources of empirical evidence and theoretical rationales to support dimensionality, item fit and information on the oral Celpe-Bras exam scales, I perform a exploratory factor analysis and an item discrimination analyses, using Rasch's Partial Credit Model. First, I describe the oral exam task as an oral proficiency interview. Then I discuss the Messick's Validation Theory and it's influence on applied linguistics and on second language assessment theoretical works. It was analysed 1,000 examinee's scores from the first exam edition the interviewer and six itens by the rater itself. The interviewer scores one single note for the performance while the rater scores one note for the following itens that the test score is an one-dimesional measure. According to the weight values, the itens that weighed the most on the fator oral proficiency were the interviewer's score (0.36), followed by lexical adequacy (0.19), fluency (0.18) and grammatical adequacy (0.13). Interactional competence, pronuciation and comprehension weighted 0.09, 0.06 and 0.04, respectively. According to Rasch's analyses the infit msq values for the itens was >2.0, sugesting poor fit. Since the threshold's value categories were not homogeneous through the scales, the itens may not distinguish in the same way examinees from the same profile ability. Finally, I discuss a score's composite proposal the relevance of iten comprehension in this oral situation as well as the investment on descriptor's and task's review.
Since sistematic errors may affect scores, assessments are imperfect samples of constructs to be validated. According to Messick's Validation Theory (1987), assessment validation is a matter of gathering multiple sources of empirical evidence and theoretical rationales to support dimensionality, item fit and information on the oral Celpe-Bras exam scales, I perform a exploratory factor analysis and an item discrimination analyses, using Rasch's Partial Credit Model. First, I describe the oral exam task as an oral proficiency interview. Then I discuss the Messick's Validation Theory and it's influence on applied linguistics and on second language assessment theoretical works. It was analysed 1,000 examinee's scores from the first exam edition the interviewer and six itens by the rater itself. The interviewer scores one single note for the performance while the rater scores one note for the following itens that the test score is an one-dimesional measure. According to the weight values, the itens that weighed the most on the fator oral proficiency were the interviewer's score (0.36), followed by lexical adequacy (0.19), fluency (0.18) and grammatical adequacy (0.13). Interactional competence, pronuciation and comprehension weighted 0.09, 0.06 and 0.04, respectively. According to Rasch's analyses the infit msq values for the itens was >2.0, sugesting poor fit. Since the threshold's value categories were not homogeneous through the scales, the itens may not distinguish in the same way examinees from the same profile ability. Finally, I discuss a score's composite proposal the relevance of iten comprehension in this oral situation as well as the investment on descriptor's and task's review.
Abstract
Descrição
Tese apresentada ao Programa de Pós-graduação em Estudos de Linguagens do Centro Federal de Educação Tecnológica de Minas Gerais (CEFET-MG) como requisito parcial para a obtenção do título de Doutora em Estudos de LInguagens. Orientação: Prof. Dr. Jerônimo Coura Sobrinho
Palavras-chave
Língua protuguesa - Testes de aptidão, Proficiência oral - Avaliação, Análise fatorial, Teoria de resposta ao item
Citação
FERREIRA, Laura Márcia Luiza. Avaliação da proficiência oral: uma análise fatorial e de discriminação de itens do exame Celpe-Bras.2018. 244 f. Tese de Doutorado (Pós-graduação em Estudos de Linguagens) - Centro Federal de Educação Tecnológica de Minas Gerais (CEFET-MG), Belo Horizonte: CEFET-MG, 2018.