Teses e Dissertações não defendidas na Unila

URI Permanente para esta coleção

https://dspace.unila.edu.br/handle/123456789/4395

Navegar

Navegando Teses e Dissertações não defendidas na Unila por Assunto "Análise fatorial"

Agora exibindo 1 - 1 de 1
  • Imagem de Miniatura
    Item
    Avaliação da proficiência oral: uma análise fatorial e de discriminação de itens do exame Celpe-Bras
    (CEFET-MG, 2018-04-04) Ferreira, Laura Márcia Luiza; Coura Sobrinho, Jerônimo
    Como as avaliações podem admitir erros sistemáticos, os escores podem ser afetados, por isso é preciso validá-las por meio da análise de evidências variadas. Na perspectiva de Messick (1987), a validade é um conceito único, que consiste em avaliar evidências empíricas e teóricas sobre a pertinência das inferências feitas a partir da nota de um teste. O objetivo do presente trabalho é analisar as escalas de avaliação da prova oral do exame Celpe-Bras forma a coletar evidências da validade interna dos instrumentos. Inicialmente, argumento que a prova oral é uma tarefa cuja situação é a entrevista de proficiência oral. Em seguida, apresento a Teoria de Validade proposta por Messick (1987) e a relaciono com a maneira como o conceito tem sido definido por especialistas em avaliação de línguas. Para analisar os sete itens que compõem as duas escalas de avaliação da prova oral, quanto à sua dimensionalidade, apresento uma análise fatorial exploratória. Quanto ao ajuste e à quantidade de informação de cada item, apresento uma análise de discriminação de itens, por meio do modelo Rasch básico na extensão Partial Credit Model. A escala do avaliador-intelocutor é composta por um item e a escala do avaliador-observador contém seis itens, a saber: compreensão, competência interacional, fluência, adequação lexical, adequação gramatical e pronúncia. O conjunto de dados analisados nesta pesquisa é composto por notas atribuídas para 1.000 participantes que se submeteram ao exame na primeira edição de 2016. O resultado da análise fatorial sugere que a nota da prova oral seja uma medida unidimensional. Os valores de peso dos itens da escala, do maior para o menor, são de 0.36 para nota do avaliador-interlocutor, 0.19 para adequação lexical, 0.18 para fluência, 0.13 para adequação gramatical, seguidas dos itens competência interacional, pronúncia e compreensão com os valores de 0.09, 0.06 e 0.04, respectivamente. A partir da análise de discriminação de itens, os valores da média quadrada de infit variou de 0.431 a 1.386, sugerindo bom ajuste dos itens. Porém, quanto ao valor da média quadrada de outfit, o item compreensão apresentou um valor acima de 2.0, apontando necessidade de revisão do item na escala. Ao considerar intervalos entre os valores de threshold dos sete itens das escalas, posso afirmar que uma mesma faixa de nota em cada um dos itens pode não discriminar da mesma forma o mesmo perfil de examinandos. Com base na análise fatorial e na análise de discriminação de itens, discuto uma proposta de mudança de peso dos itens na composição da nota oral, especialmente quanto ao item compreensão, bem como a necessidade de investimento na revisão dos descritores das escalas, da tarefa e da situação de entrevista de proficiência oral.