Usabilidade Técnica Percebida a Serviço de uma Proposta Pedagógica Mediada pela Internet Ecivaldo de Souza Matos1,2, Stela Conceição Bertholo Piconez1 1

Faculdade de Educação – Universidade de São Paulo (USP) Av. da Universidade, 308 – 05508-040 – São Paulo – SP – Brasil 2

Instituto Federal de Educação, Ciência e Tecnologia de São Paulo (IFSP) Rua Pedro Vicente, 625 – 01109-010 – São Paulo – SP - Brasil {ecivaldo,stela.piconez}@gmail.com

Abstract. Aspects of computer-human interaction applied to educational technologies may be studied under a dialectical viewpoint, considering technological and pedagogical aspects. This article presents some results of a qualitative study that investigated the role of technical usability of a forum, like a technological concept within a pedagogical proposal mediated by Internet resources, from the perspective of your end users. The evaluation of the user-perceived technical usability brought indicators for interpretive ways beyond the evaluation of interactivity of the technology platform. Resumo. Os aspectos de qualidade de interação suportados pelas abordagens teóricas de interação humano-computador quando aplicados a recursos pedagógicos podem ser avaliados sob um ponto de vista dialético, considerando aspectos tecnológicos e pedagógicos. Este artigo apresenta resultados de uma pesquisa qualitativa que investigou o papel da usabilidade técnica de um fórum, enquanto concepção tecnológica na implementação de uma proposta pedagógica de curso mediado por recursos da Internet, sob a ótica de seus usuários finais. A avaliação da usabilidade técnica (percebida) pelos sujeitos trouxe indicadores para caminhos interpretativos para além da simples avaliação da capacidade interacionista da plataforma tecnológica.

1. Introdução Os novos processos de interação e comunicação na educação mediada pela Internet vão além da simples relação entre ensinar e aprender. Neste tipo de interação a simplicidade dos procedimentos e a facilidade de utilização das ferramentas computacionais para educação são critérios importantes a serem seguidos na concepção de materiais didáticos (NEVADO; CARVALHO & MENEZES, 2006), assim como as tecnologias computacionais não devem ser utilizadas apenas como mais um recurso didático, mas como um mecanismo transformador do processo ensino-aprendizagem (OLIVEIRA & NOGUEIRA, 2007). O uso pedagógico das Tecnologias de Informação e Comunicação (TIC) sugere um conhecimento do conteúdo tecnológico e vice-versa. Requer a inserção de questões relacionadas tanto sobre a usabilidade técnica como sobre a usabilidade pedagógica das mesmas, assim como a interação entre as equipes de desenvolvimento educacionais e técnicas (PICONEZ & NAKASHIMA, 2011). Portanto, há de observar se os recursos tecnológicos são preparados para estabelecer relação entre suas habilidades técnica e

____________________________________________________________________________________________________ Anais do 23º Simpósio Brasileiro de Informática na Educação (SBIE 2012), ISSN 2316-6533 Rio de Janeiro, 26-30 de Novembro de 2012

23º Simpósio Brasileiro de Informática na Educação (SBIE 2012) _____________________________________________________________________________________________________

pedagógica considerando-se certa consistência educacional contextualizada para o ambiente educacional apoiado pelas tecnologias, como reivindicam os professores. Em ambientes pedagógicos mediados pela Internet, os usuários (estudantes e professores) buscam atingir objetivos pedagógicos específicos, mas para isso é preciso que haja compreensão da forma como essa tecnologia é constituída, das suas potencialidades e das suas limitações nas formas de interação e de significação. Segundo Piconez (2010) não é qualquer recurso existente em ambientes virtuais que garante por si mesmo que a aprendizagem ocorra; como também não é qualquer tipo de aprendizagem que se efetiva com qualquer recurso. Existem variáveis complexas quando estudamos suas relações. Dada a relevância de estudo sobre as relações entre tecnologia e propostas pedagógicas apoiadas por recursos tecnológicos presentes nos sistemas de ensino, formais e não formais, este artigo apresenta alguns resultados de uma pesquisa de natureza qualitativa que investiga o papel da usabilidade técnica de um fórum, enquanto concepção tecnológica na implementação de uma proposta pedagógica de um curso mediado por recursos da Internet sob a ótica de seus usuários finais, sujeitos praticantes do ato educativo.

2. Usabilidade percebida Mesmo a usabilidade sendo considerada por parte de alguns estudiosos como uma característica intrínseca de um software, há outras abordagens que consideram a usabilidade como uma característica de percepção do usuário (CYBIS; BETIOL & FAUST, 2007). A avaliação de usabilidade dependeria, portanto, da interpretação de qualidade de uso de quem efetivamente utiliza o software. As técnicas convencionalmente empregadas para avaliação da usabilidade, como análise de logs, observação, inspeção heurística e outros métodos de inspeção, não serviriam para analisar a usabilidade percebida, uma vez que não consideram aspectos da percepção do usuário por serem técnicas preditivas ou baseadas em métricas quantitativas préestabelecidas. Segundo Piteira & Costa (2006), a usabilidade dos softwares de apoio à aprendizagem são fatores que afetam o processo de ensino-aprendizagem, que por sua vez é pautado fortemente na interação entre agentes (educacionais), mas que ao se incluir softwares, surge outro agente, o designer (ou o programador). Nesse sentido, seria coerente avaliar a percepção do usuário sobre a usabilidade do software por ele mesmo, sem a intervenção de predições ou métricas pré-estabelecidas. Logo, seria o próprio usuário a manifestar quais critérios em seu contexto são mais importantes para a sua satisfação enquanto utilizados do produto de software. Se tratando de software de apoio educacional, consideramos dois tipos de critérios: técnicos e pedagógicos. Os critérios de usabilidade técnica referem-se aos aspectos de cunho tecnológico do software que está sendo avaliado. Por sua vez, os critérios de usabilidade pedagógica estão fortemente conectados aos objetivos de aprendizagem definidos por agentes educacionais, como professores e alunos. Diante de tais evidências teóricas acerca da usabilidade percebida, esta pesquisa estudou a usabilidade técnica percebida de um recurso computacional interativo de apoio à educação sob a ótica dos sujeitos praticantes do ato educativo.

3. Metodologia da pesquisa Realizada sob um paradigma dialético entre a perspectiva teórica e a perspectiva prática, esta investigação adotou o recurso Fórum do AVA(Moodle) utilizado nas aulas de um _____________________________________________________________________________________________________ @CBIE 2012, Rio de Janeiro-RJ

23º Simpósio Brasileiro de Informática na Educação (SBIE 2012) _____________________________________________________________________________________________________

curso de pós-graduação como elemento central de foco da avaliação. O foco das observações centrou-se na percepção da interação entre os estudantes entre si e com o coordenador da disciplina (docente) além de observar as possibilidades tecnológicas de interatividade do recurso utilizado. Este estudo foi desenvolvido como uma pesquisa participante na implementação de uma proposta pedagógica de uma disciplina de pós-graduação da Faculdade de Educação da Universidade de São Paulo durante um semestre letivo. Tal disciplina teve como um dos seus objetivos abordar e vivenciar coletivamente a fundamentação tecnológica ao lado de subsídios teórico-metodológicos que fundamentam a aprendizagem online apoiada por ambientes virtuais. Contamos com a colaboração voluntária de 16 sujeitos, sendo um deles a docente responsável pelo curso e os demais alunos oriundos de diversas áreas de conhecimento como engenharias, ciências da saúde, ciências humanas e artes. Buscamos dados qualitativos que foram coletados por meio de análise dos procedimentos e estratégias de IHC utilizadas no curso, registros dos alunos nos fóruns, observação participante ao longo das aulas, questionário de avaliação da fluência digital, questionário de autoavaliação (com questões sobre a usabilidade técnica e pedagógica dos fóruns utilizados), além de grupos focais com gravação de áudio e vídeo. Esta metodologia possibilitou um prolongamento das experiências dos usuários desse tipo de ambiente; avaliaram a usabilidade técnica do recurso Fórum em função de suas próprias conquistas e habilidades desenvolvidas. Como usuários foram capazes de estabelecer valores que justificaram suas demandas principais ao mesmo tempo em que avaliavam as contribuições do ambiente virtual, a singularidade dos seus objetivos e os desafios de suas vivências individuais e coletivas de aprendizagem.

4. Coleta e análise de dados No início do curso foi aplicado o questionário de fluência digital (QFD). Este questionário buscou avaliar a fluência digital de cada participante, sem objetivos de mensurar nem classificar os sujeitos. Ofereceu subsídios para análise mais contextualizada das respostas aplicadas aos questionários de avaliação de usabilidade técnica percebida, a partir do reconhecimento de alguns conhecimentos prévios dos participantes sobre perfil e sobre o desenvolvimento de habilidades de letramento digital. Segundo dados coletados pelo QFD, a maioria dos sujeitos já utilizou AVA e demonstrou ter fluência digital suficiente para compreender as questões sobre usabilidade que lhes seriam feitas, ou seja, é capaz de realizar tarefas cotidianas do trato com as tecnologias computacionais interativas, tais como realizar buscas na internet por meio de motores de busca, participar de projetos colaborativos online. Ao final do curso, aplicados em conjunto com instrumentos de autoavaliação, avaliação do curso e desempenho docente, os questionários de avaliação de usabilidade técnica percebida (QUT) e de avaliação de usabilidade pedagógica percebida (QUP) completaram os dados. As questões do QUT foram definidas por meio de adequação das heurísticas de usabilidade de Nielsen & Molich (1990), dos critérios ergonômicos de Bastien & Scapin (1997). A escala Likert (1-5) foi utilizada em todas as questões do conjunto de questionários, exceto nas questões abertas. Ao final do acompanhamento da disciplina, no último encontro foi aplicado o último grupo focal. Considerando o conjunto de respostas recebidas, percebeu-se que em sua maioria, os sujeitos consideraram ser fácil aprender a manipular a interface do recurso _____________________________________________________________________________________________________ @CBIE 2012, Rio de Janeiro-RJ

23º Simpósio Brasileiro de Informática na Educação (SBIE 2012) _____________________________________________________________________________________________________

Fórum. A última categoria analisada foi “adequação aos objetivos”. Esta categoria indica se o mecanismo de interação proporcionou aos sujeitos atingir seus objetivos (pedagógicos). As respostas a esta categoria indicaram que de acordo com a percepção desses sujeitos, a adequação da usabilidade técnica do fórum aos seus objetivos de aprendizagem. Ao final do curso, o grupo focal contribuiu para esclarecer questões não totalmente supridas pelos questionários aplicados, como por exemplo, qual seria a visão sobre a relação entre o uso do recurso Fórum como ferramenta pedagógica e a sua facilidade de uso (usabilidade) ou até que ponto a dificuldade no uso de um recurso do AVA interferiria na sua participação no conjunto de atividades didático-pedagógicas planejadas pela docente. Além disso, também se ouviu dos alunos relatos sobre a interferência da usabilidade técnica na aplicação/implementação da concepção pedagógica de um curso. Eis alguns relatos relacionados à usabilidade técnica do recurso avaliado: • • •

Sujeito 1: “– Creio que a usabilidade técnica do fórum é adequada.” Sujeito 2: “– Do ponto de vista técnico creio que o fórum cumpre a sua função como ferramenta de um ambiente virtual de aprendizagem.” Sujeito 3: “– Ferramenta de fácil manipulação.”

Alguns dos respondentes indicaram problemas de usabilidade tais como:

Sujeito 4: “– Acho a forma como o fórum é endentado um pouco confusa. Já participei de outros fóruns e não havia essa endentação, não tão acentuada [...].” • Sujeito 5: “– Eu não consegui arrumar o excesso de espaço que deixei no texto postado [...].” Contudo, também apareceram comentários comentando dificuldades de cunho técnicopedagógico: • Sujeito A: “– Sem dúvida a principal dificuldade é de usabilidade técnica, tanto na estrutura quanto na organização. Evidentemente que o aperfeiçoamento pode ajudar, mas creio que a disponibilidade e a ‘abertura’ às novas possibilidades já resolvem muitos problemas [...].” • Sujeito B: “– [Uma dificuldade é] o professor passar a primeira barreira que é o domínio técnico da ferramenta para que possa em seguida pensar nas possibilidades pedagógicas. Muitos professores não se sentem confortáveis com ambientes virtuais por não dominá-lo tecnicamente e desistem de seguir em frente.” •

5. Conclusões Nesta pesquisa foi possível levantar alguns aspectos sobre a relevância da usabilidade técnica percebida no alcance dos objetivos pedagógicos, implementados a partir da proposta pedagógica, com apoio de um recurso computacional interativo. A avaliação da usabilidade técnica percebida pelos estudantes trouxe indicadores para os caminhos interpretativos para além da simples verificação da capacidade interacionista da plataforma tecnológica. A partir dos dados levantados foi possível concluir a usabilidade percebida não foi a mesma para todos. A variabilidade nas respostas indica a influência por um lado da fluência digital dos sujeitos e, por outro lado, pela boa qualidade da proposta pedagógica aferida pelos alunos em questionário de auto avaliação. Nos quesitos de obtenção das metas (adequação às tarefas e adequação aos objetivos) o recurso na visão dos sujeitos estava adequado. Considerando as análises preliminares realizadas no restante de dados coletados durante a participação do pesquisador no grupo onde ocorreu a pesquisa, seja por meio das suas anotações e percepção de interação por meio do AVA (prioritariamente chat e fórum), como pelos registros orais e visuais (vídeo) do grupo focal, os sujeitos pesquisados consideram que a usabilidade técnica, conforme percebem, é importante para a correta manipulação e apreensibilidade dos signos de interação, logo, para o _____________________________________________________________________________________________________ @CBIE 2012, Rio de Janeiro-RJ

23º Simpósio Brasileiro de Informática na Educação (SBIE 2012) _____________________________________________________________________________________________________

pleno uso do software. Todavia, não é suficiente para a obtenção dos resultados pedagógicos do curso, sendo necessário haver uma proposta pedagógica adequada, que se coaduna com qualidade intrínseca de uso pedagógico, possível de ser analisado sob a perspectiva da usabilidade pedagógica. Tal avaliação se articula ao alcance dos objetivos pedagógicos acompanhados durante todo processo que confirmam que transformações na proposta pedagógica ocorrem em função das necessidades e dificuldades dos estudantes e não propriamente das funções e/ou critérios de usabilidade do recurso tecnológico utilizado. Conclusões mais efetivas podem ser tomadas por meio do relacionamento entre os resultados dos questionários apresentados com os relatos coletados nos períodos de observação, bem como nos registros de interação devidamente armazenados no AVA. O confronto dos resultados alcançados por meio da usabilidade técnica percebida com uma avaliação heurística de usabilidade por meio de especialista (avaliação preditiva) e com o cruzamento dos relatos e registros de interação armazenados com os resultados apresentados pelos questionários, continuarão sendo objeto de análises. Um dos principais resultados obtidos foi a constatação de que a ótica dos usuários sobre tal interação pode informar tanto para o aperfeiçoamento das ferramentas e do ambiente utilizados em um curso (quesitos técnicos) como para o aprimoramento do mesmo (quesito pedagógico). Tal sinergia dialética é fundamental para a implementação de uma proposta pedagógica mediada por recursos da Internet.

6. Agradecimentos Os autores agradecem o apoio da Fundação Ford por meio do seu Programa Internacional de Bolsas de Pós-Graduação (IFP).

Referências Bastien, J.M.C.; Scapin, D.L. (1997) Ergonomic criteria for evaluating the ergonomic quality of interactive systems. Behaviour & Information Technology, v.16, n. 4/5. p. 220-231. Cybis, W.; Betiol, A.H.; Faust, R. (2007) Ergonomia e Usabilidade: conhecimentos, métodos e aplicações. São Paulo: Novatec. Nevado, R.A.; Carvalho, M.J.S.; Menezes, C.S. (2006) “Educação a Distância mediada pela Internet: uma abordagem interdisciplinar na formação de professores em serviço”. RENOTE: revista novas tecnologias na Educação, v. 4, n. 2, p. 1-11, Dez. Nielsen, J.; Molich, R. (1990) “Heuristic evaliation of user interfaces”. ACM Conference on Human Factors in Computing Systems. CHI’90. Proceedings. Seattle. p. 249-256. Oliveira, E.S.G.; Nogueira, M.L.L. (2005) Educação a distância e formação continuada de professores: novas perspectivas. Colabora: revista digital da CVA-RICESU. v. 3, n. 10. s/p. Disponível em: http://goo.gl/Tycsd. Acessado em 21 de outubro de 2011. Piconez, S.C.B. (2010) Letramento Digital: ferramentas da web 2.0 e redes sociais em ambientes virtuais colaborativos. São Paulo: Editora SEB/COC, 2010. Piconez, S.C.B.; Nakashima, R.H.R. (2011) "Equipes de produção de materiais digitais de aprendizagem e os critérios de usabilidade técnica e pedagógica: um diálogo necessário". In: BARROS, D.M.V. et al. Educação e tecnologias: reflexão, inovação e práticas. Lisboa: [s.n.]. p. 365-403. Piteira, Martinha R. F.; Costa, Carlos J. (2006) “Avaliação da usabilidade percebida: plataforma de e-learning Moodle”. Conferência IADIS Ibero-Americana WWW/Internet 2006. p. 19-25. _____________________________________________________________________________________________________ @CBIE 2012, Rio de Janeiro-RJ