PROPOSTAS E PROJETOS DE EDUCAÇÃO E COMUNICAÇÃO AMBIENTAL: PROPOSIÇÃO E VALIDAÇÃO DE INSTRUMENTO DE AVALIAÇÃO¹

¹ O presente trabalho foi realizado com apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - Brasil (CAPES) - Código de Financiamento 001

Vinicius Perez Dictoro², Frederico Yuri Hanai³

²Mestre em Ciências Ambientais, doutorando do programa de pós-graduação em ciências ambientais, Universidade Federal de São Carlos. E-mail: vinicius.dictoro@gmail.com

³Professor do Departamento de Ciências Ambientais da Universidade Federal de São Carlos, doutor em Engenharia Ambiental pela USP/EESC. E-mail: fredyuri@ufscar.br

Resumo

O presente trabalho teve como objetivo analisar, propor e validar itens de avaliação das propostas e projetos de educação e comunicação ambiental em bacias hidrográficas, submetidas aos Comitês de Bacias Hidrográficas. A importância dessa avaliação é significativa, pois apenas por meio dela que pode-se identificar, verificar e analisar as futuras ações que os projetos almejam, tornando esse processo essencial para uma tomada de decisão justa, correta e assertiva. Atualmente, a falta de critérios para realizar essa avaliação é frequente, tornando o processo pouco eficaz e subjetivo. Desse modo, exige-se itens de análise e verificação das propostas submetidas para uma avaliação mais eficaz e adequada, ainda mais por se tratar de investimentos e aplicações de recursos públicos que são destinados para a implementação dessas propostas em bacias hidrográficas. Assim, buscou-se analisar, agrupar e estabelecer um conjunto de itens de avaliação de propostas de projetos de educação e comunicação ambiental, iniciando-se pela identificação dos itens existentes e aplicados atualmente. Posteriormente, os itens que compuseram o instrumento de análise foram submetidos em três etapas de validação (metodologia 3S de validação), na qual foram avaliados por especialistas e potenciais usuários dessa ferramenta. Por fim, o instrumento de avaliação resultou-se em 12 itens de verificação e avaliação, agrupados em cinco categorias de análise, ressaltando os principais pontos avaliativos das propostas de projetos de educação e comunicação ambiental.

Palavras-chave: Avaliação de projetos; Educação Ambiental; Bacias hidrográficas; Validação de itens.

Abstract

The present work had as objective to analyze, propose and validate items of evaluation of the proposals and projects of education and environmental communication in hydrographic basins, submitted to the Watershed committees. The importance of this evaluation is significant, since it is only by means of it that the future actions that the projects aim at can be identified, verified and analyzed, making this process essential for a fair, correct and assertive decision-making. Currently, the lack of criteria to perform this evaluation is frequent, making the process ineffective and subjective. Thus, it is necessary to analyze and verify the proposals submitted for a more effective and adequate evaluation, even more because they are investments and applications of public resources that are destined to the implementation of these proposals in river basins. Thus, sought to analyze, group and establish a set of evaluation items for environmental education and communication project proposals, starting with the identification of the existing and applied items. Subsequently, the items that composed the analysis instrument were submitted to three validation steps (3S validation methodology), in which experts and potential users of this tool evaluated them. Finally, the evaluation instrument resulted in twelve items of verification and evaluation, grouped into five categories of analysis, highlighting the main evaluation points of environmental education and communication project proposals.

Keywords: Evaluation of projects; Environmental education; Watersheds; Validation of items.

1. Introdução

A educação ambiental surge como uma necessidade no processo de alterar os caminhos tomados pela humanidade, e, também, de ultrapassar a crise socioambiental contemporânea. Por meio dela, podem ser adquiridas e adotadas atitudes, técnicas e conceitos necessários à construção de novas maneiras de adaptação cultural aos sistemas ambientais, transformando progressivamente as escalas de valores e atitudes dominantes da atual sociedade (RODRIGUEZ; SILVA, 2013a).

Conforme Bacci & Pataca (2008), uma das questões abordadas nos debates e discussões sobre a educação ambiental é a crítica à racionalidade da ciência moderna, na qual ocorre a desvalorização de manifestações humanas culturais, subjetivas e espirituais. A educação ambiental convida à reflexão crítica sobre a realidade, visando ao engajamento e à ação transformadora, com o objetivo de formação de atores sociais para a construção de uma sociedade socioambiental mais equitativa.

Reflete assim, sobre a necessidade de compreender a natureza por meio de uma educação inovadora, proposta na educação ambiental, ligada aos valores da sociedade, ao meio físico, aos conteúdos e ao ensino, proporcionando às pessoas uma visão abrangente da relação ser-humano e natureza (BUSTOS, 2003).

A educação ambiental também abre espaço para repensar práticas sociais e transmitir conhecimentos essenciais para a compreensão do meio ambiente, da interdependência dos problemas ambientais e responsabilidades de cada indivíduo na luta por um ambiente cada vez melhor (JACOBI, 2003).

Para isso, importantes áreas devem ser destacadas quando trata-se da educação ambiental, visando um ambiente cada vez mais saudável e justo para toda a sociedade. Os estudos realizados nas bacias hidrográficas, almejando a conservação da água, assim como uma maior sensibilização e contato com esse ambiente, são de importância significativa para alterar comportamentos e criar novas relações e interações com os rios e a água.

Sob a ótica de vista civilizacional, para garantir e permitir água de qualidade, existe uma necessidade de investimento na educação ambiental, de forma a não separar os seres humanos da natureza, propiciando uma consciência planetária. Portanto, a educação humana ambiental é essencial para compreender e integrar todos os componentes naturais, sociais, culturais, éticos e políticos que influenciam na gestão da água (FOLLE; PINHEIRO, 2015).

Com essa perspectiva, Silveira & Baldin (2016) destacam que trabalhar a educação ambiental com a temática da água em bacias hidrográficas, possibilita novas práticas educativas com a realidade local, visando promover mudanças de paradigmas culturais e comportamentais em relação aos aspectos ambientais.

Hoje, na era já chamada de Antropoceno, as bacias hidrográficas podem ser pensadas como sistemas territoriais caracterizados por diferentes graus de conexão, complexidade, incerteza, conflitos e múltiplos interesses, que precisam ser levados em conta no planejamento e na gestão das águas.

As diretrizes da gestão dos recursos hídricos foram baseadas na Constituição Estadual de 1989 do estado de São Paulo, na qual destaca-se que essa legislação proporcionou a congregação municipal, com órgãos estaduais e sociedade civil na busca de um gerenciamento dos recursos hídricos, por meio dos Comitês de Bacias Hidrográficas (BARBOSA; HANAI; SILVA, 2016). Entre outras atribuições, os Comitês de Bacias, divididos por suas câmaras técnicas entre os diversos temas presentes em uma bacia hidrográfica, são responsáveis: pela determinação dos preços e da aplicação dos recursos da cobrança pelo uso da água; elaboração de planos de bacia; resolução de conflitos (em primeira instância); discussão e hierarquização das propostas de projetos; e realização de ações de educação ambiental, proteção e conservação dos recursos hídricos (ABERS; JORGE, 2005; RAUBER; CRUZ, 2013).

A mudança e a inovação do paradigma de gestão da água requerem soluções cooperativas e colaborativas, nas quais os interesses da coletividade devem estar acima dos interesses individuais, assegurando o uso sustentável, racional e integrado da água (VASCONCELOS et al., 2016). Desse modo, a educação ambiental pode auxiliar para que esse processo aconteça de maneira adequada.

A educação ambiental reconhece que as ações e comportamentos dos seres humanos vêm guiados, na maioria das vezes, pelas emoções e valores, portanto é necessário não só oferecer informações como também propor experiências e contatos que reconstruam a conexão entre ser humano e natureza, promovendo uma mudança de comportamento (TOMAZELLO; FERREIRA, 2001).

O principal problema que envolve a questão da educação ambiental nas bacias hidrográficas vem do fato de como realizar a avaliação de suas ações e atividades propostas. Tomazello & Ferreira (2001) elucidam que muitos autores reconhecem as dificuldades em avaliar e analisar as repercussões das atividades e ações de educação ambiental, devido aos diferentes temas e objetivos que as englobam.

No caso dos Comitês de Bacias Hidrográficas, as câmaras técnicas são responsáveis pela análise das propostas de projetos submetidas para serem implementadas via recurso do FEHIDRO (Fundo Estadual de Recursos Hídricos). O FEHIDRO é a instância econômico-financeira de apoio à implantação da Política Estadual de Recursos Hídricos, que promove a melhoria e proteção dos corpos d’água por meio do financiamento de programas e ações na área de recursos hídricos. Dessa forma, abre-se um edital para que as propostas sejam submetidas para avaliação. Após o período estipulado, a câmera técnica do Comitê se reúne para análise e hierarquização das propostas. Essa análise é feita baseada em alguns itens de verificação, por isso é essencial que esses itens sejam eficazes para realizar essa função.

Nota-se, a dificuldade que se tem em avaliar as atividades da educação ambiental devido à ampla gama de distintas ações, propostas e iniciativas que podem ser realizadas. Conforme Iared et al. (2011), quando se trabalha em avaliação de educação ambiental é muito importante pensar nos itens avaliativos que serão utilizados, pois eles devem ser múltiplos, flexíveis e claros para as pessoas que estão realizando o processo da avaliação.

Outra questão importante que exige uma avaliação eficaz e adequada das propostas de projetos de educação ambiental surge do fato da utilização de recursos públicos para a realização das ações e atividades sugeridas. É preciso que essa avaliação seja efetiva, selecionando projetos relevantes, que traduzem uma melhor alocação desses recursos públicos, garantindo um positivo retorno social e ambiental. Também é necessário valorizar e direcionar projetos que atendam a metas estabelecidas nos planos de ações das bacias hidrográficas, obtendo ações e resultados significativos.

Dessa forma, a importância dessa avaliação é fundamental, contribuindo para que ocorram mudanças expressivas na formação da sociedade, aumentando sua compreensão e valorização, de forma a auxiliar a conservação e gestão da água por meio da educação ambiental.

Os autores Tomazello & Ferreira (2001) ressaltam que, apesar das dificuldades de avaliar a educação ambiental, existe uma unanimidade entre diversos autores sobre a importância fundamental da avaliação de projetos de educação ambiental e sobre o desenvolvimento de instrumentos adequados para se realizar essa avaliação.

Para que a tomada de decisão seja correta, é importante a definição clara dos itens avaliativos que serão utilizados. A avaliação e a análise de um projeto proposto considerando um conjunto de itens pré-estabelecidos reduz a concorrência desleal e auxilia a tomada de decisão justa e correta, evitando possíveis conflitos de classificação das propostas (MALAGUTTI, 2015).

Assim, o objetivo desse trabalho foi analisar, propor e validar itens de avaliação das propostas e projetos de educação ambiental (EA) e de comunicação ambiental (CA) em bacias hidrográficas, submetidas aos Comitês de Bacias Hidrográficas, no sentido de contribuir às ações de avaliação, verificação e hierarquização das propostas nas respectivas e específicas Câmaras Técnicas de Educação Ambiental.

Com isso, almeja-se que os próprios aspectos avaliativos, elaborados no instrumento de avaliação, possam também ser úteis e referenciais para a concepção e a elaboração das propostas de ações de Educação Ambiental, contribuindo para a efetivação, o atendimento e a realização de ações significativas e condizentes com as realidades locais em bacias hidrográficas.

2. Procedimentos metodológicos

Esse artigo adota uma abordagem participativa a fim de subsidiar discussões e reflexões sobre os aspectos da avaliação das propostas de projetos de educação e comunicação ambiental em bacias hidrográficas. Com essa abordagem, permite-se a construção e elaboração de novos caminhos, pautados em estudos e consulta a especialistas da área, para melhorar e auxiliar a avaliação das propostas de projetos.

Simultaneamente, esse artigo possui o caráter de uma pesquisa aplicada, que, conforme Gil (2012), apresenta como principal característica o interesse na aplicação, utilização e nas consequências práticas dos conhecimentos investigados. Barros & Lehfeld (2000), destacam que a pesquisa aplicada tem como essência a motivação e necessidade de produzir conhecimento para aplicação, com o objetivo de:

“Contribuir para fins práticos, visando à solução mais ou menos imediata do problema encontrado na realidade” (BARROS; LEHFELD, 2000, p. 78).

Foram empregadas três etapas distintas para a realização desse artigo. Na primeira etapa, foi realizada a identificação dos itens de avaliação, por meio do levantamento bibliográfico, depois seguiu-se com a definição, agrupamento e proposição de itens para a elaboração do instrumento de análise de propostas e projetos de educação e comunicação ambiental. Na segunda etapa, foi realizado um levantamento e definição dos critérios utilizados para análise dos itens de avaliação. Na última etapa, foi aplicada uma metodologia de validação científica para o instrumento elaborado com os itens de avaliação e verificação propostos. Os procedimentos metodológicos aplicados estão representados na figura 1.

Figura 1 – Procedimentos metodológicos. Fonte: Elaboração dos autores (2019).

1. Elaboração e Proposição do instrumento de avaliação

Para a elaboração, adaptação e organização do instrumento de avaliação de propostas de Educação e Comunicação Ambiental, realizou-se o levantamento bibliográfico por meio de artigos científicos, periódicos, teses e livros que abordam sobre as seguintes temáticas: educação ambiental; gestão de bacias hidrográficas; avaliação da educação ambiental; e critérios avaliativos de projetos.

Assim, realizou-se um estudo dos principais critérios que estão sendo utilizados pelos Comitês de Bacias Hidrográficas do Estado de São Paulo, como também a análise de outras referências técnicas e científicas sobre o assunto. A partir das análises e referências estudadas, procedeu-se à elaboração, definição e organização de um instrumento avaliativo proposto.

A seleção e a elaboração de itens de avaliação das propostas de projetos de educação e comunicação ambiental buscou selecionar e definir, da melhor maneira possível, itens e indicadores eficazes para auxiliar na avaliação efetiva e na hierarquização dessas propostas submetidas aos Comitês de Bacias Hidrográficas e suas respectivas Câmaras Técnicas. Dessa forma, concebeu-se um instrumento de avaliação que verifica propostas de ações e iniciativas bem estruturadas e que sejam capazes de alcançar os objetivos pretendidos da educação ambiental nas bacias hidrográficas.

2. Definição dos critérios para validação dos itens de avaliação

Para estabelecer os critérios para a validação dos itens de avaliação, foram realizados os seguintes procedimentos metodológicos:

• Levantamento bibliográfico dos critérios atualmente existentes para validação dos itens de avaliação das propostas;

• Definição de notas de relevância para cada critério (por meio do emprego da escala Likert, com valores de 1 a 4, sendo: 1 – Não relevante; 2 – Pouco relevante; 3 – Relevante; 4 – Muito relevante);

• Determinação dos valores das notas de relevância para cada critério (aplicados pelos pesquisadores, autores do trabalho);

• Seleção dos critérios considerados relevantes para o processo de validação dos itens de avaliação (critérios com valores de relevância da escala de Likert maior ou igual a 3).

Com a realização desses procedimentos, os seguintes critérios foram considerados relevantes pelos pesquisadores e assim sendo considerados para o processo de validação do instrumento de avaliação elaborado:

• 1. Clareza de linguagem (Considera a linguagem utilizada nos itens, tendo em vista as características da população respondente);

• 2. Objetividade (Afere sobre a qualidade daquilo que é objetivo, ou seja, se determinado item de verificação está sendo objetivo para avaliar aquilo que se propõe);

• 3. Simplicidade (Verifica se os itens são simples e possam ser analisados de fácil maneira, evitando complicações e dualidades);

• 4. Exequibilidade (Analisa se os itens são possíveis, realizáveis ou executáveis para medir sobre aquilo que se propõe);

• 5. Utilidade/pertinência (Afere se de fato cada item possui importância para o instrumento);

• 6. Relevância (Considera a existência de uma correspondência entre o item e o fator a ser quantificado, ou seja, verifica se o item é realmente relevante para análise);

• 7. Aplicabilidade (Afere se os itens são aplicáveis com determinados usos e finalidades próprias);

A partir dos critérios selecionados e definidos, prosseguiu-se para a etapa da validação do instrumento de análise contendo os itens de verificação das propostas de projetos de educação e comunicação ambiental.

3. Processo de validação do instrumento de análise de Propostas e Projetos de EA (contendo os itens de verificação e avaliação)

Posteriormente à realização das duas etapas descritas acima, procedeu-se a última etapa, cujo interesse é a validação do instrumento de análise elaborado. Para isso, utilizou-se da metodologia 3S (self-validation – Auto validação; scientific validation – Validação científica; social validation – Validação social) de validação, adotada com o objetivo de validar os indicadores antes de serem utilizados em situações reais (CLOQUELL-BALLESTER et al., 2006).

Para o processo de validação, o primeiro passo é mostrar e explicar todos os indicadores propostos na ferramenta, que serão validados pela metodologia 3S. O segundo passo no processo de validação é a definição dos critérios de validação. Já o terceiro passo do processo de validação é a avaliação dos novos indicadores de acordo com o julgamento dos especialistas, sobre todos os critérios mencionados. A técnica de avaliação pode ser a mesma para os três estágios da validação (auto; científica; social). Assim, a avaliação final será realizada a partir da quantificação das respostas dos avaliadores, usando escalas do tipo Likert (CLOQUELL-BALLESTER et al, 2006).

Por meio da metodologia 3S de validação do instrumento, possibilita-se conhecimentos e opiniões de diferentes atores na validação dos itens de verificação e avaliação, pois são englobadas as considerações dos autores do instrumento, especialistas da área, usuários e participação pública. Isso confere maior confiabilidade e validade nos procedimentos metodológicos e na definição do instrumento.

A metodologia de validação 3S verifica a adequação dos itens de avaliação em três etapas diferentes: 1) auto validação; 2) validação científica; 3) validação social. Com essa metodologia, as três etapas de validação são complementares, de modo que a credibilidade do instrumento aumenta à medida que superam as diferentes etapas de validação (CLOQUELL-BALLESTER et al., 2006).

O primeiro estágio (auto validação) foi realizado pelos próprios desenvolvedores do instrumento de avaliação, favorecendo uma autoreflexão sobre o uso dos itens avaliativos propostos e evitando inconsistências conceituais. A segunda fase (validação científica) proporcionou rigor e objetividade aos indicadores projetados, integrando os julgamentos de especialistas em educação ambiental, gestão de projetos socioambientais e recursos hídricos. Já o último estágio (validação social) foi incorporado para incluir a participação pública, sendo uma ferramenta decisiva para alcançar o consenso na avaliação do processo. Uma vez que os três estágios da metodologia são complementares, o processo de validação (seus critérios e atividades em cada etapa) pode ser semelhante nessas três fases (CLOQUELL-BALLESTER et al., 2006).

Assim, em cada estágio, as notas atribuídas aos critérios de validação foram baseadas na escala de Likert proposta por Polit e Beck (2006): 4 (totalmente adequado); 3 (adequado); 2 (parcialmente adequado); 1 (Inadequado). As notas foram atribuídas separadamente pelos avaliadores do instrumento, sendo posteriormente calculado, para cada item de avaliação, o Índice de Validade de Conteúdo (IVC).

O IVC mede a proporção ou porcentagem de atores/especialistas/participantes que estão de acordo sobre determinados aspectos do instrumento de avaliação e de seus itens. Esse método permite inicialmente analisar cada item individualmente empregando uma escala do tipo Likert com pontuação de um a quatro. O escore do índice é calculado por meio da soma de concordância dos itens que foram marcados por “3 (adequado)” e “4 (totalmente adequado)” pelos atores/especialistas, dividido pelo número total de respostas (ALEXANDRE; COLUCI, 2011; GRANT; DAVIS, 1997; DAVIS, 1992).

A expressão para avaliar cada item de avaliação, individualmente, é IVC = (número de respostas atribuídas com a nota 3 e 4) / (número total de respostas).

O estudo seguiu-se com as indicações propostas por autores como Polit e Beck (2006); Grant e Davis (1997); e Davis (1992), na qual recomendam que para novos instrumentos de análise, os investigadores devem buscar no mínimo 80% de concordância dos itens entre os revisores, ou seja, um IVC mínimo de 0,80.

3. Resultados e discussão

Os resultados desse artigo são apresentados em duas seções, expondo primeiramente o instrumento de análise das propostas de EA e CA, contendo os itens avaliativos, e a segunda seção apresenta os resultados referentes ao processo de validação dos itens avaliativos do instrumento para cada grupo de participantes envolvido na metodologia 3S.

3.1 Instrumento de análise de propostas de Educação e Comunicação Ambiental

Para a definição, elaboração e organização do instrumento de avaliação das propostas de projetos de EA, coube a definição de cinco categorias de análise, compostas por 12 itens avaliativos, os quais tiveram por base estudos científicos e exploratórios sobre os principais aspectos utilizados na avaliação das propostas de projetos de educação e comunicação ambiental.

As cinco categorias de análise são: consulta; execução; métodos e procedimentos; adequação; repercussões e resultados. Em cada grupo foram propostos itens de avaliação para aferir e verificar sobre os aspectos a serem analisados. A seguir, apresenta-se o instrumento de análise de propostas de EA e CA (quadro 1), assim como os itens avaliativos propostos:

Quadro 1 – Instrumento de análise das propostas e projetos de EA e CA.

Fonte: Elaboração dos autores (2018).

3.2 Resultados da metodologia 3S de validação

3.2.1 Auto Validação

Na realização da primeira etapa da metodologia 3S (auto validação), os autores do instrumento atribuíram notas aos critérios de validação (clareza de linguagem, objetividade, simplicidade, exequibilidade, utilidade/pertinência, relevância, aplicabilidade) dos itens avaliativos que foram sugeridos

A seguir apresentam-se no quadro 2 os resultados da auto validação, mostrando para cada item de avaliação do instrumento de análise a quantidade de critérios avaliados, o número de participantes dessa etapa de validação, o número de respostas “3” e “4” da escala Likert, o número total de respostas e por fim o IVC calculado para cada item de avaliação.

Quadro 2 – IVC dos itens de avaliação propostos (auto validação).

Fonte: Elaboração dos autores (2019).

Portanto, após a primeira etapa da validação 3S, os autores chegaram ao acordo sobre 11 dos 12 itens de avaliação propostos. O item “Qualidade socioambiental”, com IVC de 0,71 não foi considerado validado, e assim foi realizada uma consulta entre os pesquisadores e debatida uma nova maneira de organizar e descrever esse item de avaliação.

Os critérios da objetividade, simplicidade e exequibilidade pesaram negativamente para o IVC do item “Qualidade socioambiental”, fazendo com que os pesquisadores discutissem uma nova forma para explorar os aspectos e os objetivos que esse item de avaliação deveria possuir no instrumento.

Desse modo, elaborou-se dois novos itens de avaliação: “Abrangência do empreendimento e população alcançada” e “Indicadores quantitativos de atividades/participação”. Por meio desses dois novos itens avaliativos, procura-se verificar sobre a abrangência do empreendimento, assim como aferir sobre a população atingida pelas ações e atividades do projeto. A fim de ressaltar sobre a qualidade da proposta submetida, o item “Indicadores quantitativos de atividades/participação” busca medir resultados quantitativos referentes a produção de materiais, assim como número de reuniões participativas e oficinas realizadas durante o projeto.

Após a discussão e elaboração desses dois itens, foi realizado novamente o cálculo do IVC pelos pesquisadores responsáveis, resultando nas seguintes notas finais, apresentado no quadro 3:

Quadro 3 – IVC dos dois novos itens de avaliação propostos (auto validação).

Fonte: Elaboração dos autores (2019).

Com isso, após a primeira etapa (Auto validação) da metodologia 3S, alterou-se e formatou-se o instrumento proposto de análise em 13 itens avaliativos que passaram para a segunda etapa da validação (Validação Científica).

3.2.2 Validação Científica

A etapa da validação científica foi realizada com a colaboração e participação de cientistas e especialistas da área de educação ambiental, gestão de projetos socioambientais e recursos hídricos, contribuindo com o processo de validação em virtude de suas experiências e conhecimentos sobre o assunto.

Para isso, algumas condições foram consideradas para a busca e o convite aos especialistas participantes na realização da validação (CLOQUELL-BALLESTER et al., 2006):

• Nível de conhecimento sobre o assunto;

• Capacidade prospectiva;

• Motivação para participar do processo;

• Fatores organizacionais (proximidade e disponibilidade);

Ainda segundo os autores Cloquell-Ballester et al. (2006), o número de membros no painel da validação científica pode variar dependendo da situação da pesquisa e dos recursos disponíveis, de modo que o número de especialistas é estabelecido levando em consideração as seguintes informações: o número de membros do painel deve consistir de um mínimo de dois especialistas e um máximo de oito especialistas; disponibilidade e restrições de tempo dos especialistas.

A decisão final sobre o número de especialistas necessários para uma validação de conteúdo pode ser então baseada na experiência desejada e na gama de representação que os especialistas possuem sobre o tema (GRANT; DAVIS, 1997).

Para a realização da validação científica dessa pesquisa, foram consultados e convidados para participar cinco especialistas das áreas de educação ambiental (2 especialistas), gestão de projetos socioambientais (2 especialistas) e recursos hídricos (1 especialista).

Após aceite dos especialistas em participar dessa etapa da pesquisa, foi enviado um questionário eletrônico, contendo as instruções e os itens de avaliação do instrumento, para que pudessem analisar os itens propostos, seguindo a metodologia utilizada na auto validação. Dessa forma, os especialistas atribuíram notas (de 1 a 4) aos critérios estabelecidos, a fim de analisar os itens avaliativos do instrumento. Posteriormente, foi calculado para cada item de avaliação o IVC, conforme está exposto no quadro 4.

Quadro 4 – IVC dos itens de avaliação propostos (validação científica).

Fonte: Elaboração dos autores (2019).

Conforme a metodologia utilizada, os itens de avaliação que apresentam IVC maior ou igual que 0,8 são considerados validados na etapa da validação científica. Apenas o item 10 – Abrangência do projeto e população alcançada, não obteve o valor mínimo necessário, e devido aos comentários e sugestões dos especialistas, esse item foi retirado do instrumento de avaliação das propostas de projetos.

Os itens considerados validados foram submetidos a uma análise para aprimoramento de suas descrições e nomenclaturas, levando em conta as considerações e contribuições dos especialistas para a formatação de cada item do instrumento de avaliação. Dessa forma, os itens validados seguiram para a última etapa da validação pelo método 3S (Validação Social).

3.2.3 Validação Social

A última etapa do método 3S de validação é a validação social, considerada necessária para o cumprimento da metodologia proposta, uma vez que considera-se que todos os projetos têm efeitos sociais e ambientais. Portanto, os cidadãos devem ter a possibilidade de expressar suas opiniões, mesmo que não sejam opiniões de especialistas (CLOQUELL-BALLESTER et al., 2006).

A definição e a seleção dos participantes desta etapa foram realizadas do mesmo modo da fase de validação científica. Assim, para a etapa da validação social, os avaliadores podem ser: representantes da sociedade civil; representantes da administração pública; profissionais autônomos; partes interessadas pela área dos estudos; associações sem fins lucrativos e organizações não-governamentais vinculadas ao setor ambiental (CLOQUELL-BALLESTER et al., 2006).

Nesta etapa da pesquisa, foi enviado o questionário eletrônico para membros e coordenadores das câmaras técnicas de comunicação e educação ambiental dos Comitês de Bacias Hidrográficas do estado de São Paulo, pois são esses os principais e potenciais usuários do instrumento de avaliação proposto.

Obteve-se a participação de 30 usuários representando os seguintes Comitês de Bacias Hidrográficas do estado de São Paulo (Unidades de Gerenciamento de Bacias Hidrográficas – UGRHIs): Aguapeí e Peixe; Alto Paranapanema; Alto Tietê; Baixada Santista; Baixo Tietê; Baixo Pardo e Grande; Litoral Norte; Mogi; Médio Paranapanema; Pontal do Paranapanema; Ribeira de Iguape e Litoral Sul; São José dos Dourados; Sapucaí Mirim/Grande; Tietê Batalha; Turvo Grande; Tietê Jacaré; Pardo; Paraíba do Sul. Assim, foram representados cerca de 85% das UGRHIs do estado de São Paulo.

Seguindo a metodologia 3S de validação, foi enviado um questionário para que os respondentes pudessem avaliar os itens propostos, seguindo os mesmos procedimentos adotados na auto validação e na validação científica (critérios, escala de Likert, IVC). Após a atribuição das notas dos usuários aos critérios estabelecidos para cada item de avaliação, foi calculado O IVC que está apresentado no quadro 5.

Quadro 5 – IVC dos itens de avaliação propostos (validação social).

Fonte: Elaboração dos autores (2019).

Em geral, o público participante da etapa de validação social apresenta elevado grau de escolaridade em seu nível de formação, com pós-doutores, doutores, mestres e técnicos nas áreas de recursos hídricos, engenharia, ciências biológicas, educação ambiental e meio ambiente. Outro fato importante é que esse público possui experiência na área de recursos hídricos, pois cerca de 63% dos participantes (18 respondentes) atuam na área por mais de 5 anos de experiência. Esses fatos colaboram e dão maior credibilidade ao instrumento de análise de propostas e projetos de EA e CA, pois a validação dos itens propostos foi realizada por usuários envolvidos diretamente com a aplicação do instrumento.

Todos os itens de avaliação foram considerados validados (IVC igual ou maior que 0,8). Mesmo assim, para a disposição final do instrumento de avaliação foram levados em consideração os comentários e sugestões realizadas pelos respondentes da pesquisa. Desse modo, alguns itens avaliativos tiveram algumas alterações nas suas descrições para uma melhor adequação de seus objetivos e funções.

Por fim, cumpridas todas as etapas da metodologia 3S de validação, o instrumento de análise das propostas de projetos de educação e comunicação ambiental ficou estabelecido e está estruturado conforme apresenta-se na seção seguinte.

3. Instrumento de análise de propostas e projetos de EA e CA

O quadro 6, apresentado a seguir, é o instrumento proposto de análise de propostas e projetos de EA e CA, contendo os itens de avaliação e verificação organizados em categorias de análise, com as suas respectivas descrições específicas.

Quadro 6 – Instrumento de análise de propostas e projetos de EA e CA (Categorias de análise, itens de avaliação e descrição).

Continuação do Quadro 6 – Instrumento de análise de propostas e projetos de EA e CA (Categorias de análise, itens de avaliação e descrição).

Fonte: Elaboração dos autores (2019).

3. Descrição dos itens validados do instrumento de avaliação

1ª categoria de análise – Consulta

Na categoria de Consulta, objetiva-se consultar e verificar se a proposta de projeto cumpre com todos os itens obrigatórios do termo de referência. Assim, o item avaliativo dessa categoria é denominado como: Verificação da presença dos itens do Termo de Referência.

O termo de referência apresenta todos os itens obrigatórios que o projeto deveria ter, conforme estabelecido no Sistema Integrado de Gerenciamento de Recursos Hídricos do Estado de São Paulo. Os itens estabelecidos são: título; apresentação institucional do tomador; área de atuação; introdução; identificação do problema; justificativa; objetivos; público alvo; metodologia; equipe técnica; parcerias envolvidas; metas e atividades; propostas para avaliação do projeto desenvolvido; estratégias de sustentabilidade; bibliografia; cronograma físico-financeiro; planilha de orçamento.

Nesse primeiro item avaliativo, os responsáveis pela avaliação devem se atentar e verificar se a proposta de projeto atende ao cumprimento dos itens obrigatórios do termo de referência.

2ª categoria de análise – Execução

No grupo de Execução, incluem-se os seguintes itens avaliativos relacionados à execução da proposta de projeto: Contrapartida financeira e não financeira em relação ao valor total de investimento; Planilha orçamentária e cronograma físico-financeiro; Experiência e qualificação da equipe executora.

O item da Contrapartida financeira e não financeira são utilizados pela grande maioria dos Comitês de Bacias que fazem a avaliação e hierarquização das propostas de projetos de educação ambiental para concorrer ao recurso do FEHIDRO.

A contrapartida é o termo utilizado para se referir àquilo que se oferece em toca ou em compensação do investimento. Na opinião dos autores desse artigo, esse item não remete de fato à efetividade ou à relevância do projeto, porém mostra eventuais possibilidades de obter o comprometimento da parte beneficiária na execução de determinadas atividades.

Com o item de avaliação sobre a planilha orçamentária e cronograma físico-financeiro, busca-se avaliar se ambos os documentos apresentados são condizentes com a realidade da proposta. Dessa forma, a avaliação desse critério irá pontuar o projeto que, além de apresentar esses itens, deve explicar e ser coerente nas informações dispostas.

O último item de avaliação desse grupo (experiência e qualificação da equipe executora) visa verificar se a capacidade da equipe está adequada com as ações e atividades propostas durante o projeto. Ainda, verifica se o projeto apenas indica os profissionais que irão atuar ou se apresenta comprovações detalhadas de suas respectivas qualidades técnicas para execução das ações e atividades.

3ª categoria de análise – Métodos e procedimentos

Na categoria de análise referente aos métodos e procedimentos, objetiva-se verificar sobre os procedimentos metodológicos, assim como planos de comunicação, avaliação e sistematização das propostas. Para isso, são utilizados três itens avaliativos: adequação metodológica aos objetivos do projeto; plano de monitoramento do projeto; plano de sistematização e comunicação do projeto.

O primeiro item dessa categoria (adequação metodológica aos objetivos do projeto), visa verificar se os procedimentos metodológicos estão sendo devidamente detalhados no projeto, assim como se as suas ações e atividades propostas estão de acordo com a metodologia sugerida para atingir os objetivos e metas propostas no projeto.

No item do plano de monitoramento do projeto, destaca-se que a importância da avaliação está centrada no reconhecimento de mudanças e transformações, visando uma melhoria do ambiente, das atividades ou até mesmo do próprio trabalho. Entende-se que cada projeto deve elaborar métodos de avaliação e monitoramento de suas ações e de seus processos, pois cada projeto tem suas metas, atividades e objetivos próprios, e por isso a avaliação pode ser realizada de formas diferentes. É importante que cada proposta tenha informações que sirvam para avaliar e monitorar suas atividades, de forma que a busca por melhoria seja constante. Para isso, propõe-se verificar se a proposta possui e discorre sobre seu plano de monitoramento específico.

O item de plano de sistematização e comunicação do projeto está relacionado à sistematização de todos os dados e atividades da proposta de projeto, devido à sua extrema importância para o processo como um todo. Assim, as transformações necessárias se tornam mais claras e eficazes, facilitando possíveis novas ações e continuidade das ações indicadas. A educação e a comunicação ambientais são instrumentos indispensáveis para incentivar a mobilização da população e garantir a participação de diferentes grupos de pessoas.

4ª categoria de análise – Adequação

Na categoria de análise e adequação, busca-se aferir sobre a adequação do projeto às realidades locais, assim como a exequibilidade das ações propostas, e se essas correspondem às prioridades do plano de educação ambiental da bacia hidrográfica em questão.

Dessa forma, utilizam-se dois diferentes itens avaliativos: adequação do projeto às realidades locais e exequibilidade; correspondência do projeto com o plano da bacia e o plano de Educação Ambiental.

A adequação do projeto visa identificar se a proposta está adequada com as realidades locais da bacia hidrográfica, assim como verificar se as ações e atividades são exequíveis. A exequibilidade deve ser medida pela capacidade de desenvolvimento de todas as ações previstas no projeto.

O item de correspondência do projeto com o plano da bacia e o plano de Educação Ambiental colabora para a verificação das ações e atividades do projeto dentro das prioridades estabelecidas no plano de Educação Ambiental da Bacia Hidrográfica. Caso a bacia hidrográfica não possua esse plano, opta-se por verificar se as ações propostas se encaixam com as metas do plano diretor da bacia.

5ª categoria de análise – Repercussões e resultados

Na última categoria de análise, que são as repercussões e resultados, busca-se aferir sobre a qualidade da proposta por meio de suas ações, atividades e possíveis desdobramentos. Para isso, três itens de avaliação são utilizados: indicadores quali-quantitativos de atividades/participação; estratégia para sustentabilidade e continuidade; alcance das atividades propostas (expectativas e/ou consequências).

No item de indicadores quali-quantitativos de atividades/participação, busca-se medir resultados quali-quantitativos referentes à participação social em atividades, produção e elaboração de materiais, assim como a quantidade de oficinas participativas, intervenções e outras atividades programadas na proposta.

O item sobre a estratégia para sustentabilidade e continuidade tem o objetivo de avaliar a questão da continuidade das ações após o término do projeto. Dessa maneira, esse item irá inferir e priorizar as propostas que apresentam um caminho com potencial de continuidade de suas ações. As propostas com ações pontuais também são consideradas, visto que em determinados casos esses projetos podem ser muito importantes para tratar algumas questões específicas da bacia hidrográfica. No geral, acredita-se que os projetos com potencial de continuidade sejam valorizados, devido à importância e ao entendimento de que a educação ambiental é um processo contínuo de transformação e compreensão. Segundo Rainho et al. (2010), as práticas em educação ambiental são fundamentais para a conscientização, formação e comportamento das pessoas. Desse modo, se faz necessário que estas práticas sejam realizadas de forma contínua.

Por fim, no item de avaliação do alcance das atividades propostas (expectativas e/ou consequências), pretende-se avaliar sobre os desdobramentos e resultados das ações e atividades propostas no projeto. É preciso verificar se as atividades propostas no projeto possuem potencial para superar os limites da aplicação e consequentemente atingir outras pessoas, ou se o alcance dessas atividades está limitado ao público participante do projeto.

As atividades de educação ambiental devem envolver grupos diferentes da sociedade, muitas vezes com abordagens distintas, mas no geral é preciso envolver e integrar a maior diversidade possível nos aprendizados, conhecimentos e relações com o meio ambiente, uma vez que todos estão inseridos e fazem parte desse meio.

3. Considerações finais

A avaliação de projetos é um processo fundamental que auxilia na tomada de decisões, contribuindo para que as propostas submetidas estejam capacitadas para alcançar suas metas e subsidiar ações eficazes de educação e comunicação ambiental nas bacias hidrográficas.

A importância dessa avaliação é significativa, pois apenas por meio dela pode-se verificar, analisar e discutir as futuras ações almejadas pelas ações e pelos projetos, tornando esse processo essencial para uma tomada de decisão justa e correta.

Vale ressaltar que o estudo e a identificação de itens de avaliação também podem contribuir no processo de elaboração de boas propostas de projetos, visando um planejamento adequado das ações e atividades que irão garantir as múltiplas funcionalidades dentro de uma bacia hidrográfica. As propostas e projetos devem ser adequadas, detalhadas e condizentes com os objetivos da educação ambiental, almejando ações e atividades que auxiliem na conservação e na gestão de bacias hidrográficas.

A avaliação de projetos de educação e comunicação ambiental sugerem uma abordagem mais qualitativa e democrática, visto que as ações e atividades propostas devem estar a serviço de todas as pessoas e da comunidade local, dando voz a todos os atores sociais presentes e possíveis participantes dessas ações.

Dessa forma, foi realizado um estudo sobre os itens de avaliação para análise das propostas de projetos de educação e comunicação ambiental (submetidas para possível implementação via recursos financeiros provenientes do FEHIDRO), que são utilizados pelos Comitês de Bacias Hidrográficas do estado de São Paulo. Assim, baseando-se em referências bibliográficas, e também nos próprios itens utilizados pelos Comitês de Bacias, buscou-se agrupar e estabelecer um novo conjunto de itens de avaliação. Posteriormente, esses itens foram validados pela metodologia 3S de validação.

O processo de validação dos itens de avaliação, foi realizado por meio de uma metodologia abrangente e participativa, a metodologia 3S de validação. Destaca-se que essa metodologia buscou saber a opinião de especialistas das áreas envolvidas, assim como a opinião de quem está diretamente envolvido na aplicação desse instrumento, que são os coordenadores e membros das câmaras técnicas de educação e comunicação ambiental dos Comitês de Bacias Hidrográficas.

Por fim, este trabalho configurou um instrumento de análise de propostas e projetos de EA e CA em 12 itens de avaliação. Tais itens visam aferir sobre pontos principais das propostas e projetos submetidos aos Comitês de Bacias Hidrográficas (UGRHIs). O principal intuito do instrumento avaliativo proposto é facilitar a análise e hierarquização das propostas de projetos pelos responsáveis dessa tarefa (coordenadores e membros das câmaras técnicas de EA e CA). Além disso, o instrumento visa orientar e conduzir os proponentes de projetos e ações a construir e elaborar projetos cada vez mais efetivos e condizentes com as realidades locais, seguindo os itens de avaliação dispostos no instrumento.

Referências

ABERS, R.; JORGE, K. D. Descentralização da gestão da água: por que os comitês de bacia estão sendo criados. Ambiente e Sociedade, São Paulo, v.8, n.2, p. 99 – 124, 2005.

ALEXANDRE, N. M. C.; COLUCI, M. Z. O. Validade de conteúdo nos processos de produção e adaptação de instrumentos de medida. Ciência & Saúde Coletiva, Rio de Janeiro, v. 16, n. 7, p. 3061-3068, 2011.

BACCI, D. de la. C.; PATACA, E. M. Educação para a água. Estudos avançados, São Paulo, v. 22, n. 63, p. 211 – 226, 2008.

BARBOSA, F. D.; HANAI, F. Y.; SILVA, P. A. R. Participação, representação e representatividade no processo de tomada de decisão em Comitês de Bacia Hidrográfica: conceitos, reflexões e discussões. Sustentabilidade em debate, Brasília, v. 7, n. 3, p. 34 – 46, 2016.

BARROS, A. J. S. e LEHFELD, N. A. S. Fundamentos de metodologia: um guia para a Iniciação Científica. 2 Ed. São Paulo: Makron Books, 2000.

BUSTOS, M. R. L. A educação ambiental sob a ótica da gestão de recursos hídricos. Tese (Doutorado em Engenharia). Departamento de Engenharia hidráulica e sanitária, Universidade de São Paulo, São Paulo, 2003.

CLOQUELL-BALLESTER, V. A.; CLOQUELL-BALLESTER, V. A.; DIAZ, R. M.; SIURANA, M. C. S. Indicators validation for the improvement of environmental and social impact quantitative assessment. Environmental Impact Assessment Review, 26, p. 79-105, 2006.

DAVIS, L. L. Instrument Review: Getting the Most from a Panel of Experts. Applied Nursing Research, v. 5, p. 194-197, 1992.

FOLLE, K. K.; PINHEIRO, D. K. Guardiões das águas mirins: integrando experiências de preservação de recursos hídricos e educação ambiental no município de Tenente Portela-RS. Revista Monografias Ambientais, Santa Maria, Edição Especial Curso de Especialização em Educação Ambiental, p. 25-45, 2015.

GIL, A. C. Métodos e técnicas de pesquisa social. 6 ed. São Paulo, SP: Atlas, 200p. 2012.

GRANT, J. S.; DAVIS, L. L. Selection and use of content experts for instrument development. Res Nurs Health, 20 (3), p. 269-274, 1997.

IARED, V. G.; DI TULLIO, A.; VALENTI, M. W.; SARDO, P. M. L.; LIMA, T. T. de. (ORGs) Fundamentos e práticas para educadoras/es ambientais. Batatais: MC2 Batatais Gráfica e Editora. 74p. 2011.

JACOBI, P. R. Educação ambiental, cidadania e sustentabilidade. Cadernos de Pesquisa, São Paulo, n. 118, p. 189 – 205, 2003.

MALAGUTTI, F. Análise de critérios em priorização de projetos. Tese (Doutorado em Engenharia Mecânica) – Faculdade de Engenharia Mecânica da Universidade Estadual de Campinas, Campinas, 2015.

MORIN, E. Introdução ao pensamento complexo. 4. ed. Porto Alegre: Sulina, 2011.

POLIT, D. F.; BECK, C. T. The Content Validity Index: Are You Sure You Know What’s Being Reported? Critique and Recommendations. Research in Nursing & Health, 29, p. 489-497, 2006.

RAINHO, C. R. de. et al. A educação ambiental como instrumento de sensibilização quanto aos malefícios da poluição atmosférica. Interagir: pensando a extensão, Rio de Janeiro, n. 15, p. 43-48, 2010.

RAUBER, D.; CRUZ, J. C. Gestão de recursos hídricos: uma abordagem sobre os comitês de bacia hidrográfica. Revista Paranaense de Desenvolvimento, Curitiba, v. 34, n. 125, p. 123 – 140, 2013.

RODRIGUEZ, J. M. M.; SILVA, E. V. da. Educação Ambiental e desenvolvimento sustentável – problemática, tendências e desafios. Fortaleza: Expressão Gráfica e Editora, 2013. 244p.

RODRIGUEZ, J. M. M.; SILVA, E. V. da. Planejamento e gestão ambiental: subsídios da geoecologia das paisagens e da teoria geossistêmica. Fortaleza: Editora da UFC, 2013. 370p.

SILVEIRA, M. dos S.; BALDIN, N. A relevância de práticas ambientais em área de bacia hidrográfica. In: DIAS, L. S. Educação Ambiental em Foco. Tupã: ANAP. 43 – 61 p. 2016.

TOMAZELLO, M. G. C.; FERREIRA, T. R. das C. Educação ambiental: que critérios adotar para avaliar a adequação pedagógica de seus projetos? Ciência & Educação, Bauru, v. 7, n. 2, p. 199-207, 2001.

VASCONCELOS, D.; GONDIM, N.; HORDONES, P. A.; SILVA, A. C.; BARROS, M. R. Governança da água no Brasil: uma contribuição bibliométrica. Holos, Natal, v. 8, p. 147-155, 2016.