Marcelo Tibau

RETORNO SOBRE INVESTIMENTO

Quem trabalha com planejamento, gerenciamento e administração em geral certamente já ouviu falar de Return On Investment, o famoso R.O.I. O modelo criado nos anos 1970 por Jack J. Phillips para ser aplicado na indústria manufatureira, foi se aprimorando e hoje é usado em uma enorme gama de áreas, inclusive educação. 

Cada vez mais, os stakeholders das empresas estão interessados em ver resultados mensuraveis dos seus investimentos em educação corporativa. Demonstrar esses resultados se torna extremamente necessário para garantir a continuidade orçamentária.

Usar a metodologia para avaliar o projeto educacional traz alguns impactos positivos para a empresa. Dentre eles, podemos citar o alinhamento do aprendizado às necessidades do negócio,a  melhoraria do suporte de RH, o aumento da capacidade de identificar, desenvolver e implementar processos e a identificação de programas corporativos de sucesso que possam ser implementados em outras áreas da empresa (assim como programas ineficientes que precisam ser remodelados ou eliminados).

POR QUE MEDIR MAIS PROFUNDAMENTE?

Historicamente os treinamentos são medidos tendo como base a perspectiva do que acontece durante o programa. A expectativa foi atingida? O conteúdo foi interessante? Qual o nível de retenção do conhecimento?

Embora medir a reação e o aprendizado sejam importantes, se restringir a eles deixa de lado informações essenciais, como a transferência do aprendizado no dia a dia ou a melhora na qualidade do trabalho. São informações do que acontece após o programa de treinamento que mostram o impacto do aprendizado na organização.

A decisão de como coletar e analisar os dados gerados pelo treinamento, como isolar os seus efeitos e a metodologia usada para isto é o que irá garantir a credibilidade das suas informações quando você divulgar os resultados das avaliações dos seus treinamentos. E são estas informações que os stakeholders da sua empresa usarão para definir quanto, como e onde investir em educação corporativa.   

Portanto, quanto mais confiável é a medição e os critérios usados, mais facilmente será demonstrada a importância do investimento feito (ou do que se está planejando fazer). Neste quesito, escolher uma metodologia consagrada pode fazer a diferença.

Utilizar o R.O.I. como parte do processo de medição do impacto de programas de educação corporativa é mais viável do que se imagina. Diria até que é uma escolha lógica. A metodologia se provou flexível e sistemática o suficiente no decorrer dos anos. Isto porque, investimentos podem assumir inúmeras formas, assim com a sua avaliação. Podemos avaliá-lo de maneira financeira, com o enfoque em praticamente qualquer coisa. De equipamentos a recursos humanos, de programas de treinamento a viagens espaciais. O céu é literalmente o limite.

Não é a toa que o ROI vem sendo utilizado tanto no setor privado, quanto no público para avaliar investimentos feitos em inúmeras áreas, inclusive em educação, com resultados interessantes.

Neste texto, pretendo abordar rapidamente os níveis de avaliação mais usuais e focar um pouco mais na medição dos benefícios financeiros de um programa de educação corporativa.

NÍVEIS DE AVALIAÇÃO

Neste tópico, a idéia é apresentar o nível de avaliação, mostrar o foco do dado e fazer um resumo de como o dado gerado pelo nível pode ser útil. Os 4 níveis iniciais são os  níveis clássicos propostos por Donald Kirkpatrick. Tratarei a avaliação do retorno sobre o investimento (R.O.I.) como um quinto nível, apesar de alguns autores o considerarem parte do quarto nível.

Tomei esta decisão porque apesar de entender que o ROI possa ser utilizado para levantar o resultado do programa de educação corporativa no negócio, pode também ser utilizado apenas como forma de levantar os benefícios financeiros trazidos pela iniciativa (custo-benefício). Desta forma acredito, que possa ser utilizado mesmo que se opte por não aprofundar o nível de avaliação até o nível 4 de Kirkpatrick (o que não é aconselhável, como veremos no decorrer do texto).

Depois desta rápida contextualização, vamos a eles:

Nível 1: Reação

Também chamada de avaliação de satisfação. O foco do dado que se é levantado neste nível baseia-se no programa de treinamento, no facilitador e em como a aplicação ocorreu (em comparação com como deveria ocorrer).

A utilidade do dado está em levantar a percepção dos participantes em relação ao treinamento e ao facilitador. O que não é muito comum é utilizar esse nível para levantar um outro tipo de reação, o das ações planejadas.

Basicamente é procurar saber como os participantes pretendem implementar o que aprenderam no treinamento, como irão utilizar esse novo conhecimento. Para a avaliação de reação realmente ajudar a ajustar e refinar o programa, deve levar em consideração como os participantes esperam realizar a transferência do que aprenderam para a sua realidade no dia a dia do trabalho (não confundir com o nível 3, onde é avaliado como a transferência ocorreu).

Os dados obtidos com o levantamento das ações planejadas são de grande ajuda quando se planeja chegar ao nível 3 de avaliação. Eles são essenciais para definir quando e o que avaliar nesse momento. As informações extraídas desses dados também podem levar à melhorias no treinamento.

 Nível 2: Aprendizado

A avaliação do aprendizado se concentra em levantar como os conhecimentos, habilidades e atitudes repassados ou estimulados no treinamento foram absorvidos pelos participantes.

Mensurar o aprendizado é um pouco mais trabalhoso do que levantar a reação, aliás esta é uma característica comum quando elevamos o nível de avaliação que fazemos. O nível posterior sempre traz um aumento no grau de trabalho para levantar seus dados do que o imediatamente anterior.

Para uma boa avaliação de aprendizado, é necessário ter indicadores objetivos e quantificáveis de como o que foi trabalhado no treinamento foi entendido e o quanto foi retido. São esses dados que nos trazem a confirmação de que o aprendizado ocorreu.

Geralmente são usados testes de conhecimento (aplicados antes e depois do treinamento para avaliar o gap de conhecimento e o quanto foi reduzido). Não é o único meio de levantar os dados que queremos. Já se discute em associar avaliações baseadas em desempenho para avaliar o aprendizado ao longo do tempo e sua aplicação à realidade do participante. São as chamadas formas múltiplas de avaliação (“multiple forms of assessment” no original para quem se interessar em pesquisar mais a fundo).

Note que desta forma começamos a nos aproximar do nível 3 de avaliação (que levanta a capacidade de aplicação). Quando alargamos um pouco o enfoque da avaliação que pretendemos fazer, ela acaba nos levando para um novo patamar de dados, que nos permite gerar informações mais consistentes.

Nível 3: Comportamento

O nível 3 também é conhecido como aplicação no trabalho ou implementação. Mede a mudança de comportamento no ambiente de trabalho. Se baseia em verificar a aplicação específica do conhecimento, habilidade e atitude adquirida.

O foco do dado que é levantado está baseado no participante, no ambiente de trabalho e em alguns casos, no mecanismo de suporte à implementação. É feito após o programa de treinamento em um período de avaliação que pode durar alguns meses (de 3 a 6). Pode também ser associada às avaliações de desempenho já existentes na empresa, facilitando a aceitação pelos participantes e suas lideranças.  

 A vantagem de se aplicar este nível de avaliação é que se consegue dados que mostram a efetividade do treinamento. Em outras palavras, nos permite levantar os fatores que possibilitaram que os conhecimentos, habilidades e atitudes fossem transpostos para o dia a dia.

Dessa forma é possível entender o motivo que faz com que o que foi aprendido seja implementado na prática. Isto possibilita a utilização dessa informação em outras situações e treinamentos.

Nível 4: Resultado no negócio

Um programa de treinamento frequentemente é iniciado pelo fato de que algum indicador da empresa está abaixo do esperado ou então porque há algum fator de risco que faz com que a empresa reveja as suas práticas. Se muitas vezes a necessidade de treinamento decorre da necessidade do próprio negócio, então nada mais natural do que se medir o impacto do processo de treinamento em resultados organizacionais (custos, qualidade, produtividade, inovação, etc).

Esta é a proposta do nível 4 de avaliação, determinar o impacto do treinamento na melhora do desempenho organizacional. Produz tanto dados objetivos, como redução de custos, de tempo de treinamento ou melhorias de qualidade, quanto dados subjetivos como melhoria de satisfação do funcionário, da qualidade do atendimento, etc.

Um ponto de atenção neste nível, é o fato da necessidade de se levantar dados antes e depois do treinamento e de se fazer o cruzamento desses dados com dados de performance da própria empresa para gerar informações a respeito do impacto do aprendizado no negócio.

NÍVEL 5: R.O.I.

Aqui o enfoque é a avaliação dos benefícios financeiros que resultaram do treinamento comparados com os seus custos. Nesse caso, os dados levantados em relação ao treinamento e seu impacto são convertidos em valores monetários para poderem ser aplicados à formula de cálculo do R.O.I.

Geralmente a informação é apresentada em percentagem, e traz o valor do R.O.I. ou a sua relação custo-benefício. É sempre bom lembrar que este tipo de análise é basicamente quantitativa, ou seja, mesmo que uma ação de educação corporativa tenha um impacto positivo no negócio, não quer dizer que tenha necessariamente um  R.O.I. positivo (por exemplo, se tiver tido um custo muito alto). Este nível de avaliação mede o impacto financeiro e o seu uso deve vir associado a alguma medição qualitativa para apresentar um retrato geral do projeto.

Como citado anteriormente, o R.O.I. é um modelo, isto quer dizer que ele é utilizado em um processo, que começa bem antes de ser feito o seu cálculo. É importante frisar que cada parte do processo deve ser considerada para que se tenha condições de aplicá-lo corretamente.

Darei a seguir um panorama geral do processo, explicando o seu passo a passo e a fórmula usada tanto para o cálculo da relação custo-benefício, quanto para o do próprio R.O.I.

O PROCESSO

São 4 grandes etapas envolvidas no processo do R.O.I.: planejamento da avaliação, levantamento de dados, análise de dados e divulgação das informações. Em cada uma dessas etapas há alguns passos a serem dados, que podem receber mais ou menos enfoque de acordo com a finalidade e abrangência da avaliação. Mas é importante que todos sejam considerados e implementados em algum grau.

Como em qualquer projeto conduzido em uma organização, a primeira etapa aborda o planejamento. No nosso caso, é o planejamento da avaliação (também conhecido como Plano de Análise do R.O.I.), que é formado por 2 passos. O primeiro deles (que chamaremos de 1), se refere ao desenvolvimento dos objetivos de treinamento. Sabemos que a definição do objetivo é o primeiro ponto a ser levantado em qualquer ação educacional, mas na maioria das vezes se destina a definir o escopo do programa. Para se ter insumos que posteriormente serão utilizados no cálculo do R.O.I., é necessário levantar (ou definir) os índices do negócio que devem ser influenciados. Basicamente é termos claro os indicadores no negócio que nos mostrarão o que será avaliado. É isto que determina o propósito do estudo que será desenvolvido na avaliação.

O passo 2 desse planejamento, é determinar os planos de avaliação e o patamar dos dados a serem levantados. Quais níveis serão usados para a avaliação (os 4 de Kirkpatrick ou apenas alguns)? Quais métodos de coleta? Quais são as fontes e o período em que serão levantados? Estas são algumas das perguntas básicas que devem ser respondidas nesse passo. São elas que formam o Plano de Análise do R.O.I., que também deve levar em consideração os métodos utilizados para isolar o efeito do treinamento, para converter os dados em valores monetários e para determinar os custos.

Geralmente a natureza do treinamento e do seu cronograma de implementação – piloto ou rollout (lançamento e treinamento de toda a base) – determinam o tempo de levantamento de dados.

 A etapa seguinte aborda o levantamento dos dados e também possui 2 passos. Para manter a sequência, o passo 3 é o levantamento de dados durante o treinamento. Esses dados são referentes aos níveis 1 e 2 (Reação e Aprendizado) e como geralmente são aplicados na grande maioria dos treinamento, não se costuma apresentar empecilhos para a sua coleta.

Já o passo 4, que enfoca o levantamento de dados após o treinamento, pode apresentar obstáculos para a sua implementação. São referentes aos níveis 3 e 4 de avaliação (comportamento e resultado no negócio) e representam um desafio maior porque são níveis de avaliação que não costumam ser aplicados constantemente . Quando o são, costumam representar 20% ou 30% do total de treinamentos aplicados em um período (segundo pesquisas conduzidas pelo ROI Institute).

Alguns métodos de coleta de dados ou follow-up ajudam muito em avaliações de níveis 3 e 4, e podem ser implementados com certa facilidade e com custos reduzidos (alguns inclusive fazem parte de iniciativas comuns em grandes empresas, como avaliações de desempenho).

Abaixo, uma lista desses métodos com a indicação do nível de avaliação em que o dado pode ser utilizado:   

• Pesquisas e questionários de clima (níveis 3 e 4)
• Dados contábeis (nível 4)
• Observações “on the job” pela liderança ou RH (nível 3)
• Entrevistas com participantes (nível 3)
• Focus group – utilizado para acompanhamento (nível 3)
• Plano de ação para implementação do aprendizado elaborado pelos participantes (níveis 3 e 4)   
• Avaliações de desempenho (níveis 3 e 4)
• Monitoramento de desempenho (nível 4)

Como vimos pelos exemplos, não se trata de algo muito complexo, bastando muitas vezes redirecionar uma ferramenta já existente.

A terceira etapa diz respeito à análise dos dados e é aonde ocorre efetivamente o cáculo do R.O.I. Ela é formada por 5 passos, 4 deles diretamente ligados ao cálculo e 1 extra, utilizado como informação adicional para a última etapa.

Comecemos pelo passo 5, que analisa os efeitos do treinamento. Por isso é necessário definir lá trás, no passo 2, o método para isolar esses efeitos. Há algumas maneiras de se fazer isso, utilizando controles de grupos ou estimativas (dos participantes e da sua liderança). A melhor maneira, em minha opinião, é utilizar o método de controle de grupos. Vou explicá-lo rapidamente.

Antes do treinamento, deve-se dividir 2 grupos com características similares. Apenas um do grupos receberá efetivamente o treinamento, o outro não. Porém, os 2 grupos devem ter o seu desempenho medido antes de qualquer ação educacional, para ter sua performance checada e registrada.

O desempenho é novamente medido após o treinamento em períodos de 30, 60 e 90 dias. Estes dados são comparados entre si e com os dados de pré-treinamento. Desta maneira é possível determinar a extensão da influência do treinamento.  

Converter os dados em valores monetários é o passo 6. É necessário fazê-lo para que seja possível comparar os benefícios do treinamento com os seus custos. Por exemplo, quanto custou treinar cada participante? Quanto se gastou no desenvolvimento do treinamento? E na sua implementação?

São usadas algumas estratégias na conversão,Jack Phillips (o criador do R.O.I.) sugere cerca de 10. Algumas podem ser usadas em alguns tipos específicos de dados e outras em qualquer tipo. O desafio é escolher a que melhor se adapta à sua situação e aos dados levantados.

Como a explicação dessas estratégias valem um texto à parte, vou citar 4 que considero apropriadas para direcionar os interessados a pesquisarem mais detalhadamente. São elas:

• Conversão de produção para contribuição (output to contribution conversion)
• Conversão do custo da qualidade (cost of quality conversion)
• Conversão do tempo do funcionário (employee time conversion)
• Utilização de custos históricos (using historical costs)

Quando se faz referência a converter dados em valores, é preciso levar em consideração 2 critérios: a credibilidade do dado utilizado e os recursos necessários para a conversão. A minha sugestão é utilizar a identificação dos custos do seu treinamento (que é o passo 7, que veremos a seguir) para gerar os dados que se utilizarão na conversão. A credibilidade deles é alta (porque são registros correntes da área de treinamento) e poucos recursos são utilizados para a sua conversão (já estão em valores monetários). Basta fazer a conta que você quer (custo por participante, por desenvolvimento, por aplicação, etc.).

Como já comentado, identificar os custos do treinamento é o passo 7. Esses valores são interessantes porque fornecem mais insumos para a conta e quanto mais insumo monetário, melhor. Vale dizer que se um dado não puder ser convertido em valor, pode-se checar a sua utilização no resultado do negócio (como por exemplo dados relacionados à satisfação de clientes ou funcionários) ou sua identificação como benefícios intangíveis (que acontecem quando o seu impacto no resultado do negócio não pode ser medido em valor bruto).

Para tabular os custos do treinamento, leve em consideração os seus custos diretos, como por exemplo, produção de materiais utilizados (apostilas, materiais de apoio, etc.), facilitador, local e equipamentos, viagens, enfim, tudo que tiver relação direta com o treinamento.

Também considere os custos indiretos, como necessidades de diagnósticos, desenvolvimento do treinamento, o tempo despendido pelo participante, supervisão após treinamento, custos de avaliação, ou seja, tudo que de alguma forma tiver relação indireta.

Chegamos ao passo 8, que é o cálculo do R.O.I. Apenas deve ser considerado Retorno sobre Investimento o valor que advém da comparação do custo de um programa de treinamento com um benefício real resultante. Reforço, é preciso comparar com um resultado concreto e verificável. Muitas vezes é forte a vontade de usar qualquer benefício que vem de um treinamento e por mais subjetivo que seja, o incluir no conceito de retorno. Dessa forma, o R.O.I. acaba ficando vago e não fornece uma informação confiável. É preciso focar em custo real X benefício real.

O R.O.I. de um programa educacional é cálculado da mesma forma que em outros R.O.Is, como o relativo à construção de um edifício, por exemplo (o que muda são os tipos de custos). Com os cálculos do Custo/Benefício (é uma relação) e do Retorno sobre o Investimento (com o seu resultado mostrado em percentagem) temos a visão do resultado trazido pelo investimento feito.

Comecemos então pela relação Custo/Benefício. O cálculo é simples, basta dividir os valores levantados dos Benefícios do Treinamento pelos seus Custos.

RCB = Benefícios do Treinamento / Custos totais do Treinamento

É por esse motivo que os 2 passos anteriores são dedicados em converter dados em valores monetários e identificar os custos do treinamento.

Como uma fórmula fica mais clara com exemplos, vamos supor que o custo de um determinado treinamento foi de R$50 mil, com uma economia gerada para a empresa (ou lucro, aumento de receita, etc.) de R$500 mil reais (este é o valor dos benefícios do treinamento). Fazendo o cálculo (500 mil / 50 mil), temos como resultado 10. Lembre-se que este resultado representa uma relação, isto que dizer que para cada R$1,00 gasto com o treinamento, foram retornados R$10,00 em benefícios.

Vamos agora nos concentrar no cálculo do Retorno sobre o Investimento (o grande objetivo deste texto). A melhor maneira de avaliar treinamentos e seus investimentos é dividindo os benefícios líquidos pelos custos. Como o R.O.I. geralmente é expresso em percentagem, é necessário multiplicar os valores fracionados resultantes por 100. Assim, nossa fórmula fica:

R.O.I. = (Benefícios Líquidos do Treinamento / Custos do Treinamento) X 100

Vale mencionar que o valor dos benefícios líquidos é obtido subtraindo-se os custos do treinamento do valor dos benefícios (Benefícios do Treinamento – Custos totais do Treinamento).

Para tangibilizar, vamos usar os mesmos valores do nosso exemplo anterior. Neste caso, teremos o seguinte cálculo:

(500 mil – 50 mil)/50 mil = 9

9 X 100 = 900

Achamos um R.O.I. de 900% neste exemplo, isso significa que a cada R$1,00 investido, houve um retorno de R$9,00.

Usando a fórmula do R.O.I., conseguimos uma informação para os investimentos em treinamento do mesmo nível usada em outros investimentos. Dessa maneira, facilitamos o entendimento dos investidores (ou administradores) da nossa companhia, que usam a mesma fórmula e conceitos similares para avaliar ou definir outros investimentos que a empresa faz.

Embora já tenhamos os valores que procurávamos, o processo do R.O.I. ainda não acabou. Em paralelo aos passos anteriores, são levantados os benefícios intangíveis (o passo 9), citados rapidamente no passo 7. Benefícios intangíveis são os resultados positivos que não podem ser convertidos em valores monetários ou que envolveriam muito tempo e dinheiro na sua conversão que não justificariam o esforço.

São importantes porque apesar de não convertidos monetariamente, podem ser mensuráveis e usados como evidência adicional do sucesso de uma iniciativa educacional. São apresentados como dados qualitativos. Alguns exemplos de benefícios intangíveis são as informações relativas a:

• Satisfação do funcionário
• Melhora do clima organizacional
• Turn-over da empresa
• Satisfação do cliente
• Etc.

O processo é finalizado na sua quarta etapa, a divulgação das informações. A etapa é formada pelo passo 10, que corresponde ao desenvolvimento do estudo de impacto. A validade do passo está no fato de que a alocação de recursos nos orçamentos é muito baseada em termos de contribuição que o investimento traz. Assim, comunicar os resultados das iniciativas educacionais ajudam a demonstrar a importância desses investimentos.

 O estudo de impacto é um relatório que demonstra os resultados dos investimentos, explicando as bases em que foram feitas as avaliações, fazendo a apresentação do resultados e oferecendo conclusões e recomendações. Geralmente são desenvolvidos 2 relatórios, um mais breve e outro mais detalhado para serem distribuído para a alta direção e demais stakeholders.

DICAS FINAIS

Implementar a avaliação das iniciativas educacionais pelo R.O.I. exige um esforço maior. Envolve aumentar o nível de avaliação, o que desloca a responsabilidade em levantar dados para outras áreas que não apenas RH ou Educação Corporativa.

Por isso, uma ação-chave a ser feita é o estabelecimento de responsabilidades. É preciso deixar claro o papel e responsabilidades de unidades de negócio envolvidas no treinamento, da liderança dos participantes e dos próprios participantes. Combinar com todos que de alguma forma estarão envolvidos em levantar os dados é essencial.

Implementar avaliações que se baseiem em desempenho não é rápido. Portanto, outra ação necessária é desenvolver um plano de transição, que forneça um direcionamento para a operacionalização das avaliações de níveis 3 a 5, com objetivos, métodos de coleta de dados, cronograma e responsabilidades definidas.

Muitas vezes, um plano de transição aponta necessidades de mudanças de políticas internas de implementação e avaliação de treinamentos. Outra ação-chave, quando isto acontece, é revisar ou remodelar as políticas da empresa quanto à avaliação de treinamentos e implementar novos procedimentos que tenham como metas as etapas do processo de avaliação do R.O.I.

Para facilitar a disponibilização de recursos necessários para promover a mudança do sistema de avaliação, é preciso ir aos poucos. Por isso, definir alvos para os níveis de avaliação é mais uma ação necessária nesse caminho. Isto requer que apenas um certo número de programas sejam avaliados em cada nível. Dessa forma, evitamos que haja uma sobrecarga de avaliações e garantimos que todo programa avaliado em nível 5, tenha também planejadas avaliações de nível 4, 3, 2 e 1.

A recomendação é que os alvos de avaliação sigam a seguinte percentagem (em relação ao total de ações educacionais implementadas durante o ano):

Nível 1 – Reação: 100% das ações

Nível 2 – Aprendizado: pelo menos 50% das ações

Nível 3 – Comportamento: 30% das ações

Nível 4 – Resultado no negócio: 20% das ações

Nível 5 – R.O.I.: 10% das ações

A utilização do R.O.I. significa mais do que uma mudança de ferramenta ou modelo de avaliação, é antes de tudo, uma mudança de cultura de treinamento. Uma cultura que requer uma avaliação de resultados mais baseada em desempenho.

Não é simples, é necessário muito planejamento, muita negociação e vontade política para implementar, mas os seus resultados podem levar as ações de educação da sua empresa para um outro patamar.

BiBLIOGRAFIA

Kirkpatrick, Donald L.: Evaluating Training Programs: The four levels

Phillips, Jack J.: How to Measure Training Results

Phillips, Jack J:. Handbook of Training Evaluation and Measurement Methods

Westcott-Abudi, Gina: Using Return on Investment to Evaluate Project Management Training