Measuring the success of User Experience activities through Key Experience Indicators (KEI)

🇬🇧 English Version (Scroll down for the Portuguese version)

Measuring experience is perhaps one of the greatest challenges in Product and, consequently, one of the least prioritized. This happens because there are no easy or direct ways to measure "experience". However, it is critical to demonstrate the value of Design activities and their impact on the user journey. For this reason, today we are discussing KEIs—similar to KPIs (Key Performance Indicators), Key Experience Indicators can be a strategic ally to help you measure the outcomes of your research methods and methodologies.

It’s important to keep in mind that numbers alone don’t always tell the whole story. While metrics like page load time and conversion rate are important, they don’t provide a complete picture of the user experience.

In this post, we’ll cover:

• What Key Experience Indicators are

• Why KEIs are important

• Types of KEIs

• Examples of Key Experience Indicators

• How to use Key Experience Indicators

• How to start measuring

What Are Key Experience Indicators?

Key Experience Indicators focus on the quality of the user experience. Unlike traditional metrics that measure performance or functionality, KEIs are designed to assess how users feel about their interactions with a product or service. They help identify areas of success and opportunities for improvement from the user’s perspective.

KEIs may include metrics like user satisfaction, ease of use, and engagement. They help us understand how users interact with a product or service and whether they have a positive or negative experience.

Why Are KEIs Important?

KEIs are essential for several reasons:

User-Centered Design: They ensure that the design process remains focused on user needs and experiences.

Strategic Decision-Making: KEIs provide actionable insights that can guide product and service development decisions.

Measuring Success: They offer a way to quantitatively measure the success of UX efforts and research, beyond just functional outcomes.

Types of KEIs

KEIs can be categorized into three major areas, each addressing different aspects of the user experience with your product, service, or feature:

1. Ease of Use

2. Engagement

3. Satisfaction

Examples of Key Experience Indicators

1. Customer Satisfaction Score (CSAT): Measures the degree of user satisfaction with a product or service at a specific touchpoint or overall.

2. Net Promoter Score (NPS): Assesses loyalty by asking users how likely they are to recommend a product or service to others.

3. Task Success Rate: Evaluates the effectiveness of a product or service by measuring the percentage of tasks users can successfully complete.

4. Time-on-Task: Measures the amount of time users spend completing a specific task, which can indicate the product’s or service’s efficiency.

5. User Error Rate: Tracks the frequency of errors made by users during interactions, highlighting areas that may need simplification or improvement.

6. System Usability Scale (SUS): A tool for evaluating product or service usability through a 10-question survey, offering an overall usability score.

There are other metrics you can use in addition to those presented in this article.

How to Use Key Experience Indicators?

1. Identify Your Objectives: Understand what you want to achieve with your product or service. This will guide which KEIs are most relevant to your project.

2. Select Relevant KEIs: Choose KEIs aligned with your objectives and measurable. It’s best to start with a few and expand as necessary.

3. Measure and Analyze: Collect data on your selected KEIs and analyze the results. Look for patterns and insights to inform design improvements.

4. Iterate Based on Insights: Use the insights from KEIs to make informed design decisions and iterate on your product or service.

How to Start Measuring?

User Research

One common way to measure KEIs is through methods like online surveys, interviews, or focus groups. Questions should be crafted to assess the user experience across various aspects, such as ease of use, usefulness, and overall satisfaction.

Behavioral Data Analysis

Another way to measure KEIs is through behavioral data analysis. This involves using tools like Google Analytics to track user behavior on a website or app. Metrics such as time on site, pages visited, and bounce rates can help understand how users interact with the product or service.

Usability Testing

Usability testing can also be an excellent tool for measuring KEIs. These tests involve observing users as they complete specific tasks on a product or service. This allows us to see how users interact with the product, the challenges they face, and how they feel during the process. These observations help identify problem areas and opportunities for improvement.

Final Thoughts

Measuring the success of User Experience activities and methods is essential to ensuring we can see the impact of our work and build stakeholder confidence. This is particularly crucial in teams and companies with lower Design maturity.

Remember that KEIs should be tailored to your specific product or service and the needs of your users. What works for one product may not work for another.

In summary, KEIs become a clearer and more effective way to use qualitative methods (and beyond) to extrapolate quantitative data from metrics that we can track and analyze over time.

---

🇵🇹 Versão Portuguesa

Medir a experiência é talvez um dos maiores desafios em Produto e consequentemente aquele que menos damos atenção. Isto acontece por não existirem formas fáceis ou diretas de medir “experiência“, no entanto é critico conseguir provar o valor das atividades de Design e o seu impacto na jornada dos utilizadores. Por isso mesmo, hoje falamos de KEI’s – Semelhante aos KPIs (Key performance indicators) os Key Experience Indicators podem ser um aliado estratégico para te ajudarem a medir o resultado dos teus métodos e metedologia de investigação.

É importante ter em mente que os números por si só nem sempre contam a história completa. Embora métricas como tempo de carregamento da página e taxa de conversão sejam importantes, elas não oferecem uma imagem completa da experiência do utilizador.

Neste artigo vamos abordar:

• O que são Key Experience Indicators

• Porque é que os KEIs são Importantes

• Tipos de KEIs

• Exemplos de key experience indicators

• Como usar os Key Experience Indicators

• Como começar a medir

O que são Key Experience Indicators?

Os Key Experience Indicators concentram-se na qualidade da experiência do utilizador. Ao contrário das métricas tradicionais que podem medir desempenho ou funcionalidade, os KEIs são projetados para avaliar como os utilizadores se sentem sobre suas interações com um produto ou serviço. Eles ajudam a identificar áreas de sucesso e oportunidades de melhoria do ponto de vista do utilizador.

Os KEIs podem incluir métricas como satisfação do utilizador, facilidade de uso e engagement. Eles ajudam-nos a entender como os utilizadores interagem com um produto ou serviço e se têm uma experiência positiva ou negativa.

Porque é que os KEIs são Importantes?

Os KEIs são essenciais por várias razões:

• Design Centrado no Utilizador: Eles garantem que o processo de design permaneça focado nas necessidades e experiências do utilizador.

• Tomada de Decisões Estratégicas: Os KEIs fornecem insights acionáveis que podem orientar decisões de desenvolvimento de produtos e serviços.

• Medição de Sucesso: Eles oferecem uma forma de medir quantitativamente o sucesso dos esforços de UX e investigação, para além dos resultados funcionais.

Tipos de KEIs

Os KEIs podem ser categorizados em três grandes áreas, cada uma abordando diferentes aspectos da experiência do utilizador ao usar o teu produto, serviço ou funcionalidade:

1. Facilidade de uso

2. Engagement

3. Satisfação

Exemplos de key experience indicators

1. Customer Satisfaction Score (CSAT): Mede o grau de satisfação dos utilizadores com um produto ou serviço em um ponto de interação específico ou de forma geral.

2. Net Promoter Score (NPS): Avalia a lealdade, perguntando aos utilizadores o quão propensos estão a recomendar um produto ou serviço a outros.

3. Task Success Rate:  Avalia a eficácia de um produto ou serviço, medindo a percentagem de tarefas que os utilizadores conseguem concluir com sucesso.

4. Time-on-Task: Mede a quantidade de tempo que os utilizadores investem a concluir uma tarefa específica, o que pode indicar a eficiência do produto ou serviço.

5. User Error Rate: Acompanha a frequência de erros cometidos pelos utilizadores durante a interação com um produto ou serviço, destacando áreas que podem necessitar de simplificação ou melhoria.

6. System Usability Scale (SUS): Uma ferramenta para avaliar a usabilidade de um produto ou serviço. Consiste num questionário de 10 perguntas que fornece uma visão global das avaliações subjetivas de usabilidade.

Existem outras métricas que poderás usar para além daquelas apresentadas neste artigo.

Como usar os Key Experience Indicators?

1. Identifica os teus objetivos: Entende o que pretendes alcançar com o teu produto ou serviço. Isso irá guiar quais KEIs são mais relevantes para o teu projeto.

2. Seleciona KEIs relevantes: Escolhe KEIs que se alinhem com os teus objetivos e que sejam mensuráveis. É melhor começares com poucos e expandir conforme necessário.

3. Medir e analisar: Coleciona dados sobre os teus KEIs selecionados e analisa os resultados. Procura por padrões e insights que possam informar melhorias de design.

4. Iterar com base nos insights: Usa os insights obtidos dos KEIs para tomar decisões de design informadas e iterar em seu produto ou serviço.

Como começar a medir?

Investigação com utilizadores

Uma forma comum de medir os KEIs é por meio demétodos como questionários online, entrevistas ou focus groups. As perguntas devem ser criadas para avaliar a experiência do utilizador em diferentes aspectos, como facilidade de uso, utilidade e satisfação geral.

Análise de dados comportamentais

Outra forma de medir os KEIs é através da análise de dados comportamentais. Isso envolve o uso de ferramentas como o Google Analytics para fazer tracking do comportamento do utilizador num site ou app. Podemos analisar métricas como tempo no site, em páginas visitadas e taxas de rejeição para entender como os utilizadores estão a interagir com o produto ou serviço.

Testes de usabilidade

Os testes de usabilidade também podem ser uma ótima ferramenta para medir os KEIs. Esses testes envolvem a observação de utilizadores enquanto eles realizam tarefas específicas num produto ou serviço. Com isto podemos observar como é que interagem com o produto, quais as dificuldades que enfrentam e como se sentem durante o processo. Estas observações podem ajudar-nos a identificar áreas problemáticas e de melhoraria.

Pensamentos finais

Medir o sucesso das atividades e métodos de User Experience é essencial para garantir que conseguimos ver o impacto do nosso trabalho e ganhar a confiança dos stakeholder. Isto é particularmente crucial em equipas e empresas com maturidade de Design mais inferiores.

Lembra-te de que os KEIs devem ser adaptados ao teu produto ou serviço específico e às necessidades dos seus utilizadores. O que funciona para um produto pode não funcionar para outro.

Em suma, os KEIs tornam-se uma forma mais fácil e clara de usar métodos qualitativos (e não só) para extrapular dados quantitativos de métricas que podemos seguir e analisar ao longo do tempo.