Como analisar o uso do Elastic Workplace Search em um dashboard do Kibana — parte 2

Para a versão 7.10 do Elastic Workplace Search, destacamos alguns dos novos recursos de logging para analítica e conduzimos você por um breve passo a passo de alguns exemplos de cenários de análise. Com a versão 7.11, introduzimos os campos de analítica, que abrem novas possibilidades para explorar dados de consulta e cliques com dashboards e visualizações úteis.

Estruturamos a saída do log de eventos de analítica para proporcionar o máximo de flexibilidade possível. Temos nossas próprias ideias quanto aos tipos de análise que gostaríamos de ver em nosso uso do Workplace Search, mas também queremos que você seja capaz de examinar as métricas conforme achar adequado. Incentivamos você a explorar os dados por conta própria, mas neste post, forneceremos alguns casos de uso concretos e exemplos do que você pode fazer agora com os pontos de dados adicionais.

O que há de novo?

Na versão 7.11, adicionamos vários novos campos para análise: 

• refinamentos de consulta
• filtros de consulta
• valor de hash da consulta
• tipos de documentos (consulta e clique)
• eventos de feedback de consulta

No último post do blog, mostramos como fazer algumas visualizações rápidas usando o Kibana Lens. Neste post, vamos dar um passo adiante e entrar nos meandros da construção de algumas visualizações mais sofisticadas sobre esses novos campos.

Como antes, os dados brutos dos eventos de analítica podem ser encontrados usando o padrão de indexação .ent-search-workplace-search-analytics-ecs-ilm-logs-*. Para algumas consultas mais sofisticadas, usaremos um índice de transformação do Elasticsearch para realizar alguma pré-agregação em diversos campos. Para o dashboard e as métricas que definimos abaixo, criamos nossa transformação (o gist de origem está disponível aqui) que agrega no nível de sessão por consulta as seguintes métricas:

• Quaisquer refinamentos de consulta e a contagem de refinamentos
• Quaisquer filtros de consulta usados e a contagem de filtros
• A contagem total de cliques para essa sessão de consulta
• Os registros de data e hora de início e término da sessão de consulta
• O tempo em segundos desde o início da sessão de consulta até o primeiro clique do resultado

Existem certas compensações que precisam ser consideradas ao criar e usar transformações. As agregações com script dos seus dados podem ser bastante poderosas quando combinadas com visualizações do Kibana. Isso ocorre por meio da alocação de recursos adicionais de computação e armazenamento para criar e manter as transformações. Ao definir as métricas que quer analisar para seu uso do Workplace Search, você precisará saber o que quer obter de seus dados e decidir quais e quantas transformações quer usar para explorar seus dados.

Criação de visualizações para um dashboard de análise

Para ilustrar algumas das novas análises e métricas que podemos extrair dos campos registrados, podemos criar um dashboard do Kibana mostrando a maior parte da nova analítica disponível com essa atualização, incluindo:

• Posição média dos cliques e classificação recíproca média: a classificação média nos resultados em que os eventos de clique ocorreram e, em contraste, a classificação recíproca média.
• Média de segundos desde a consulta até o primeiro clique: o tempo decorrido desde o momento em que uma consulta é emitida até o usuário clicar em um resultado.
• Maior taxa de sucesso do gatilho: as principais consultas que produziram gatilhos, conforme definido pelo número de cliques.
• Mais cliques por tipo de documento: os tipos de documentos que foram mais clicados.
• Mais cliques por fonte de conteúdo: as fontes de conteúdo que foram mais clicadas.
• Documentos mais clicados por fonte de conteúdo: os documentos que tiveram o maior número de cliques por fonte de conteúdo.
• Principais consultas sem cliques: as consultas mais comuns que resultaram em nenhum usuário clicar em nenhum resultado. Isso pode ajudar a descobrir o que as pessoas estão procurando sem encontrar resultados relevantes. Então, você pode ajustar os resultados da consulta para ajudar, ou criar conteúdo adicional para eliminar a lacuna.

Vamos ver como criar cada um deles a seguir, mas se quiser começar a recriar este dashboard, você poderá baixar e importar este gist no Kibana.

Posição média dos cliques e classificação recíproca média

Para criar a visualização da métrica no Kibana para a posição média dos cliques:

• Usando o Lens, escolha o padrão de indexação geral acima e um tipo de gráfico de barra horizontal.
• Defina a métrica para a visualização no campo SearchMetrics.click.result.rank.

Para criar a visualização da métrica para a classificação recíproca média:

• Crie uma nova visualização da métrica no Lens usando o padrão de indexação de analítica.
• Defina a métrica para a visualização no campo SearchMetrics.click.result.reciprocal_rank.

Média de segundos desde a consulta até o primeiro clique

• Crie uma nova visualização da métrica no Lens usando a transformação que definimos acima.
• Defina a métrica para a visualização no campo time_to_first_click.

Maior taxa de sucesso do gatilho

• Usando o Lens, escolha o padrão de indexação da transformação e um tipo de gráfico de barra horizontal.
• Defina um filtro no campo query_refinement_count para “between” (entre) de “1” (e deixe o campo “to” (a) em branco).
• Defina o campo para a visualização no campo query_value.keyword.

Mais cliques por fonte de conteúdo

• Usando o Lens, escolha o padrão de indexação geral acima e um tipo de gráfico de barra horizontal.
• Arraste o campo SearchMetrics.click.result.content_source para a área do gráfico.

Mais cliques por tipo de documento

• Usando o Lens, escolha o padrão de indexação geral acima e um tipo de gráfico de barra horizontal.
• Arraste o campo SearchMetrics.click.result.document_type para a área do gráfico.

Documentos mais clicados por fonte de conteúdo

• Usando o Lens, escolha o padrão de indexação geral acima e um tipo de gráfico de barra empilhado horizontal.
• Arraste o campo SearchMetrics.click.result.content_source para a área do gráfico.
• Arraste o campo SearchMetrics.click.result.id para a área do gráfico sobre as fontes de conteúdo.

Principais consultas sem cliques

A visualização para isso no dashboard acima usa um script Vega em uma agregação customizada de métrica com script que permite ao analista examinar os dados em intervalos de tempo arbitrários, o que atualmente não é possível em visualizações do Lens ou do Kibana padrão operando em tipos de agregação predefinidos. A consulta usa uma métrica de script para agregar a frequência das consultas no intervalo de tempo prescrito onde não há cliques associados. Assim, conseguimos representar graficamente as contagens para as cinco principais consultas com facilidade. O bom de utilizar um tipo de visualização do Vega aqui, conforme mencionado acima, é que também podemos definir o intervalo do registro de data/hora global do Kibana como um parâmetro para filtrar os resultados.

O script em si, embora não seja complexo, é um pouco grande para este post do blog, mas criamos um gist para sua referência. 

Outras métricas e visualizações

Para analíticas mais complexas, mas ainda bastante úteis, podemos criar transformações adicionais. Ou, no Kibana, podemos criar um workpad do Canvas ao extrair dados usando o Elasticsearch SQL nos índices e nas transformações que criamos com nossos dados de origem. Como vimos no gráfico “principais consultas sem cliques” acima, essas consultas manuais também poderão ser transformadas em scripts Vega se você precisar adicioná-los ao seu dashboard.

Abaixo estão alguns exemplos de outras métricas interessantes usando os novos campos disponíveis com essa atualização.

Volume de engajamento mensal

Essa é uma métrica baseada na proporção entre o número de cliques e o número de consultas. Indica se os resultados da pesquisa são relevantes ou pelo menos interessantes para o usuário. Quanto maior a proporção de cliques para consultas, mais podemos supor que os resultados são interessantes para os usuários que estão fazendo a busca.

Essa métrica é possibilitada por um histograma de data e um script de intervalo, conforme mostrado neste gist. Você pode manipular essa consulta em uma visualização do Vega a fim de produzir um gráfico de linha para traçar o engajamento ao longo do tempo por mês, semana ou qualquer outro intervalo de tempo que desejar.

Retenção de usuários por N dias

Podemos usar nossos novos eventos de analítica registrados para obter alguns insights sobre quantas pessoas estão usando nosso espaço de trabalho semanalmente (ou diariamente ou mensalmente). A fórmula básica para determinar a retenção de usuários é contar o número de usuários únicos ao final do nosso intervalo de tempo, dividido pelo número de usuários únicos no início.

Podemos criar uma agregação que pode fazer isso usando histogramas de data e agregações de funções móveis, conforme mostrado neste gist. Novamente, podemos transformar isso em uma visualização usando Vega para traçar um gráfico de linha e ver facilmente como nossa instância de pesquisa está engajando e retendo os usuários.

Conclusão

Os dados de analítica coletados pelo Workplace Search oferecem a você e seus analistas um insight sobre o ajuste das suas instâncias do Workplace Search para melhor atender às necessidades dos seus usuários. Este post abrange vários casos de uso úteis, mas cada analista sabe o que é melhor para suas necessidades. Esperamos ter lhe dado as ferramentas para você obter o que precisa.

Este é apenas um pequeno insight sobre o que adicionamos à analítica do Workplace Search, e temos coisas ainda mais interessantes na manga. Também incentivamos você a explorar, experimentar e nos dar feedback sobre o que gostaria de ver em futuras iterações do Workplace Search.

O Workplace Search oferece a possibilidade de fazer buscas unificadas em todas as ferramentas de local de trabalho da sua organização, como Slack, GitHub, Google Drive, Salesforce e muitas outras. E muitos recursos importantes no Workplace Search estão disponíveis gratuitamente. Inscreva-se para fazer uma avaliação gratuita do Elastic Workplace Search no Elastic Cloud e proporcione à sua equipe uma experiência de busca rápida e funcional em toda a organização.