-
Agora nós iremos
-
falar sobre o intervalo de confiança
e teste de pontos
-
para entender isso
na prática com a linguagem
-
e se vocês verificarem no documento
que está disponível para vocês
-
sobre essa explicação,
trouxemos um case real.
-
Imagina que nós estamos trabalhando
em uma fábrica de software
-
e você se depara com a situação
de precisar
-
melhorar a performance
dessa equipe de programadores.
-
Então foi analisado essa possibilidade
de implementar uma melhoria,
-
foi descoberto uma ferramenta para ajudar
e a medir
-
como que estava a performance
antes da implementação dessa ferramenta
-
e após a implementação dessa ferramenta
para verificar
-
se após a implementação da ferramenta
ficou está igual a performance.
-
Pode ser que esteja pior ou alcançou
o objetivo que era melhorar a performance.
-
Nós precisamos analisar esses dados
o antes e o depois.
-
E é essa proposta nossa. Agora vamos lá.
-
Aqui eu trago para vocês, inclusive,
um resumo.
-
Como é uma hashtag que está aqui marcada,
-
não é considerado na execução do código.
-
Então, caso você queira relembrar
ou queira ter um resumo aí na sua mão,
-
quer dizer, um material um pouquinho
extenso, eu deixo aqui para vocês.
-
Tá bom?
-
E agora vamos precisar
-
criar a nossa situação,
o cenário, antes e depois.
-
Então, aqui nós temos duas linhas,
duas linhas aqui que nós vamos executar.
-
O que seria isso?
-
Eu vou copiar, Vamos fazer junto aqui.
-
Como é que funciona?
-
Aqui eu deixo só tirar aqui
esse sinalzinho traz, copiamos ali.
-
Aqui é um comentário.
-
Dados, simulados,
linhas de código por hora,
-
antes e depois da introdução dessa
ferramenta para melhorar a performance.
-
E aí, para facilitar para vocês,
vamos deixar alinhados aqui, ora um, ora
-
dois, ora três, ora quatro, ora cinco,
-
ora seis, ora sete e ora oito.
-
Se você olhar aqui
o depois você já consegue ter
-
essa certeza
que a performance está sendo melhor.
-
Mas você não deve pensar que sempre
vai ser um cenário pequeno como esse.
-
No intervalo que você consiga analisar
apenas olhando para a tela.
-
Pode ser uma base
com uma análise de 300 horas.
-
Então você precisa assim de uma linguagem
como R para fazer essa análise por você.
-
Nós já
-
temos essa certeza, mas
vamos pedir para o R fazer essa análise.
-
Então, primeiro
nós vamos criar essas variáveis,
-
vamos imprimir só para visualizar.
-
Como sempre
a gente tem que temos que ter uma garantia
-
que os dados foram armazenados.
-
Gente,
-
abre linhas depois não.
-
R Não pode digitar o nome errado,
-
senão ele não vai conseguir achar
ou apertar alguns outros aqui
-
para facilitar
ir para o meio da tela Para visualizarmos.
-
Então legal, criamos a performance
das horas antes e depois.
-
Agora nós precisamos fazer essa
comparação, pedir
-
Será realmente que performam mais aqui
novamente
-
eu deixo um script para vocês
alguns comentar.
-
Agora nós vamos fazer esse teste de potes
para verificar
-
se a performance aumentou, tá?
-
E aqui alguns comenta
o que eu vou interpretar com vocês.
-
Eu deixei aqui anotado
como comentário ou resumo.
-
Então qualquer instrução Rafa
que vai ser executada agora
-
olha quanto comentário
é para poder entender a saída da execução.
-
Como que fica essa instrução?
-
Rafa, Vamos apertar mais uns três aqui.
-
Vamos porque agora aqui nós vamos pedir
para comparar o antes e o depois.
-
Como iremos fazer isso?
-
Temos uma variável aqui
chamada Resultado Underline test.
-
Você pode colocar o nome que você quiser.
-
Como sempre
aqui nós temos uma primeira instrução
-
aqui que vocês tem que aprender
agora ter ponto
-
teste, teste conteúdo,
porque é uma instrução em inglês do R.
-
Se vocês buscarem aqui,
eu deixei aqui anotado para depois
-
vocês poderem estudar
ou fazer uma anotação, tá?
-
O que que é o ponto teste?
-
Ele é usado para comparar o antes
e o depois.
-
É ele que vai fazer as análises dos dados
de antes e o depois.
-
Ora, a hora aqui que nós temos
temos que fornecer
-
qual que é o intervalo de valores
para que ele chama a linha antes?
-
Qual que é o outro intervalo de valores
e o linha depois?
-
E aqui novamente nós temos que fazer
uma outra instrução para ele,
-
que aqui nessa instrução
nós vamos dizer assim ó, os dados,
-
eles tem relação sim, é um dado que
está relacionado diretamente.
-
Eu tenho a informação hora a hora.
-
Eu só não sei
se realmente aumentou essa performance.
-
Olhando nós sabemos,
mas supondo que não sabemos ainda.
-
E aí você coloca true
-
ou false, você coloca true
quando está relacionado diretamente.
-
Às vezes você pode estar querendo
comparar coisas
-
que elas não estão relacionadas
diretamente.
-
Aí você colocaria o false, mas
não no nosso caso aqui vou apertar enter.
-
Aí você fala Poxa, mas e agora?
-
Cadê o resultado?
-
Tudo o que nós iremos analisar agora tá,
-
tá aqui agora você fala Rafa,
Então vamos imprimir sim, vamos imprimir.
-
Como que a gente faz aqui?
-
Primeiro você já sabe o valor dessa comparação foi armazenado aqui dentro print.
-
Resultado
-
aquela velha história
cuidado para digitar correta
-
o nome da variável e aí
nós temos o resultado aqui.
-
Poxa Rafa, parte do resultado
está escrito em inglês
-
e tem alguns números da estatística. Isso.
-
Agora nós vamos comparar o que eu vou
explicar para vocês.
-
Eu vou subir um pouquinho novamente
até conseguir
-
às vezes dar uma pausa,
fazer a formatação.
-
Nesse momento eu acho bem rico
essa parte dessas anotações,
-
esses comentários é como programar
sempre deixar o código comentado para você
-
entender o que a gente precisa focar
nesse retorno, dessa análise,
-
o quanto
que foi o valor retornado nesse p value,
-
o que seria esse p valor e Rafa
tem aqui para vocês.
-
Se o valor desse P vale,
o que é esse valor do resultado final?
-
For menor?
-
Eu deixei aqui anotado.
-
Menor que 0,05 menor que 0,05.
-
Sim, esse é um valor menor que 0,05.
-
Ele está mais distante aqui
do ponto da causa.
-
Quanto mais à direita ele está, mais
distante, então ele é menor.
-
Significa o quê?
-
Que há realmente uma diferença
significativa entre o antes e o depois?
-
Ai então o Rafa, como ele é
-
menor que 0,05, que é o que aconteceu
aqui,
-
quer dizer realmente
que há uma diferença significativa
-
entre a performance do antes
e o depois? Sim,
-
então faz sentido a nossa análise
que nós fizemos sem rodar o código.
-
Então ele refletiu o resultado
esperado pra nós.
-
Tudo bem.
-
E aí agora a gente conseguiu interpretar
nesse momento o que você deve se preocupar
-
é esse resultado para ver esse retorno,
se há realmente essa diferença teoria.
-
Entendeu?
-
Agora nós vamos para uma última parte.
-
Agora nós iremos para a última parte,
que é verificar não somente
-
se teve realmente significância
entre a performance do antes e o depois.
-
Isso nós já confirmamos.
-
Agora nós vamos ver a assertividade
o quanto isso está mais assertivo.
-
Esse retorno que nos deu.
-
Eu lembro a vocês que agora nós fizemos
com uma base bem pequena de dados,
-
fizemos ali só em 08h00 de análise, hora
a hora, então oito dados antes e depois.
-
Mas vocês tem sempre que lembrar
-
quando estamos falando aqui
da ciência do dado, dos dados,
-
pode ser algo muito maior
uma análise de 300 horas,
-
300 dados antes e 300 depois.
-
Então não tem como você fazer uma análise
observando apenas os valores.
-
Você tem que pedir para uma ferramenta
-
ou uma linguagem como R
para fazer isso por você.
-
Vamos ver o quanto realmente está fazendo
sentido ou A
-
com o nível de confiança desse retorno
do que foi processado.
-
Vem comigo aqui,
nós vamos para a última parte.
-
Como sempre,
-
eu deixo aqui para vocês um breve resumo
para que vocês depois consigo.
-
Até recomendo na sequência
pausar ou voltar o vídeo
-
para verificar essas observações
que eu deixei para vocês.
-
Aqui nós vamos fazer duas instruções.
-
Nós temos aqui
essa primeira que nós vamos pedir para ele
-
calcular e depois para mostrar.
-
Vamos lá, deixa eu copiar aqui para baixo
ou apertar mais alguns
-
entre os aqui para ficar bem
dividido a tela para não confundir vocês.
-
Até mesmo aqui eu falo aqui
essa área que a gente programa,
-
a gente tem que ter um pouco limpa
para facilitar a interpretação.
-
Agora vou colar aqui para vocês.
-
Deixa eu apagar,
eu não vou executar sem antes explicar.
-
Então o que nós vamos fazer?
-
Como sempre,
criar uma variável para receber
-
ou armazenar o valor dessa execução.
-
E aqui nós temos o que o resultado?
-
Underline teste.
-
Que variável é essa?
-
Rafa, eu vou voltar um pouquinho
o resultado do teste
-
e quando nós pedimos para ele fazer
-
a comparação, lembra do antes
e o depois que saiu esse resultado?
-
Ah, legal Rafa, Lembre aí
você fala Rafa, mais uma instrução
-
você vai nos ensinar agora sim,
essa daqui também conhecido como
-
cifrão ou dólar, como vocês
queiram falar aí na hora da programação.
-
Conf ponto int.
-
Rafa, esse daí eu ainda não vi com você.
-
Tudo bem?
-
Vamos dar uma olhadinha aqui.
-
Como sempre, eu deixo anotado para vocês
essas observações
-
para facilitar
depois na hora da interpretação.
-
Não dei mancada novamente. Está aqui.
-
Então é aquele momento que se eu fosse
você dava uma pausa no vídeo
-
para deixar anotado no seu caderno
que é o cofre Ponto int.
-
Ele é usado que para acessar
o intervalo de confiança da nossa análise
-
de novo,
nós vamos querer que ele pegue aqui
-
esse resultado
que foi projetado anteriormente
-
e agora nós vamos projetar
uma outra execução sobre ele.
-
Olha aqui
e ele vai gerar uma análise estatística,
-
que é o que a nossa análise
descritiva legal.
-
Então eu vou pedir para ele
fazer essa análise, armazenar o valor aqui
-
e aí depois, como sempre,
nós iremos visualizar ele.
-
Mas você fala Rafa,
essa visualização não está simples não.
-
Vou trazer mais uma coisa aqui pra nossa
conversa, para nossa aula de agora
-
é só o texto Intervalo de confiança
para a diferença média
-
é que nós trouxemos aqui o intervalo
-
onde ele confia carro ou confiança.
-
Um A confiança dois Vou apertar o enter,
-
deixa eu mostrar o resultado
e vocês vão entender.
-
Então nós temos aqui isso é um texto
que sai, um texto simples saiu aqui.
-
Esse é um intervalo de confiança de quanto
a quanto isso é aderência de confiança.
-
Esse é um modelo confiável.
-
Ele vai de -23,56.
-
Aqui é da onde ele parte,
até aonde ele vai, até aonde ele vai.
-
E dois Percebam que vocês criaram
a variável com nome intervalo, confiança,
-
da onde ele inicia você coloca um
-
e dá onde ele termina,
até onde ele vai e o dois.
-
E esse é o intervalo de confiança
desse modelo de análise
-
que nós acabamos de processar.
-
O que eu espero com isso?
-
Eu espero que agora vocês tenham entendido
como que é isso,
-
e vamos dizer, real não,
mas com certeza isso existe.
-
Quando você trabalha uma empresa,
por exemplo, uma fábrica de software,
-
as vezes a performance da equipe
não está muito boa no desenvolvimento
-
e aí alguém vai fazer uma análise,
implementa uma melhoria
-
e depois eles querem medir para saber
se após a implementação da melhoria
-
a performance da equipe aumentou.
-
E aí,
quem vai nos ajudar a fazer essa análise?
-
A linguagem é
com a parte de estatística e.