Regressão por dia

[mcf1110]

Regressão por dia

[mcf1110]

Seguem resultados por semana:

CV 10 Pastas

	RMSE: -8.613733770065853 
	MAPE: 70.79471980405656
Montevideo 
	RMSE: -4.555912125337258 
	MAPE: 89.49960290343418
Quito 
	RMSE: -2.8937489092924893 
	MAPE: 20.583849875513096
Sao Paulo 
	RMSE: -5.51993404005554 
	MAPE: 55.43205635729381

[mcf1110]

Correção
o agrupamento estava inconsistente antes (ex: a estação A tinha dados do dia 01/04, então a primeira semana ia de 01 até 07; a estação B não tinha dados pro dia 01 nem 02, então a semana ia de 03 até 10)

Agora arrumei, seguem os novos prints:

Lima 
	RMSE: -8.33387104005457 
	MAPE: 62.111565887605686
Montevideo 
	RMSE: -4.650591441021981 
	MAPE: 75.64529329615546
Quito 
	RMSE: -3.7597956811611333 
	MAPE: 27.00418676645375
Sao Paulo 
	RMSE: -5.444010259255766 
	MAPE: 57.99119927896231

[rycamargo]

Olá Matheus e Ronaldo, legal que encontraram o erro, tinha ficado preocupado com os gráficos anteriores :-) Curioso que Lima ficou bem ruim agora também, junto com Montevideo. Mas podemos seguir com o semanal então. Acho que a parte difícil, que foi pegar todos os dados e colocar em um notebook vocês já tem. Então acho que dá para tentar algumas alternativas aqui para melhorarmos os resultados: 1) Lembro que boa parte das features que apareciam em Oakland não faziam sentido em outras cidades. Lembro que tinha comentado de treinar o modelo em Oakland sem estas fetaures. Você chegaram a fazer isto? Acho que temos 2 possibilidades: (i) retirar parte das descrições das ruas e (2) manter apenas as informações do Waze, como trânsito. Tudo isto, é claro, no momento de treinar o modelo em Oakland. Me parece que aí é onde está o maior potencial de ganho. 2) Existe alguma informação a mais das cidades que poderiam ser utilizadas na predição ao invés de apenas fazer a regressão linear na predição inicial? Por exemplo, se pegarmos o modelo treinado em oakland e adicionarmos os dados das estações de cada cidade como novos exemplos de treinamento no modelo Catboost, será que funcionaria melhor? 3) Os erros mostrados são da regressão linear usando a predição original como variável independente e o valor da poluição como dependente, com os pontos das 4 semanas, certo? Ou são já com a validação cruzada? Uma coisa que fico na dúvida é o quanto que os ajustes em cada uma das 4 semanas são similares ou não. Teria como fazer os ajustes por semana e colocar as equações para cada uma das 4 semanas para ver como elas variam? Daria para entender também um pouco da dinâmica. São Paulo tem 4 outliers, que talvez sejam a mesma estação nas 4 semanas. Acho que falta pouco agora. abraços, -- Raphael Y. de Camargo Centro de Matemática, Computação e Cognição Universidade Federal do ABC (UFABC) http://professor.ufabc.edu.br/~raphael.camargo

…

On Mon, May 31, 2021 at 1:39 PM Matheus Fernandes ***@***.***> wrote: Correção o agrupamento estava inconsistente antes (ex: a estação A tinha dados do dia 01/04, então a primeira semana ia de 01 até 07; a estação B não tinha dados pro dia 01 nem 02, então a semana ia de 03 até 10) Agora arrumei, seguem os novos prints: [image: image] <https://user-images.githubusercontent.com/7266856/120221902-8c5dee80-c215-11eb-8eec-c7e13da522de.png> [image: image] <https://user-images.githubusercontent.com/7266856/120221908-8e27b200-c215-11eb-9755-ee845a6cec94.png> [image: image] <https://user-images.githubusercontent.com/7266856/120221917-908a0c00-c215-11eb-9013-3507c09801ca.png> [image: image] <https://user-images.githubusercontent.com/7266856/120221922-91bb3900-c215-11eb-8a65-f4091a68cb6a.png> Lima RMSE: -8.33387104005457 MAPE: 62.111565887605686 Montevideo RMSE: -4.650591441021981 MAPE: 75.64529329615546 Quito RMSE: -3.7597956811611333 MAPE: 27.00418676645375 Sao Paulo RMSE: -5.444010259255766 MAPE: 57.99119927896231 — You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub <#3 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AAH653OAOMSECJCNSSVI2ZDTQO3UXANCNFSM453BDYKA> .

[mcf1110]

@rycamargo

1. Não cheguei a fazer.
2. De fácil acesso, nada que me venha à mente. Idealmente, poderíamos pegar a velocidade do vento, temperatura, umidade, etc, de cada cidade, mas isso implicaria ir atrás desses valores nas datas indicadas para todas as cidades (inclusive para oakland), o que acho que é um trabalho grande a essa altura do campeonato.
3. Os erros são da validação cruzada de 10 pastas para a regressão linear com "predição original" como X e "predição ajustada" como y. Uma coisa importante a se notar é que temos 5 semanas, pois Abril tem 30 dias: 01, 08, 15, 22, 29. A última semana fica com dois dias (29 e 30). Não soube muito bem o que fazer com ela, acho que o ideal seria dropar.
   Não entendi direito a parte de "colocar as equações". Você diz treinar uma regressão para cada semana e fazer o gráfico de dispersão das 4/5 semanas?

[rycamargo]

Olá Mateus e Ronaldo, 1) Lembro que boa parte das features que apareciam em Oakland não faziam sentido em outras cidades. Lembro que tinha comentado de treinar o modelo em Oakland sem estas fetaures. Você chegaram a fazer isto? Acho que temos 2 possibilidades: (i) retirar parte das descrições das ruas e (2) manter apenas as informações do Waze, como trânsito. Tudo isto, é claro, no momento de treinar o modelo em Oakland. Me parece que aí é onde está o maior potencial de ganho.

Não cheguei a fazer.

Ronaldo, você consegue retreinar o modelo em Oakland com as 2 possibilidades acima? Assim ajuda um pouco mais o Matheus. Talvez este seja o caminho mais promissor. Mas precisaríamos disso meio rápida para ver se resolve. 2) Existe alguma informação a mais das cidades que poderiam ser utilizadas na predição ao invés de apenas fazer a regressão linear na predição inicial? Por exemplo, se pegarmos o modelo treinado em oakland e adicionarmos os dados das estações de cada cidade como novos exemplos de treinamento no modelo Catboost, será que funcionaria melhor?

De fácil acesso, nada que me venha à mente. Idealmente, poderíamos pegar

a velocidade do vento, temperatura, umidade, etc, de cada cidade, mas isso implicaria ir atrás desses valores nas datas indicadas para todas as cidades (inclusive para oakland), o que acho que é um trabalho grande a essa altura do campeonato. Adicionar mais dados acho complicado. O que pensei seria pegar o modelo catboost treinado no (1) e treiná-lo um pouco mais com exemplos da própria cidade. Mas isto viria só depois do (1) e se o (1) não der certo. 3) Os erros mostrados são da regressão linear usando a predição original como variável independente e o valor da poluição como dependente, com os pontos das 4 semanas, certo? Ou são já com a validação cruzada? Uma coisa que fico na dúvida é o quanto que os ajustes em cada uma das 4 semanas são similares ou não. Teria como fazer os ajustes por semana e colocar as equações para cada uma das 4 semanas para ver como elas variam? Daria para entender também um pouco da dinâmica. São Paulo tem 4 outliers, que talvez sejam a mesma estação nas 4 semanas.

Os erros são da validação cruzada de 10 pastas para a regressão linear

com "predição original" como X e "predição ajustada" como y. Uma coisa importante a se notar é que temos 5 semanas, pois Abril tem 30 dias: 01, 08, 15, 22, 29. A última semana fica com dois dias (29 e 30). Não soube muito bem o que fazer com ela, acho que o ideal seria dropar. Não entendi direito a parte de "colocar as equações". Você diz treinar uma regressão para cada semana e fazer o gráfico de dispersão das 4/5 semanas? Aqui acho que o melhor é usar somente 4 semanas e descartar os últimos dias. Para a validação cruzada o idea é usar um k = 4, e em cada rodada deixar 1 semana como teste e 3 como treino. Sobre as equações, a ideia seria fazer um ajuste linear para cada semana, do mesmo modo que fizemos na versão inicial, sem treino e teste, apenas com o intuito de ver se muda muito de semana para semana. abraços, -- Raphael Y. de Camargo Centro de Matemática, Computação e Cognição Universidade Federal do ABC (UFABC) http://professor.ufabc.edu.br/~raphael.camargo

…

On Mon, May 31, 2021 at 6:53 PM Matheus Fernandes ***@***.***> wrote: @rycamargo <https://github.com/rycamargo> 1. Não cheguei a fazer. 2. De fácil acesso, nada que me venha à mente. Idealmente, poderíamos pegar a velocidade do vento, temperatura, umidade, etc, de cada cidade, mas isso implicaria ir atrás desses valores nas datas indicadas para todas as cidades (inclusive para oakland), o que acho que é um trabalho grande a essa altura do campeonato. 3. Os erros são da validação cruzada de 10 pastas para a regressão linear com "predição original" como X e "predição ajustada" como y. Uma coisa importante a se notar é que temos 5 semanas, pois Abril tem 30 dias: 01, 08, 15, 22, 29. A última semana fica com dois dias (29 e 30). Não soube muito bem o que fazer com ela, acho que o ideal seria dropar. Não entendi direito a parte de "colocar as equações". Você diz treinar uma regressão para cada semana e fazer o gráfico de dispersão das 4/5 semanas? — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub <#3 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AAH653JOAB7MF7RRMUI4ZNLTQQANNANCNFSM453BDYKA> .

[ronaldonunes]

Olá Consigo sim fazer retreinar o modelo, só não compreendi bem como retirar as informações para as ruas. Todas as features, para o modelo de Oakland, são dados do Waze. Quanto a parte do ajuste linear para cada semana eu acho que entendi e posso fazer também. A idéia seria verificar a intersecção e o coeficiente para o ajuste em cada semana certo? Abraços Ronaldo On Tue, Jun 1, 2021 at 3:32 PM Raphael Y. de Camargo < ***@***.***> wrote:

…

Olá Mateus e Ronaldo, 1) Lembro que boa parte das features que apareciam em Oakland não faziam sentido em outras cidades. Lembro que tinha comentado de treinar o modelo em Oakland sem estas fetaures. Você chegaram a fazer isto? Acho que temos 2 possibilidades: (i) retirar parte das descrições das ruas e (2) manter apenas as informações do Waze, como trânsito. Tudo isto, é claro, no momento de treinar o modelo em Oakland. Me parece que aí é onde está o maior potencial de ganho. > Não cheguei a fazer. Ronaldo, você consegue retreinar o modelo em Oakland com as 2 possibilidades acima? Assim ajuda um pouco mais o Matheus. Talvez este seja o caminho mais promissor. Mas precisaríamos disso meio rápida para ver se resolve. 2) Existe alguma informação a mais das cidades que poderiam ser utilizadas na predição ao invés de apenas fazer a regressão linear na predição inicial? Por exemplo, se pegarmos o modelo treinado em oakland e adicionarmos os dados das estações de cada cidade como novos exemplos de treinamento no modelo Catboost, será que funcionaria melhor? > De fácil acesso, nada que me venha à mente. Idealmente, poderíamos pegar a velocidade do vento, temperatura, umidade, etc, de cada cidade, mas isso implicaria ir atrás desses valores nas datas indicadas para todas as cidades (inclusive para oakland), o que acho que é um trabalho grande a essa altura do campeonato. Adicionar mais dados acho complicado. O que pensei seria pegar o modelo catboost treinado no (1) e treiná-lo um pouco mais com exemplos da própria cidade. Mas isto viria só depois do (1) e se o (1) não der certo. 3) Os erros mostrados são da regressão linear usando a predição original como variável independente e o valor da poluição como dependente, com os pontos das 4 semanas, certo? Ou são já com a validação cruzada? Uma coisa que fico na dúvida é o quanto que os ajustes em cada uma das 4 semanas são similares ou não. Teria como fazer os ajustes por semana e colocar as equações para cada uma das 4 semanas para ver como elas variam? Daria para entender também um pouco da dinâmica. São Paulo tem 4 outliers, que talvez sejam a mesma estação nas 4 semanas. > Os erros são da validação cruzada de 10 pastas para a regressão linear com "predição original" como X e "predição ajustada" como y. Uma coisa importante a se notar é que temos 5 semanas, pois Abril tem 30 dias: 01, 08, 15, 22, 29. A última semana fica com dois dias (29 e 30). Não soube muito bem o que fazer com ela, acho que o ideal seria dropar. Não entendi direito a parte de "colocar as equações". Você diz treinar uma regressão para cada semana e fazer o gráfico de dispersão das 4/5 semanas? Aqui acho que o melhor é usar somente 4 semanas e descartar os últimos dias. Para a validação cruzada o idea é usar um k = 4, e em cada rodada deixar 1 semana como teste e 3 como treino. Sobre as equações, a ideia seria fazer um ajuste linear para cada semana, do mesmo modo que fizemos na versão inicial, sem treino e teste, apenas com o intuito de ver se muda muito de semana para semana. abraços, -- Raphael Y. de Camargo Centro de Matemática, Computação e Cognição Universidade Federal do ABC (UFABC) http://professor.ufabc.edu.br/~raphael.camargo On Mon, May 31, 2021 at 6:53 PM Matheus Fernandes ***@***.***> wrote: > @rycamargo <https://github.com/rycamargo> > > 1. Não cheguei a fazer. > 2. De fácil acesso, nada que me venha à mente. Idealmente, poderíamos > pegar a velocidade do vento, temperatura, umidade, etc, de cada cidade, mas > isso implicaria ir atrás desses valores nas datas indicadas para todas as > cidades (inclusive para oakland), o que acho que é um trabalho grande a > essa altura do campeonato. > 3. Os erros são da validação cruzada de 10 pastas para a regressão > linear com "predição original" como X e "predição ajustada" como y. Uma > coisa importante a se notar é que temos 5 semanas, pois Abril tem 30 dias: > 01, 08, 15, 22, 29. A última semana fica com dois dias (29 e 30). Não soube > muito bem o que fazer com ela, acho que o ideal seria dropar. > Não entendi direito a parte de "colocar as equações". Você diz treinar > uma regressão para cada semana e fazer o gráfico de dispersão das 4/5 > semanas? > > — > You are receiving this because you were mentioned. > Reply to this email directly, view it on GitHub > < #3 (comment) >, > or unsubscribe > < https://github.com/notifications/unsubscribe-auth/AAH653JOAB7MF7RRMUI4ZNLTQQANNANCNFSM453BDYKA > > . > — You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub <#3 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AELYH53CSFHIHMMEE2CCATTTQUYVTANCNFSM453BDYKA> .

[rycamargo]

Olá Ronaldo, legal!

Consigo sim fazer retreinar o modelo, só não compreendi bem como retirar as informações para as ruas. Todas as features, para o modelo de Oakland, são dados do Waze.

Aqui seria tirar as features que não aparecem quase nada nas cidades que aplicamos o modelo, como rampas, ou outros atributos.

Quanto a parte do ajuste linear para cada semana eu acho que entendi e posso fazer também. A idéia seria verificar a intersecção e o coeficiente para o ajuste em cada semana certo?

Sim, para ver se varia muito de semana a semana. Nos ajudará a entender o modelo.

…

Abraços Ronaldo On Tue, Jun 1, 2021 at 3:32 PM Raphael Y. de Camargo < ***@***.***> wrote: > Olá Mateus e Ronaldo, > > > 1) Lembro que boa parte das features que apareciam em Oakland não faziam > sentido em outras cidades. Lembro que tinha comentado de treinar o modelo > em Oakland sem estas fetaures. Você chegaram a fazer isto? Acho que temos 2 > possibilidades: (i) retirar parte das descrições das ruas e (2) manter > apenas as informações do Waze, como trânsito. Tudo isto, é claro, no > momento de treinar o modelo em Oakland. Me parece que aí é onde está o > maior potencial de ganho. > > > Não cheguei a fazer. > > Ronaldo, você consegue retreinar o modelo em Oakland com as 2 > possibilidades acima? Assim ajuda um pouco mais o Matheus. Talvez este seja > o caminho mais promissor. Mas precisaríamos disso meio rápida para ver se > resolve. > > 2) Existe alguma informação a mais das cidades que poderiam ser utilizadas > na predição ao invés de apenas fazer a regressão linear na predição > inicial? Por exemplo, se pegarmos o modelo treinado em oakland e > adicionarmos os dados das estações de cada cidade como novos exemplos de > treinamento no modelo Catboost, será que funcionaria melhor? > > > De fácil acesso, nada que me venha à mente. Idealmente, poderíamos pegar > a velocidade do vento, temperatura, umidade, etc, de cada cidade, mas isso > implicaria ir atrás desses valores nas datas indicadas para todas as > cidades (inclusive para oakland), o que acho que é um trabalho grande a > essa altura do campeonato. > > Adicionar mais dados acho complicado. O que pensei seria pegar o modelo > catboost treinado no (1) e treiná-lo um pouco mais com exemplos da própria > cidade. Mas isto viria só depois do (1) e se o (1) não der certo. > > 3) Os erros mostrados são da regressão linear usando a predição original > como variável independente e o valor da poluição como dependente, com os > pontos das 4 semanas, certo? Ou são já com a validação cruzada? Uma coisa > que fico na dúvida é o quanto que os ajustes em cada uma das 4 semanas são > similares ou não. Teria como fazer os ajustes por semana e colocar as > equações para cada uma das 4 semanas para ver como elas variam? Daria para > entender também um pouco da dinâmica. São Paulo tem 4 outliers, que talvez > sejam a mesma estação nas 4 semanas. > > > Os erros são da validação cruzada de 10 pastas para a regressão linear > com "predição original" como X e "predição ajustada" como y. Uma coisa > importante a se notar é que temos 5 semanas, pois Abril tem 30 dias: 01, > 08, 15, 22, 29. A última semana fica com dois dias (29 e 30). Não soube > muito bem o que fazer com ela, acho que o ideal seria dropar. > Não entendi direito a parte de "colocar as equações". Você diz treinar uma > regressão para cada semana e fazer o gráfico de dispersão das 4/5 semanas? > > Aqui acho que o melhor é usar somente 4 semanas e descartar os últimos > dias. Para a validação cruzada o idea é usar um k = 4, e em cada rodada > deixar 1 semana como teste e 3 como treino. > Sobre as equações, a ideia seria fazer um ajuste linear para cada semana, > do mesmo modo que fizemos na versão inicial, sem treino e teste, apenas com > o intuito de ver se muda muito de semana para semana. > > > abraços, > -- > Raphael Y. de Camargo > Centro de Matemática, Computação e Cognição > Universidade Federal do ABC (UFABC) > http://professor.ufabc.edu.br/~raphael.camargo > > > On Mon, May 31, 2021 at 6:53 PM Matheus Fernandes ***@***.***> > wrote: > > > @rycamargo <https://github.com/rycamargo> > > > > 1. Não cheguei a fazer. > > 2. De fácil acesso, nada que me venha à mente. Idealmente, poderíamos > > pegar a velocidade do vento, temperatura, umidade, etc, de cada cidade, > mas > > isso implicaria ir atrás desses valores nas datas indicadas para todas as > > cidades (inclusive para oakland), o que acho que é um trabalho grande a > > essa altura do campeonato. > > 3. Os erros são da validação cruzada de 10 pastas para a regressão > > linear com "predição original" como X e "predição ajustada" como y. Uma > > coisa importante a se notar é que temos 5 semanas, pois Abril tem 30 > dias: > > 01, 08, 15, 22, 29. A última semana fica com dois dias (29 e 30). Não > soube > > muito bem o que fazer com ela, acho que o ideal seria dropar. > > Não entendi direito a parte de "colocar as equações". Você diz treinar > > uma regressão para cada semana e fazer o gráfico de dispersão das 4/5 > > semanas? > > > > — > > You are receiving this because you were mentioned. > > Reply to this email directly, view it on GitHub > > < > #3 (comment) > >, > > or unsubscribe > > < > https://github.com/notifications/unsubscribe-auth/AAH653JOAB7MF7RRMUI4ZNLTQQANNANCNFSM453BDYKA > > > > . > > > > — > You are receiving this because you are subscribed to this thread. > Reply to this email directly, view it on GitHub > < #3 (comment) >, > or unsubscribe > < https://github.com/notifications/unsubscribe-auth/AELYH53CSFHIHMMEE2CCATTTQUYVTANCNFSM453BDYKA > > . > — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub <#3 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AAH653JOFPB2OQGZHBJACK3TQU56DANCNFSM453BDYKA> .

[mcf1110]

Conversando com o Ronaldo, ele percebeu um erro no código que eu tinha feito, na parte de agregar as features.
Aproveitei e também já adiantei a parte de dropar a última semana.

Seguem os resultados ajustados:

Lima 
	RMSE: -7.373772813959958 
	MAPE: 54.195148139270586
Montevideo 
	RMSE: -4.890596676471873 
	MAPE: 71.66216582680765
Quito 
	RMSE: -4.225565405503112 
	MAPE: 27.928123028559686
Sao Paulo 
	RMSE: -5.253332992632134 
	MAPE: 49.39659711587654