O documento apresenta os resultados de três experimentos de regressão linear realizados com diferentes algoritmos e parâmetros. No primeiro experimento, observa-se que o modelo se ajusta bem à regressão linear e que o erro quadrático médio diminui com o aumento do número de épocas. No segundo, chega-se à mesma conclusão. No terceiro, analisa-se os vetores de pesos gerados e percebe-se que alguns atributos parecem não ser relevantes. Observa-se também um caso incomum de overfitting nos dados não embaralhados corretamente.

1. Lista 1­ [0317826] Weslley Lioba Caldas
1)
Plotagem dos dados:
Observando o gráfico acima, percebemos que o modelo se ajusta a
regressão linear,pois com exeção de alguns poucos dados, a reta y=xw
os aproxima relativamente bem.
Abaixo é possivel ver como a reta se ajusta ao modelo.

2. Gráfico “épocas x EQM”.
É possivel ver que na medida que o numero de épocas cresce, o
erro quadrátido passa a diminuir, dessa forma concluimos que o
algoritmo está “aprendendo”, pois está melhorando na medida que o
tempo passa.

3. 2)
Gráfico “épocas x EQM”.
Da mesma forma como visto anteriormente, na medida que as épocas
passam o erro quadrático diminui. Assim, concluimos que o algoritmo
está “aprendendo”.
Gradiente Descendente Estocástico
Vetor de pesos
W = [0.84314 1.23326 0.03522]
Erro quadrático médio para 100 épocas =
0.42019
Mínimos Quadrados
Vetor de pesos
W = [0.89598 1.39211 ­0.08738]
Erro quadrático médio =
0.40866
Comparando os resultados vemos que o método dos minimos quadrados
apresenta um erro menor, porém vale ressaltar que para um numero de

4. épocas maior o algoritmo do gradiente provavelmente se equipararia a
este resultado.

5. 3)
wn =
...weidth0...
...weidth1...
...weidth2...
...weidth3...
...weidth4...
...weidth5...
Vetor de pesos[w0...wn]
w =
0.79299 0.21838 0.25817 0.31875 0.38167 0.44383
2.05650 1.33916 1.16266 1.04933 0.96594 0.90053
0.12144 0.22507 0.23055 0.23304 0.23441 0.23491
­1.16138 0.18016 0.24911 0.25988 0.25771 0.25167
0.06273 0.04806 0.05704 0.06804 0.07854 0.08787
­0.39110 ­0.24707 ­0.11526 ­0.03117 0.02547 0.06533
Analisando os pesos através da matriz w , percebemos que os atributos
X4 e X5, aparentemente não apresentam uma relevância muito grande
visto que seus pesos são irisórios se comparados aos demais
Gráfico “épocas x EQM”.(Treinamento)

6. Gráfico “épocas x EQM”.(Teste)
Erro quadrático médio do Treinamento =
0.43133 0.45573 0.47765 0.49857 0.51791 0.53578
Erro quadrático médio do Teste =
0.50536 0.47997 0.44295 0.42392 0.41422 0.40964
O objetivo da variação de Lambda é achar um termo que regularize os
parâmetros para evitar o Overfitting, observa­se porém um caso
incomum nos gráficos acima, pois o crescimento de lambda acarreta no
aumento do erro nos exemplos escolhidos para o treinamento, mas para
os mesmo valores de lambada erro nos exemplos separados para o teste,
decrescem. indicando que o mesmo seleciona atributos bons para o
treinamento, mas que não são bons para o conjunto de teste, e
vice­versa.
Acredito que isso se deve ao fato dos dados não estarem embaralhadas,
o que significa que o conjunto de treino­teste não foi separado

7. adequadamente.