Demonstrações de convergência do método do gradiente com aplicações em redes neurais

Abstract

Este trabalho apresenta um estudo teórico e aplicado sobre métodos de otimização baseados em gradiente, com foco específico no método do gradiente e no SGD (Método do Gradiente Estocástico). Inicialmente, desenvolvem-se os fundamentos matemáticos necessários, que sustentam as demonstrações de convergência dos algoritmos. Em seguida, são demonstrados, de forma rigorosa, limites superiores e taxas de convergência para o método do gradiente sob hipóteses de diferenciabilidade, convexidade, Lipschitz continuidade e suavidade. Os resultados teóricos são ilustrados por meio da aplicação do método do gradiente a uma função convexa de duas variáveis, permitindo observar empiricamente o comportamento da sequência gerada pelo algoritmo. Na etapa final, os métodos são aplicados ao treinamento de uma rede neural artificial simples, projetada para aproximar a função sen(x). A rede utiliza duas unidades na camada oculta com ativação tanh e um neurônio de saída linear. São comparados o desempenho do gradiente completo e do gradiente estocástico, tanto em termos de qualidade da aproximação quanto em custo computacional. Os experimentos confirmam os resultados teóricos: o método do gradiente converge de forma estável, enquanto o SGD fornece estimativas eficientes do gradiente a um custo sensivelmente menor por iteração. O trabalho evidencia, portanto, como as propriedades matemáticas dos métodos de otimização fundamentam o processo de aprendizado em redes neurais e garante ferramentas sólidas para sua análise e implementação.