| Title: | A deep reinforcement learning model for fulfillment operations in omnichannel retail |
| Author: | Souza, Nicollas Luiz Schweitzer de |
| Abstract: |
O crescimento do varejo omnichannel impõe desafios de elevada complexidade à gestão de cadeias de suprimentos, exigindo que processos de fulfillment e alocação de pedidos operem com máxima responsividade e eficiência em ambientes altamente estocásticos. Heurísticas tradicionais e métodos exaustivos de pesquisa operacional frequentemente apresentam limitações ao lidar com picos sazonais de demanda e enfrentam restrições computacionais decorrentes da dimensionalidade ao gerenciar malhas logísticas descentralizadas de larga escala. O presente estudo tem como objetivo desenvolver um modelo inteligente de fulfillment utilizando deep reinforcement learning para operações logísticas no varejo omnichannel, com foco na otimização, em tempo real, do roteamento de pedidos em redes híbridas que utilizam a estratégia ship-from-store. Em termos metodológicos, a pesquisa adota uma abordagem estritamente quantitativa e aplicada, estruturada como um estudo normativo axiomático-empírico fundamentado em modelagem matemática e simulação computacional de eventos discretos.. O procedimento desdobra-se em três fases interdependentes e complementares: a consolidação do estado da arte por meio de uma revisão sistemática da literatura orientada pelo protocolo PRISMA; a proposição de uma arquitetura conceitual de integração sistêmica unificando fluxos de inventário corporativo originados em sistemas ERP e matrizes dinâmicas de frete urbano vindas de sistemas TMS; e a avaliação do modelo em um ambiente híbrido empírico-simulado, orientado por 3.000 transações comerciais reais e georreferenciadas de um grande varejista brasileiro, distribuídas em uma rede regional heterogênea de 15 nós logísticos.. Os resultados da simulação computacional ao longo de um horizonte temporal contínuo revelam que o modelo conceitual baseado em inteligência artificial gera um lucro acumulado 12,6% superior em relação a sete heurísticas clássicas de mercado. Adicionalmente, sob condições de ruído operativo real, o agente proposto alcança uma taxa média de conformidade de SLA de 92,47%, superando meta-heurísticas consolidadas como o Algoritmo Genético e a Otimização por Colônia de Formigas, bem como arquiteturas alternativas de aprendizado por reforço profundo como Deep Q-Networks e Advantage Actor-Critic. A análise descritiva das 30 avaliações indica baixa dispersão do desempenho da política PPO no protocolo experimental adotado, com desvio padrão inferior a 0,015 e tempo médio de inferência de apenas 8,4 milissegundos por pedido roteado. Os resultados são consistentes com um mecanismo de preservação da flexibilidade futura de atendimento, denominado nesta pesquisa custo de oportunidade intertemporal do inventário, embora o comportamento interno da política não seja diretamente identificado. A diferença de 2,6334 pontos percentuais de SLA entre PPO e GA corresponde a aproximadamente 26,3 pedidos adicionais atendidos dentro do SLA a cada 1.000 pedidos, sendo proposta uma condição de break-even que permite avaliar quando esse ganho operacional compensa eventuais custos incrementais de fulfillment. Abstract: The rapid growth of omnichannel retail imposes highly complex challenges on supply chain management, requiring fulfillment and order allocation processes to operate with maximum responsiveness and efficiency in highly stochastic environments. Traditional heuristics and exhaustive operations research methods frequently fail when dealing with seasonal demand surges and face severe computational limitations arising from the curse of dimensionality when managing large-scale decentralized logistics networks. This research aims to develop an intelligent fulfillment model using deep reinforcement learning for omnichannel retail logistics systems, focusing on the real-time optimization of the order routing process in hybrid networks using a ship-from-store strategy. Methodologically, the study adopts a strictly quantitative and applied approach, structured as an axiomatic-empirical normative study based on mathematical modeling and discrete event computer simulation. The procedure unfolds across three interdependent and complementary phases: the consolidation of the state of the art through a systematic literature review guided by the PRISMA protocol; the proposition of a conceptual architecture for systemic integration, unifying corporate inventory data from ERP systems and dynamic urban freight matrices from TMS platforms; and the evaluation of the model in a hybrid empirical-simulation environment driven by 3,000 real-world georeferenced sales transactions from a major Brazilian retailer across a heterogeneous regional network of 15 processing nodes. The computer simulation results over a continuous temporal horizon reveal that the artificial intelligence conceptual model generates a balanced cumulative profit that is 12.6% higher compared to seven classic market heuristics. Additionally, under the stress of real-world operational noise, the proposed agent achieves an average SLA compliance rate of 92.47%, outperforming, within the reported experimental setting, consolidated meta-heuristics such as the Genetic Algorithm and Ant Colony Optimization, as well as alternative deep reinforcement learning architectures like Deep Q-Networks and Advantage Actor-Critic. Descriptive analysis across 30 evaluation episodes indicates limited within-run dispersion, with a standard deviation below 0.015, while the trained policy achieves an average tactical inference time of only 8.4 milliseconds per routed order. The observed performance patterns are consistent with the preservation of future fulfillment flexibility, conceptualized in this research as an intertemporal inventory opportunity cost, although the internal decision mechanism of the learned policy is not directly identified. The 2.6334-percentage-point SLA advantage over GA corresponds to approximately 26.3 additional SLA-compliant orders per 1,000 routed orders, and a break-even condition is proposed to determine when this operational improvement offsets any incremental fulfillment cost. |
| Description: | Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia de Produção, Florianópolis, 2026. |
| URI: | https://repositorio.ufsc.br/handle/123456789/277602 |
| Date: | 2026 |
| Files | Size | Format | View |
|---|---|---|---|
| PEPS5933-T.pdf | 2.162Mb |
View/ |