Desenvolvimento de uma metodologia para implementação de técnicas de Reinforcement Learning para controle e otimização de processos químicos

Resumo:

Nas últimas décadas, sistemas de automação e aquisição de dados têm crescido em uso na indústria química, e à medida que coletar dados se torna mais simples e acessível, métodos de controle de processos baseados em dados se tornam cada vez mais interessantes. Por seus grandes sucessos em áreas tão variadas como no desenvolvimento de veículos autônomos, em robótica ou ainda em jogos estratégicos complexos (Xadrez, Go), as técnicas de aprendizado por reforço (RL – Reinforcement Learning) estão ganhando muita visibilidade na comunidade científica internacional. Em particular, por suas características naturalmente adaptativas e pelo o baixo custo computacional associado ao computado das ações, essas técnicas estão sendo consideradas pela comunidade de engenharia de sistemas em processos como alternativas ou complementos às técnicas de controle e otimização tradicionais. No entanto, ao contrário das aplicações mencionadas acima, por motivos óbvios de segurança e produtividade, o aprendizado do controlador no processo de interesse não pode ser realizado online. Nesse contexto, dados reais de processos e/ou dados simulados devem ser empregados para o pré-treino do controlador antes de sua implementação no processo real. O objetivo desse projeto é o desenvolvimento de uma metodologia para o treinamento offline e transferência online de um controlador baseado em Reinforcement Learning usando ferramentas de Imitation e Transfer Learning. Espera-se que a metodologia proposta seja capaz de gerar offline controladores suficientemente robustos e eficientes para futura implementação online.

Resultados:

CASSOL, G.O.; CAMPOS, G.V.K.;  THOMAZ, D.M.; CAPRON, B.D.O.; SECCHI, A.R. Reinforcement Learning Applied to Process Control: a Van de Vusse Reactor Case Study, Computer Aided Chemical Engineering, v. 44, p. 553-558 (2018). https://doi.org/10.1016/B978-0-444-64241-7.50087-2.