Проблема автоматического выделения подцелей в настоящее время является одной из наиболее актуальных в задачах адаптивного управления, в частности в задачах обучения с подкреплением (Reinforcement Learning). В данной работе предложен логико-вероятностный подход к построению адаптивных обучаемых систем управления, способный обнаруживать глубокие неявные подцели. Подход использует идеи нейрофизиологической теории функциональных систем для организации схемы управления, и логико-вероятностные методы машинного обучения для обучения правил работы системы и выявления подцелей. Работоспособность предложенного подхода демонстрируется на примере решения трехэтапной задачи фуражирования, содержащей две вложенные неявные подцели.

Демин Александр Викторович, канд. физ.-мат. наук, Институт систем информатики им. А. П. Ершова, Российская Федерация, 630090, г. Новосибирск, пр. Лаврентьева, 6, тел.: (383)330-66-60, e-mail: alexandredemin@yandex.ru

Демин А.В. Глубокое обучение адаптивных систем управления на основе логико-вероятностного подхода // Известия Иркутского государственного университета. Серия Математика. 2021. Т. 38. С. 65-83. https://doi.org/10.26516/1997-7670.2021.38.65

1. Анохин П. К. Принципиальные вопросы общей теории функциональных систем // Принципы системной организации функций. М. : Наука, 1973. С. 5–61.
2. Витяев Е. Е. Извлечение знаний из данных. Компьютерное познание. Модели когнитивных процессов. Новосибирск : НГУ, 2006. 293 с.
3. Демин А. В., Витяев Е. Е. Логическая модель адаптивной системы управления // Нейроинформатика. 2008. Т. 3, № 1. С. 79–107.
4. Демин А.В., Витяев Е.Е. Реляционный подход к извлечению знаний и его применения // Материалы Всероссийской конференции с международным участием «Знания – Онтологии – Теории» (ЗОНТ-2013). Новосибирск, 2013. Т. 1. С. 122–130.
5. Al-Emran Mostafa. Hierarchical Reinforcement Learning: A Survey // IJCDS Journal. 2015. Vol. 4, N 2.P. 137–142. https://doi.org/10.12785/ijcds/040207
6. Dietterich T. G. Hierarchical reinforcement learning with the MAXQ value function decomposition // Journal of Artificial Intelligence Research/ 2000. Vol. 3. P. 227– 303. https://doi.org/10.1613/jair.639
7. Goodfellow Ian, Bengio Yoshua, Courville Aaron. Deep learning. The MIT Press, 2016. 800 p.
8. Human-level control through deep reinforcement learning / V. Mnih [et al.] // Nature. 2015. Vol. 518. P. 529–533. https://doi.org/10.1038/nature14236
9. Mastering the game of Go with deep neural networks and tree search / D. Silver [et al.] // Nature. 2016. Vol. 529. P. 484–489. https://doi.org/10.1038/nature16961
10. Sutton R. S., Barto A. G. Reinforcement Learning. London : MIT Press, 2012. 320 p.
11. Vityaev E. E., Demin A. V., Kolonin Y. A. Logical probabilistic biologically inspired cognitive architecture // Artificial General Intelligence - 13th International Conference, AGI 2020, Proceedings. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). Springer Gabler, 2020. Vol. 12177 LNAI. P. 337–346. https://doi.org/10.1007/978-3-030-52152-3_36
12. Vityaev E. E., Demin A. V. Cognitive architecture based on the functional systems theory // Procedia Computer Science. Elsevier, 2018. Vol. 145. P. 623–628. https://doi.org/10.1016/j.procs.2018.11.072
13. Vityaev E. E., Demin A. V. Recursive subgoals discovery based on the Functional Systems Theory // Biologically Inspired Cognitive Architectures 2011. IOS Press, 2011. P. 425–430.
14. Zhou Zhi-Hua, Feng Ji. Deep Forest: Towards An Alternative to Deep Neural Networks // Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence (IJCAI-17). 2017. P. 3553–3559. https://doi.org/10.24963/ijcai.2017/497
15. Zhou Zhi-Hua, Feng Ji. Deep Forest // National Science Review. 2019. Vol. 6, N 1. P. 74–86. https://doi.org/10.1093/nsr/nwy108