요약

이 프로젝트는 강화학습으로 PID 제어에 필요한 적절한 (P, I, D) 값을 구하는 오토 튜너 구현을 목표로 한다. PID 제어는 드론, 로봇등에 널리 사용되는 제어 방법 중 하나이다.

이 제어에는 튜닝이 반드시 필요한데 튜닝의 과정은 다음과 같다. 기기를 동작시켜 데이터를 쌓은뒤, 기기를 멈추고 쌓은 데이터를 통해 사람이 튜닝 값을 조정한다. 이를 적절한 값을 찾을 때 까지 반복한다. 이런 번거로움을 해결하고자 기기가 동작함과 동시에 온라인으로 튜닝을 할 수 있는 튜너를 강화학습을 통해 구현했다.

먼저 간단한 환경을 구현한 뒤, A2C 알고리즘을 이용한 튜너를 학습시켰다. 그 후 학습시킨 튜너를 적용한 PID 제어기를 Open AI의 gym 환경 중 LunarLander로 테스트했다. 추가적으로, 학습이 안된 튜너를 적용한 PID제어기도 테스트했다. 결과적으로, 두 경우 다 불필요한 튜닝 시간을 단축시켜 빠른시간 내에 필요 작업을 할 수 있었다.

과정

PID 제어에 대한 이해

• 피드백 구조
• 제어하고자 하는 대상에 의해 정해지는 입력값(예: 드론의 자이로 센서값)를 측정해서 사용자가 정하는 설정값(Setpoint)와 비교해 오차(Error)를 계산
• 오차를 이용해 필요한 제어값(Output)(예: 드론의 각모터 회전 출력)을 계산
• 제어값으로 제어된 대상으로 부터 피드백값을 받아 설정값과의 오차 계산
• 오차값, 오차값의 적분, 오차값의 미분에 비례하기 때문에 비례-적분-미분 제어기라는 이름
  • 비례항 P : 오차값의 크기에 비례한 제어작용
  • 적분항 I : 일정한 상태로 유지되는 오차를 없애는 작용
  • 미분항 D : 출력값의 급격한 변화에 제동을 걸어 목표값을 지나가 버리는 오버슛을 줄여 안정성 향상

구현

• PID control을 할 수 있는 간단한 환경을 구현
• A2C를 이용한 튜너 구현 및 학습

사전 실험

• PID 제어 도중 P, I, D 값을 업데이트 한다면?

  

  제어 중 업데이트으로 실시간으로 최적 P, I, D 값을 찾아 튜닝이 가능함을 먼저 확인했다.

  환경의 난이도를 낮추기 위해 P, I, D 세 값이 아닌 P 값만 튜닝하는 것을 목적으로 하였다.