이 페이지는 기계 번역되었습니다.
번역 품질에 대한 1분 설문 조사에 참여해 주세요.
AI를 사용한 디젤 배출 감소
NOx 배출을 거의 0 수준으로 대폭 감소시킨 심층 강화 학습
화석 연료 연소의 부산물인 질소산화물은 가장 엄격하게 규제되는 오염 물질 중 하나이며 인체 건강에 가장 해로운 물질 중 하나입니다. 총칭하여 "NOx"라고 불리는 이 화학 물질들은 더욱 엄격해진 대기질 규제에도 불구하고 여전히 일부 도시의 스카이라인을 뒤덮고 있는 갈색 스모그를 구성합니다.
산업용 디젤 엔진에서는 2014년부터 적용된 EPA Tier 4 Final 규정에 따른 NOx 규제 수준에 대응하기 위해 주로 56kW 이상의 출력 범위에서 SCR(선택적 촉매 환원) 촉매가 사용되어 왔습니다. 규제는 계속해서 더욱 엄격해질 것이고, NOx 수준은 더욱 감소해야 할 것이며, 따라서 이전보다 훨씬 더 복잡하고 고급스러운 시스템이 구축될 것이며, 개발 시간도 그 어느 때보다 더 많이 소요될 것입니다. 그러므로 효율성을 더욱 향상시켜야 할 필요가 있습니다. 농업 장비, 에너지 시스템 및 산업용 엔진을 생산하는 회사인 Yanmar America에서 엔지니어들은 기술을 개선하기 위해 심층 강화 학습을 개척적으로 활용하고 있습니다.
"56kW 이상 엔진에 대한 새로운 기준을 충족하고 거의 제로에 가까운 NOx 배출을 달성하려면 추가로 90%를 감축해야 합니다." Yanmar America의 연구개발 엔지니어인 Martin Muinos는 말합니다.
California Air Resources Board는 오프로드 디젤 엔진에서 발생하는 오염물질을 제한하기 위한 기준을 설정합니다. 향후 10년에 걸쳐 단계적으로 시행될 예정인 새로운 Tier 5 기준은 제조업체들이 NOx 배출을 일부 출력 범주에서 90%까지 줄이도록 요구합니다.
SCR 기술을 탑재한 Yanmar의 4TN107FTT 엔진. (이미지 출처: Yanmar America)
몇 년 전, Yanmar America의 엔지니어들은 새로운 엔진에서 이러한 요구사항을 충족하는 방법을 워크숍을 통해 모색했습니다. 엔진에는 이미 SCR이 장착되어 있어 암모니아와 NOx 사이의 화학 반응을 통해 NOx 배출을 최소화합니다. 암모니아는 DEF(디젤배기유체) 분사기를 통해 SCR 촉매 상류의 배기가스에 주입됩니다. DEF는 요소수 용액으로, 뜨거운 배기가스 속에서 암모니아로 분해됩니다. 촉매의 도움을 받아 암모니아는 NOx를 대기의 자연 구성 성분인 질소 가스로 분해합니다.
하지만 이러한 세척 과정을 거치더라도 일부 NOx, 그리고 그 자체로 해로운 오염물질인 암모니아가 공기 중으로 누출될 수 있습니다. 이러한 안타까운 단점을 암모니아 슬립이라고 합니다. "SCR에 가능한 한 많은 암모니아를 저장하여 NOx 변환력을 개선하는 것이 좋습니다." Muinos가 말합니다. "암모니아 저장에는 온도 변화가 크기 때문에 어려움이 있습니다." 예를 들어, 배기가스 온도가 급격히 상승하면 암모니아 슬립이 발생할 수 있습니다.
SCR을 사용한 NOx 배출을 최소화하는 과정을 나타내는 다이어그램. (이미지 출처: Yanmar America)
SCR의 크기 또한 또 다른 제한 요인입니다. "SCR 성능은 크기에 크게 좌우되는데, 이는 암모니아 주입을 위한 공간이 무한하지 않다는 것을 의미합니다." Yanmar America의 테스팅 엔지니어인 Shota Nomura의 말입니다.
테스트벤치에서 시뮬레이션까지
일반적으로 SCR 개발에는 적절한 NOx를 확보하기 위한 장기간의 보정 과정이 포함되는데, 이 SCR 보정 프로젝트의 경우 총 240시간 이상의 작업이 소요될 수 있습니다. Muinos는 "SCR 제어를 나타내는 보정 지도가 20개 이상 있는데, 이 지도들을 보정하려면 데이터가 필요합니다."라고 설명합니다. "이 데이터를 수집하려면 엔진 테스트벤치를 몇 주 동안 가동하고, 맵을 보정하고, 성능을 검증해야 합니다."
"Simulink는 제어 시스템 개발을 위한 샌드박스와 같습니다."
Nomura는 "시스템을 자율적으로 보정할 수 있는 방법은 없다"고 말합니다. "SCR은 서로 영향을 미치는 여러 맵을 조정하기 때문에 성능은 이러한 조정의 영향을 받습니다." 시험 결과를 바탕으로 최적의 균형을 고려하면서 조정하기 위해서는 상당한 양의 수동 조정 작업이 필요했습니다.
물리 테스트에 소요되는 시간과 비용을 줄이기 위해 Yanmar 팀은 Simulink®을 사용한 Model-in-the-Loop 방식으로 전환했으며 SCR을 모델링하기 위해 별도의 촉매 시뮬레이션 소프트웨어를 사용합니다. "만약 Simulink 없었다면, 우리는 제어 시스템 변경안을 제안하고, ECU(엔진 제어 장치) 공급업체에 제출하여 제어 논리를 개발하고, 제어기용 소프트웨어를 개발하고, 실제 테스트벤치에서 테스트해야 했을 것입니다."라고 Muinos는 말합니다. "하지만 Simulink는 제어 시스템 개발을 위한 샌드박스와 같습니다."
샌드박스 환경을 사용해 본 결과, 팀은 현재의 SCR 관리 방식으로는 NOx 배출을 거의 0으로 대폭 줄이는 것을 목표로 하는 새로운 Tier 5 표준을 충족하기에 부족하다는 것을 빠르게 깨달았습니다.
Reinforcement Learning Toolbox에서 사용할 수 있는 강화 학습 훈련 모니터의 스크린샷입니다. 이 그래프는 Yanmar가 이 프로젝트에 사용한 DRL 모델 학습 과정의 진행 상황을 보여줍니다. (이미지 출처: Yanmar America)
Nomura는 AI, 특히 심층 강화 학습이 도움이 될 수 있을지 궁금해했습니다. “하지만 저는 기계공학 엔지니어입니다.” Nomura는 말했습니다. "인공지능에 대한 저의 지식은 깊지 않습니다."
팀에서 이미 MATLAB®을 사용하고 있었기 때문에Nomura는 Simulink 외에도 MathWorks의 온라인 자료를 살펴보고 MathWorks Consulting Services를 활용해 심층 강화 학습이 SCR에 대한 최적의 DEF 투여율을 결정하는 데 도움이 될 수 있는지 확인했습니다.
강화 학습은 환경으로부터 정보를 입력받아 시행착오를 통해 학습함으로써 원하는 결과를 도출하는 AI의 한 유형입니다. 강화 학습 에이전트는 원하는 결과를 도출했을 때 "보상"을 받습니다.
Muinos는 "강화 학습을 사용하는 이유는 AI를 활용하여 배출 시험 주기에 가장 적합한 투입량 프로파일이나 암모니아 저장량 프로파일을 찾기 위해서입니다."라고 말합니다. "그러면 결과를 분석하고 해당 프로파일을 목표로 하는 통제 방안을 개발할 것입니다."
Nomura는 "이전에는 최대 성능을 파악할 방법이 전혀 없었습니다."라고 말합니다.
MathWorks 컨설턴트들은 Reinforcement Learning Toolbox™ 및 Deep Learning Toolbox™를 사용해 Nomura가 Yanmar 프로젝트에 적합한 다양한 강화 학습 알고리즘을 선택할 수 있도록 지원했습니다.
"Yanmar 팀과 협력하여 그들이 제안한 접근 방식의 장단점을 분석한 결과, DQN(심층 Q-신경망) 알고리즘이 그들이 우수한 강화 학습 에이전트를 개발하는 데 도움이 될 것이라는 점을 이해하게 되었습니다." MathWorks의 수석 기술 컨설턴트인 Mohammad Muquit는 말합니다.
NOx의 양을 나타내는 Simulink 스코프 스크린샷으로, Yanmar 시스템 기본값(노란색 선)으로 시뮬레이션했을 때의 배출과 이 프로젝트에서 개발한 DRL 모델(파란색 선)로 시뮬레이션했을 때의 배출을 비교한 그래프입니다. (이미지 출처: Yanmar America)
경험에서 배우기
Yanmar 팀은 DQN 알고리즘을 활용하여 SCR 성능에 최적의 암모니아 투입 프로파일을 찾도록 DRL(심층 강화 학습) 에이전트를 "학습"시키기 시작했습니다.
모델 출력 결과를 통해 팀은 에이전트가 제안한 보정 값이 기존 엔진의 보정 값과 어떻게 일치하는지 확인할 수 있었습니다. Reinforcement Learning Toolbox의 시각화 기능은 모델 결과를 이해하는 데 도움이 되었습니다.
"인공지능에 대한 경험이 전혀 없었기 때문에 강화 학습 프로젝트를 완료할 수 있을 거라고는 예상하지 못했습니다… 하지만 MathWorks Consulting Services의 도움으로 필요한 파라미터를 설정하고 강화 학습이 어떻게 작동하는지 배울 수 있었습니다."
"저희는 강화 학습 에이전트의 결과와 보정 결과를 비교하고 그 차이가 발생하는 이유를 파악하려고 노력하고 있습니다." Muinos는 말합니다. "강화 학습 에이전트가 더 나은 배출 감소 결과를 내는 이유를 제대로 이해하게 되면, 어떤 제어 조치를 시행해야 할지 알 수 있습니다." 이는 보정 작업을 위한 더 나은 출발점을 제공합니다."
약 30분 정도 소요되는 시뮬레이션 실행 결과, 해당 물질은 최적의 투여량 프로파일을 제공했으며, 그 결과 NOx 배출이 60% 감소했다고 Nomura는 밝혔습니다.
담당자는 보정 시간을 절반으로 줄여 프로젝트 총 소요 시간을 30% 단축했습니다. "단 6개월밖에 걸리지 않았습니다. 이렇게 짧은 개발 기간은 예상하지 못했습니다." Nomura는 말합니다. "이건 제 기대를 훨씬 뛰어넘었어요."
시간 절약과 물리적 테스트 감소로 인해 일반적인 수동 보정 프로세스에 비해 41%의 비용 절감 효과를 얻었습니다.
"인공지능 경험이 전혀 없어서 강화 학습 프로젝트를 완료할 수 있을 거라고는 예상하지 못했습니다." Nomura는 말했습니다. "하지만 MathWorks Consulting Services 덕분에 필요한 파라미터를 설정하고 강화 학습이 어떻게 작동하는지 배울 수 있었습니다."
현재 AI 보정 SCR 툴은 Yanmar 엔지니어들에게 엔진의 SCR 개발 시 보정을 위한 더 나은 출발점을 제공합니다. 다음 단계는 신속 제어 프로토타이핑입니다. Yanmar 팀은 최근 모델링 결과를 검증하기 위한 하드웨어를 확보했습니다. 팀은 이 과정을 더욱 자동화할 계획입니다. 현재 DRL 에이전트는 최적값을 찾지만, 사람이 직접 해당 값을 ECU에 반영해야 합니다. 향후 프로젝트에서 Yanmar 엔지니어들은 AI를 사용해 ECU의 초기 보정값을 자동으로 생성함으로써 수동 조정을 생략할 수 있기를 기대하고 있습니다.
MATLAB 및 Simulink는 이 프로젝트에 매우 중요한 역할을 했으며, 팀은 향후 개발에도 이러한 툴박스와 기타 관련 툴박스를 계속 사용할 계획입니다. "MATLAB이나 Simulink가 없었다면 여기까지 오지 못했을 겁니다." Muinos는 말합니다. "이들은 제가 제어 개발에 사용해 본 최고의 툴 중 손에 꼽힙니다."
