استراتژی تصمیم گیری در بزرگراه برای خودروی خودران با استفاده از روش یادگیری تقویتی عمیق(DRL)

نوع مقاله : مقاله پژوهشی

نویسندگان

دانشکده مهندسی مکانیک، دانشگاه صنعتی خواجه نصیرالدین طوسی، تهران، ایران

چکیده

رانندگی خودکار یک فناوری جدید برای کاهش تصادفات رانندگی و بهبود راندمان رانندگی می‌باشد. در این پژوهش، یک سیاست تصمیم‌گیری مبتنی بر یادگیری تقویتی عمیق (DRL ) برای خودروهای خودران جهت سناریو سبقت گیری در بزرگراه ارائه شده است. در حقیقت ابتدا یک محیط ترافیکی بزرگراهی ایجاد می‌شود که هدف در آن عبور عامل از وسایل نقلیه اطراف با یک مانور کارآمد و ایمن می‌باشد. یک چارچوب کنترل سلسله مراتبی برای کنترل این وسایل نقلیه ارائه شده است که دستورات سطح بالا تصمیمات رانندگی را مدیریت می‌کند و دستورات سطح پایین به نظارت بر سرعت و شتاب وسیله نقلیه می‌پردازد. سپس، روش خاص مبتنی بر یادگیری تقویتی عمیق (DRL) به نام الگوریتم گرادیان سیاست قطعی عمیق(DDPG2) برای استخراج استراتژی تصمیم‌گیری در بزرگراه استفاده می‌شود. سپس عملکرد الگوریتم گرادیان سیاست قطعی عمیق (DDPG) با الگوریتم شبکه عمیق Q DQN)3) مورد مقایسه قرار گرفته است و نتایج استخراج شده از دو الگوریتم مورد ارزیابی و بررسی قرار خواهد گرفت. نتایج شبیه ‌سازی نشان می‌دهد که سیاست سبقت‌گیری مبتنی بر الگوریتم گرادیان سیاست قطعی عمیق (DDPG) می‌تواند وظایف رانندگی در بزرگراه را به طور موثر و ایمن انجام دهد.

کلیدواژه‌ها

موضوعات


عنوان مقاله [English]

Decision-making strategy for autonomous vehicles on highway using deep reinforcement learning (DRL) method

نویسندگان [English]

  • Ali Rizehvandi
  • Shahram Azadi
Faculty of Mechanical Engineering, K.N.Toosi University of Technology, Tehran, Iran
چکیده [English]

A self-driving car, known as an autonomous car (AC),, is a car that is capable of traveling without human input. Self-driving cars are responsible for perceiving the environment, monitoring important systems, and control, including navigation.

Also, automated driving is a new technology to reduce traffic accidents and improve driving efficiency. In this study, a deep reinforcement learning (DRL)-based decision-making policy for self-driving cars for Highway overtaking scenario is presented. In fact, first, a highway traffic environment is created where the target is to pass the agent through the surrounding vehicles with an efficient and safe maneuver. Then,, a hierarchical control framework is provided for the control of these vehicles, with high-level orders managing driving decisions and low-level orders monitoring the speed and acceleration of the vehicle. Then, a specific method based on deep reinforcement learning (DRL) called the deep deterministic policy gradient algorithm(DDPG) is used and evaluated to extract the decision-making strategy on the highway. The performance of the deep deterministic policy gradient (DDPG) algorithm has then been compared to the deep Q network algorithm (DQN) and results will be evaluated and examined. The simulation results show that the deep deterministic policy gradient (DDPG) method performs highway driving tasks efficiently and safely.

کلیدواژه‌ها [English]

  • autonomous vehicles
  • decision making
  • deep reinforcement learning
  • overtaking
  • DDPG algorithm