1-1-4. Projects You Will Build

1. Introduction to Deep Reinforcement Learning – LESSON 1 Welcome to Deep Reinforcement Learning

I’m interested in how learning,

thinking, understanding, reasoning happens.

Machine learning is a place where people are

trying to figure out how to get it to happen in computers,

which was kind of inherently interesting to me.

So, in the case of something like a self-driving car,

what you need is

complex environments where there are lots of realistic physical interactions,

and that’s why we need richer training environments.

Games are becoming more and more realistic,

so Unity as a game engine is kind of perfectly

positioned to provide what people in the research field need.

There’s a lot that machine learning can offer to games themselves,

if you start to think about personalizing an experience.

Again, this is something that machine learning could make possible.

Now, kind of with all of these more-and-more complex algorithms,

we’re starting to think about ways in which these algorithms can

then be applied back to the games themselves.

So, the two problems that game developers face when they’re trying to design

a game is that the game either becomes

too easy and players get bored with it and stop playing,

or that in later levels,

or even from the beginning perhaps,

the game is too difficult and players simply quit because of that.

Praneet is an intern that we had work with

us in the Machine Learning team over the summer.

What he’s been working on is taking the platform that we’re developing,

and trying to use it in more specific ways that can

actually help provide more interesting games for players.

So, when I started my internship here,

Arthur and me discussed what game we could actually work on,

and we both came to the conclusion that TANKS,

which is a unity environment,

would be suitable for our task to test out the algorithms.

What if we have a superhuman AI agent,

and actually allow him to adaptively

change his level of skill based on the way that you play?

It’s a much more personalized experience for them,

that you keep on matching their difficulty at every point of time,

so you can get a more personalized experience.

I feel that’s really cool.

Unlike perhaps older fields from a few decades ago,

the machine learning community is very open in terms of sharing ideas, sharing code,

sharing work, so we think it’s a natural fit to continue

this trend of releasing tools that are open,

that anyone can use and inviting open collaboration.

That’s why we’re so excited to be releasing an initial preview of this product.

학습 방법에 관심이 있고,

생각, 이해, 추론이 일어납니다.

머신 러닝은 사람이 있는 곳입니다.

컴퓨터에서 발생하게 하는 방법을 알아내려고 하고,

그것은 나에게 본질적으로 흥미로운 종류였습니다.

그래서 자율주행차 같은 경우에는

당신이 필요로하는 것은

현실적인 물리적 상호 작용이 많은 복잡한 환경,

그렇기 때문에 더 풍부한 교육 환경이 필요합니다.

게임이 점점 현실화되고

게임 엔진으로서의 Unity는 완벽하게

연구 분야의 사람들이 필요로 하는 것을 제공할 수 있는 위치에 있습니다.

머신 러닝이 게임 자체에 제공할 수 있는 것은 많습니다.

경험을 개인화하는 것에 대해 생각하기 시작한다면.

다시 말하지만, 이것은 기계 학습이 가능하게 할 수 있는 것입니다.

이제 이러한 점점 더 복잡한 알고리즘으로

우리는 이러한 알고리즘이

그런 다음 게임 자체에 다시 적용됩니다.

따라서 게임 개발자가 디자인할 때 직면하는 두 가지 문제는

게임은 게임이

너무 쉽고 플레이어는 지루해하고 게임을 중단합니다.

또는 이후 수준에서

또는 처음부터 아마도,

게임이 너무 어려워서 플레이어는 단순히 게임을 종료합니다.

Praneet은 우리가 함께 일했던 인턴입니다.

여름 동안 Machine Learning 팀에서 우리와 함께 합니다.

그가 작업한 것은 우리가 개발 중인 플랫폼을 사용하는 것입니다.

할 수 있는 보다 구체적인 방법으로 사용하려고

실제로 플레이어에게 더 흥미로운 게임을 제공하는 데 도움이 됩니다.

그래서 제가 이곳에서 인턴십을 시작했을 때,

Arthur와 나는 우리가 실제로 작업할 수 있는 게임에 대해 논의했고,

그리고 우리 둘 다 탱크라는 결론에 도달했습니다.

통합 환경인

알고리즘을 테스트하는 작업에 적합합니다.

초인적인 AI 에이전트가 있다면 어떨까요?

그리고 실제로 그가 적응할 수 있도록

플레이 방식에 따라 스킬 레벨을 변경하시겠습니까?

훨씬 더 맞춤화된 경험을 제공합니다.

매 순간 그들의 어려움을 계속 맞추는 것,

그래서 당신은 더 개인화 된 경험을 얻을 수 있습니다.

정말 멋진 것 같아요.

아마도 수십 년 전의 오래된 분야와 달리,

기계 학습 커뮤니티는 아이디어 공유, 코드 공유,

작업을 공유하므로 계속하는 것이 자연스럽습니다.

이러한 개방형 도구를 출시하는 추세,

누구나 사용할 수 있도록 공개 협업을 유도합니다.

그렇기 때문에 이 제품의 초기 프리뷰를 공개하게 되어 매우 기쁩니다.

구축할 프로젝트
이 프로그램의 가장 중요한 부분은 학습에 대한 실습 접근 방식입니다. Unity의 엔지니어들과 긴밀하게 협력하여 프로젝트가 흥미진진하고 최첨단 기술의 숙달을 입증할 수 있도록 했습니다. 모든 프로젝트는 Unity 머신 러닝 에이전트(ML-Agents) 툴킷을 사용하며, 아래 비디오를 보고 자세히 알아볼 수 있습니다.

Unity ML 에이전트
Unity ML-Agents는 풍부하고 현실적인 환경에서 지능형 에이전트를 교육하기 위한 툴킷입니다.

Unity ML-Agents SoccerTwos 환경
Unity ML-Agents SoccerTwos 환경

다음을 가능하게 하는 유연하고 직관적인 프레임워크입니다.

시각적 콘텐츠와 사실적인 물리학에서 복잡한 행동을 연구하는 학계 및 산업계 연구원
로봇, 자율주행 차량 및 기타 산업 애플리케이션을 위한 대규모 병렬 교육 체제를 구현하는 산업 및 기업 연구원
에이전트를 사용하여 게임 난이도를 동적으로 조정하는 등의 과제를 해결하는 게임 개발자
당신의 프로젝트
Deep Reinforcement Learning Nanodegree 프로그램의 학생으로서 세 가지 프로젝트를 완료하게 됩니다. 이는 복잡한 작업을 수행하도록 인공 지능 에이전트를 훈련할 수 있는 여정의 주요 이정표입니다. 모든 환경은 Unity ML-Agents 툴킷에서 파생됩니다.

프로젝트 1에서는 파란색 바나나를 피하면서 노란색 바나나를 수집하도록 에이전트를 훈련합니다.
프로젝트 1에서는 파란색 바나나를 피하면서 노란색 바나나를 수집하도록 에이전트를 훈련합니다.

프로젝트 2에서는 목표 위치에 도달하도록 로봇 팔을 훈련합니다.
프로젝트 2에서는 목표 위치에 도달하도록 로봇 팔을 훈련합니다.

프로젝트 3에서는 한 쌍의 에이전트가 테니스를 칠 수 있도록 훈련합니다.
프로젝트 3에서는 한 쌍의 에이전트가 테니스를 칠 수 있도록 훈련합니다.

%d 블로거가 이것을 좋아합니다: