Running Isaac Lab in the Cloud

 

개요

우연찮게 동아리 내에서 평소 관심있던 랩실 교수님께서 인턴을 모집한다는 공고를 보았다. 이에 나는 지원하였고 'Isaac Sim 을 활용한 모바일 자율 주행 로봇' 을 간단하게 만들어보고 다시 연락을 주면 좋겠다는 답신을 받았다.
그러나 Isaac Sim 은 굉장히 높은 사양의 GPU, RAM 을 필요로 했고 그러한 컴퓨터를 제공하는 실습 공간을 찾기가 힘들었다.
이에 공식 문서를 살피어 Cloud 에서 Isaac sim 을 배포하고(클라우드에서 연산 처리) 온라인으로 화면을 streaming 해주는 기술이 있다는 것을 알았다.

처음에는 IssacLab Automator 가 제공해주는 서비스 범위에 대해 혼동이 있었는데, 아예 클라우드 인스턴스를 한대 빌려서 원격 클라이언트에서 Isaac Sim 을 조작할 수 있는 인터페이스를 제공해주는 것이라고 이해하면 될 것같다.

조금 반응성은 떨어지지만 내 상황에서는 최선이었기에 이를 활용하여 간접적으로 개발하는 방식을 택하기로 하였다.

Issac automator란?

Issac Automator to create an aws instance with Isaac Lab

Isaac Lab는 Isaac Automator를 사용하여 다양한 클라우드 인프라에서 실행할 수 있다. Isaac Automator는 Isaac Sim과 Isaac Lab을 공공 클라우드(AWS, GCP, Azure, Alibaba Cloud)에 신속하게 배포할 수 있게 해주는 도구이다.

그 결과는 Fully configured remote desktop cloud workstation(완전히 구성된 원격 데스크탑 클라우드 작업 공간)으로, 몇 분 안에 Isaac Lab을 개발하고 테스트할 수 있게 해주며, 예산에 맞는 비용으로 사용할 수 있다. Isaac Automator는 다양한 GPU 인스턴스와 클라우드 비용 절감을 위한 정지-시작 기능을 지원하며, 데이터 업로드 및 다운로드, 자동 실행, 배포 관리 등과 같은 다양한 워크플로우 도구를 제공한다.

Isaac Automator 설치

Isaac Automator를 사용하려면 먼저 리포지토리를 클론해야 한다.

git clone https://github.com/isaac-sim/IsaacAutomator.git

Isaac Automator는 시스템에 Docker가 미리 설치되어 있어야 한다. Docker 설치 방법은 운영 체제에 맞는 Docker 웹사이트의 지침을 따라야하고 또한 Docker를 sudo 없이 실행할 수 있도록 하는 후속 설치 단계를 따라야 한다.

Isaac Automator를 활용하기 위해서는 NGC API 키를 획득해야 한다. NVIDIA Developer Program에 가입하여 Isaac Sim 컨테이너에 접근하고, NVIDIA GPU Cloud(NGC)에서 잠금된 컨테이너 이미지를 사용하기 위한 NGC API 키를 생성한다.

다음은 API 키를 생성한 후, 터미널에서 NGC에 로그인해야 한다. 아래는 NVIDIA GPU Cloud (NGC)의 Docker 레지스트리에 로그인하는 명령어이다.

docker login nvcr.io  

로그인 시 사용자 이름은 $oauthtoken으로 입력하고, 비밀번호는 생성한 NGC API 키를 입력한다.

Issac Sim 배포를 위한 AWS 환경 구축

가장 먼저 Getting AWS IAM USER Access Credentials 을 위해

1. IAM USER 탭에서 Access 키, Secret 키를 확인한다.
2. 해당 IAM User 에 대해 Enabling Access Permissions. *AmazonEC2FullAccess 를 부여한다.*

이는 나를 대신하여 Isaac Sim 을 ec2 인스턴스에 배포해줄 권한을 설정하기 위함이다.

Isaac Automator 실행

Isaac Automator를 실행하려면 먼저 Isaac Automator 컨테이너를 빌드해야 한다.

Linux/MacOS

./build

 

위 명령어를 실행하면 테라폼(terafrom) 에 명시된 배포 스크립트가 자동으로 실행된다.

만약 configuration 관련하여 수정하고 싶은 사항이 있다면 .tf 파일을 확인해본다.

 

그 다음, 컨테이너에 들어가려면

# enter the automator container
./run
# inside container:
./somecommand

그 다음에는 선호하는 클라우드 플랫폼에 맞는 배포 스크립트를 실행한다.
나 같은 경우에는 AWS 로 배포하므로 다음 명령어를 사용한다.

./deploy-aws

그러면 다음과 같이 배포와 관련한 여러 질문 목록(환경 설정 및 자격 증명 입력에 대한 안내)이 터미널에 표시된다.[] 안에 있는 것을 위주로 답변하면 된다.

 

[결과]

[Isaac Automator v3.4.1]:/app$ ./deploy-aws
* Deployment Name (lower case letters, numbers and "-") [crunchy-grid]: isaac-sim
* AWS Region [US East 1]: us-east-1
* Deploy Isaac Sim? [Y/n]: Y
* Isaac Sim Instance Type (https://docs.aws.amazon.com/dlami/latest/devguide/gpu.html, G5, G4dn and G6 instances are supported) [g5.2xlarge]: g5.2xlarge
* Isaac Sim docker image [nvcr.io/nvidia/isaac-sim:4.2.0]: nvcr.io/nvidia/isaac-sim:4.2.0
* [DEPRECATED] Install Omni Isaac Gym Envs? Valid values: 'no', or <git ref in github.com/NVIDIA-Omniverse/OmniIsaacGymEnvs> [no]: no
* Install Isaac Sim Lab? Valid values: 'no', or <git ref in github.com/isaac-sim/IsaacLab> [v1.3.0]: v1.3.0
* NGC API Key (can be obtained at https://ngc.nvidia.com/setup/api-key) []: ~
* AWS Access Key ID []: ~
* AWS Secret Access Key []: ~
* Deploymemnt exists, what would you like to do? See --help for details. (repair, modify, replace, run_ansible) [replace]: replace
* Deleting existing deployment...
* Initializing terraform modules...
* Destroying AWS resources used by "isaac-sim"...

⚠️ 트러블 슈팅 ‼️

그러나 나는 처음에 vCPU 제한이 걸려 있다는 Error가 떠서 AWS 측에 조정을 요청하고 허가 답장을 받았다.

 

그러나, vCPU 제한을 푼 이후에도 us-east-1 영역에는 사용가능한 인스턴스가 존재하지 않아서
결국 us-east 로 region을 바꾸어 vCPU 제한을 한번 더 풀고 시도했다.

배포 성공

us-east로 시도한 결과 드디어 성공하였고, 배포를 성공하면 해당 인스턴스에 접근할 수 있는 다양한 방법들이 안내된다.

* Uploaded 12K to "/home/ubuntu/uploads" @ Isaac Sim instance (34.197.113.153)

*******************************************
* Isaac Sim is deployed at 34.197.113.153 *
*******************************************

* To connect to Isaac Sim via SSH:

ssh -i state/isaac-sim/key.pem -o StrictHostKeyChecking=no ubuntu@34.197.113.153

* To connect to Isaac Sim via noVNC:

1. Open http://34.197.113.153:6080/vnc.html?host=34.197.113.153&port=6080 in your browser.
2. Click "Connect" and use password "QBi0eWilR4"

* To connect to Isaac Sim via NoMachine:

0. Download NoMachine client at https://downloads.nomachine.com/, install and launch it.
1. Click "Add" button.
2. Enter Host: "34.197.113.153".
3. In "Configuration" > "Use key-based authentication with a key you provide",
   select file "state/isaac-sim/key.pem".
4. Click "Connect" button.
5. Enter "ubuntu" as a username when prompted.

 

배포가 성공하면, 클라우드 인스턴스에 연결하는 방법에 대한 지침이 제공된다. SSH, noVCN 또는 NoMachine을 통해 연결할 수 있다. 

나는 위의 제시된 방법 중 하나인 noMachine 을 이용하면여 클라우드 인스턴스에서 실행중인 Isaac sim 에 원격으로 접근하였다.

\

클라우드 인스턴스에 연결하면 데스크탑에 isaaclab.sh 아이콘이 표시된다. 이 아이콘을 클릭하여 실행하면 새로운 터미널이 열리고, 그 안에서 로컬에서 실행하는 것처럼 Isaac Lab 명령어를 실행할 수 있다.

./isaaclab.sh -p source/standalone/workflows/rl_games/train.py --task=Isaac-Cartpole-v0

 

비용을 절감하려면 사용하지 않는 배포를 삭제할 수 있다. 이는 Automator 컨테이너 내에서 할 수 있으며, 컨테이너에 들어가려면 ./run 명령어를 사용한다.

./destroy <배포 이름>