이 글은 TensorRT를 Window의 Visual Studio 환경에서 사용할 수 있도록 local 컴퓨터에 설치하는 내용이다. docker를 이용한 설치는 아래 링크 참조.

Container Release Notes :: NVIDIA Deep Learning TensorRT Documentation

Window에서 docker가 GPU를 사용하는 방법은 상당히 까다롭기 때문에, 아예 WSL을 이용해서 Window에 Ubuntu를 설치하고 그 안에서 docker를 설치해서 사용하는 방법을 추천. —물론 이 방법도 간단하지는 않기 때문에 속편한 방법은 CPU 버전 Docker를 사용하는 것이다.

설치

다음 주소에서 원하는 버전을 다운 받는다.

TensorRT를 받을 때는 CUDA 버전이 중요하므로, CUDA 버전을 확인해서 맞는 버전을 다운 받아야 한다. 자신의 컴퓨터에 설치된 CUDA 버전은 CMD나 powershell에서 nvcc —version을 입력하면 된다. (만일 nvcc 명령어가 실행되지 않는다면 CUDA가 안 깔려 있을 수 있으므로 먼저 CUDA 부터 설치)

zip 파일을 다운 받았으면, 압축을 풀고 원하는 경로에 폴더를 옮긴다. (나는 C 드라이브 Root에 TensorRT라는 폴더를 만들고 그 하위에 옮김. 폴더 이름은 버전 정보로 바꿈)

Window 환경변수 등록

이후 설정의 편의를 위해 환경변수를 만들어서 TensorRT가 있는 폴더를 등록한다. —이렇게 만들어서 세팅하면 이후 설치 버전이 바뀌어도 나머지 설정은 건드리지 않고 값만 바꾸어도 빌드가 된다.

환경변수를 생성했으면 Path에 '%TENSORRT_DIR%\lib' 를 추가한다.

Install Guide에는 환경 변수 등록 후에 python을 이용해서 whl 파일을 설치하라고 나오는데, Window에서는 해당 whl 파일이 설치되지 않는다. 이 단계는 pass.