Jetson TX2上DeepStream安裝與範例執行 (deepstream-plugins)

DeepStream SDK是為大規模創建和部屬基於AI的視智慧視訊分析（IVA）方案而設計的，它提供完整的框架和所有基本構建模組。它可以讓開發者專注於自己的核心深度學習網路和應用，而不是從頭開始設計端到端解決方案。

應用程式開發人員可以使用此SDK快速構建原型，並構建從智慧相機到智慧城市應用裝置，機器人和工業自動化等產品。

NVIDIA DeepStream SDK官網介紹


Jetson上的DeepStream SDK使用Jetpack，包括L4T，多媒體API，CUDA和TensorRT。 SDK提供了豐富的外掛和庫集合，使用Gstreamer框架構建，使開發人員能夠構建靈活的應用程式，將視訊轉化為有價值的見解。DeepStream還附帶了示例應用程式，包括原始碼和應用程​​序適配指南，以幫助開發人員快速開始構建。

本篇執行的平台為 Jetson TX2，搭配軟體版本為：
1. Jetpack 3.3
2. CUDA 9.0
3. TensorRT 4.0

包含 DeepStream 安裝和範例 (deepstream-plugins) 執行測試兩個部分。主要紀錄在執行過程中遇到的問題，以及解決方式。

1. Jetson TX2上DeepStream安裝過程

首先，安裝步驟在以下這篇文章有完整的說明 ，按照其步驟執行即可。
Jetson TX2上运行Deepstream范例

錯誤 1.

在執行安裝的最後一步驟，測試安裝結果時：
$ nvgstiva-app -c ${HOME}/configs/PGIE-FP16-CarType-CarMake-CarColor.txt

出現以下錯誤訊息：

error_message: Segmentation fault (core dumped)

解決方式：

參考此篇NVIDIA論壇的回覆，執行以下指令將快取暫存內容清除即可。

$ rm ~/Model/*/*.cache

$ rm ~/.cache/gstreamer-1.0/ -rf

錯誤 2.

解決了Segmentation fault之後，接著很快就遇到另一個錯誤訊息。

error_message: Error from src_elem: Your GStreamer installation is missing a plug-in.

Missing decoder: H.264 (High Profile)

此錯誤主要是因為我的系統中缺少H.264的decoder (gstreamer)，GStreamer的安裝指令如下。

$ sudo apt-get install gstreamer1.0-libav

安裝完成後應該就能夠順利執行DeepStream指令了!

2. deepstream-plugins範例執行 (github)

(2.1) 按照 github 上 Readme 說明，先安裝 Pre-requisites，及Setup步驟。

Installing Pre-requisites:

Install GStreamer pre-requisites using:
$ sudo apt-get install libgstreamer-plugins-base1.0-dev libgstreamer1.0-dev

Install Google flags using:
$ sudo apt-get install libgflags-dev

Setup

1. 修改Makefile.config，按照個人電腦配置設定，參考如下：
#Update the install directory paths for dependencies below CXX=g++ 
CUDA_VER:=9.0
#Set to TEGRA for jetson or TESLA for dGPU's
PLATFORM:=TEGRA
#For Tesla Plugins 
OPENCV_INSTALL_DIR:= /path/to/opencv-3.4.x
TENSORRT_INSTALL_DIR:= /path/to/TensorRT-5.x
DEEPSTREAM_INSTALL_DIR:= /path/to/DeepStream_Release_3.0
#For Tegra Plugins
NVGSTIVA_APP_INSTALL_DIR:= /home/nvidia/nvgstiva-app_sources

2. 下載YOLOv3模型 (For yolo v3)
$ wget https://raw.githubusercontent.com/pjreddie/darknet/master/cfg/yolov3.cfg
$ wget https://pjreddie.com/media/files/yolov3.weights

3. 修改 "data/yolo/calibration_images.txt" 輸入圖片路徑

4. 執行安裝 (For tegra)
$cd sources/plugins/gst-yoloplugin-tegra
make && sudo make install


(2.2) 執行 nvgstiva-app [TEGRA platform only]

1. 按照 github 說明修改配置文件 config/nvgstiva-app_yolo_config.txt

2. 執行指令
$ nvgstiva-app -c config/nvgstiva-app_yolo_config.txt

錯誤 1.

輸入執行指令後，遇到以下錯誤訊息
** WARN: : Using software video decoder instead of hardware accelerated OMX decoder. Unsupported format. Try re-encoding.
** ERROR: : Failed to link decodebin to pipeline 
** INFO: : Pipeline running 

解決方式：
參考此篇論壇回復，需要再另外安裝以下套件：
$ apt-get install libgstreamer1.0-0 gstreamer1.0-plugins-base gstreamer1.0-plugins-good gstreamer1.0-plugins-bad gstreamer1.0-plugins-ugly gstreamer1.0-libav gstreamer1.0-doc gstreamer1.0-tools

(2.3) 測試trt-yolo-app

Object Detection using trt-yolo-app

$ cd sources/apps/trt-yolo
$ make && sudo make install
$ cd ../../../
$ trt-yolo-app --flagfile=config/yolov3.txt



錯誤 1.

trt-yolo-app編譯錯誤，錯誤訊息如下。

trt_utils.h:83:22: error: ‘nvinfer1::DimsHW YoloTinyMaxpoolPaddingFormula::compute(nvinfer1::DimsHW, nvinfer1::DimsHW, nvinfer1::DimsHW, nvinfer1::DimsHW, nvinfer1::DimsHW, const char*) const’ marked ‘override’, but does not override 
nvinfer1::DimsHW compute(nvinfer1::DimsHW inputDims, nvinfer1::DimsHW kernelSize,  

解決方式：

參考此篇論壇回復，deepstream-plugins改為使用DS2 Release版本即可。(下載連結)

錯誤 2. 選擇不同的YOLO模型

無法透過選擇不同的yolo.txt，去切換yolo模型 (yolov3.txt -> yolov3-tiny.txt)

解決方式：

(1) 需要修改文件 “./sources/lib/network_config.h”，並重新編譯才行。

(2) 並且需要將模型檔案放置於“./data/”中。

Jetson TX2安裝OpenCV3.4

TX2 install OpenCV3.4

在將TX2上原本的OpenCV升級至v3.4.0的過程中遇到了一些阻礙，將問題紀錄下來。

1. 安裝教學

此篇安裝教學寫得非常詳細，安裝的步驟大致與其相同
How to Install OpenCV (3.4.0) on Jetson TX2

在OpenCV安裝(更新)完成之後，能夠順利地import cv2執行。
但再重新開機之後卻會出現如下錯誤。




Error message
"ImportError: /usr/local/lib/python3.5/dist-packages/cv2.cpython-35m-aarch64-linux-gnu.so: undefined symbol: _ZTIN2cv3dnn19experimental_dnn_v35LayerE"

2. 解決方式

這個問題主要的原因是因為，需要更新環境變數 (/etc/bash.bashrc)。

以下這篇文章說明了一些可能問題的解決方法，其中也包括更新環境變數的方法。
Jetson TX2--python3下编译安装opencv3.4

1. 開啟文件 (/etc/bash.bashrc)

sudo vim /etc/bash.bashrc

2. 在文件底部加入以下內容，並儲存

PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig
export PKG_CONFIG_PATH

#添加完成後應該會如下圖


之後就可以順利使用OpenCV囉~

YOLO (You Only Look Once) - 安裝與測試

YOLO (You Only Look Once)

Install YOLO

1. Download Darknet

$ git clone https://github.com/pjreddie/darknet.git
$ cd darknet

2. Modify System Setting

$ vim Makefile
GPU=1
OPENCV=1

3. Make & Test

$ make
$ ./darknet imtest data/eagle.jpg

如果安裝成功應該可以看到如下的圖片

Detect Using a Pre-Trained Model

1. Download pre-trained model

下載YOLO模形預先訓練好的權重。

$ wget https://pjreddie.com/media/files/yolo.weights

2. Run YOLO with pre-trained model

執行darknet測試YOLO模形。

$ ./darknet detect cfg/yolo.cfg yolo.weights data/dog.jpg

其中detect為簡略的寫法，等同於以下寫法：

$ ./darknet detector test cfg/coco.data cfg/yolo.cfg yolo.weights data/dog.jpg

yolo.cfg：定義yolo的模形。
yolo.weights：模形中訓練完成的權重
coco.data：分類完之後代表的labels

3. 執行結果如下

layer     filters    size    input                output
    0 conv     32  3 x 3 / 1   608 x 608 x   3   ->   608 x 608 x  32
    1 max          2 x 2 / 2   608 x 608 x  32   ->   304 x 304 x  32
    2 conv     64  3 x 3 / 1   304 x 304 x  32   ->   304 x 304 x  64    
......
   27 reorg              / 2    38 x  38 x  64   ->    19 x  19 x 256
   28 route  27 24
   29 conv   1024  3 x 3 / 1    19 x  19 x1280   ->    19 x  19 x1024
   30 conv    425  1 x 1 / 1    19 x  19 x1024   ->    19 x  19 x 425
   31 detection
mask_scale: Using default '1.000000'
Loading weights from yolo.weights...Done!
data/dog.jpg: Predicted in 0.737670 seconds.
dog: 82%
truck: 65%
bicycle: 85%

Real-Time Detection on a Webcam

將原本的test設定改為demo，YOLO便會改為以camera作為影像輸入。

$ ./darknet detector demo cfg/coco.data cfg/yolo.cfg yolo.weights

Tiny YOLO

雖然目前YOLO能夠取得不錯的辨識結果，但是對於TX2平台的運算能力，仍然是一件相當沉重的負擔。
因此也可以考慮改為使用Tiny YOLO，雖然辨識度會略為降低，但卻能大大提升運算速度。

1. Download tiny YOLO weights

下載Tiny YOLO模形預先訓練好的權重。

$ wget https://pjreddie.com/media/files/tiny-yolo-voc.weights

2. 執行Tiny YOLO測試

$ ./darknet detector test cfg/voc.data cfg/tiny-yolo-voc.cfg tiny-yolo-voc.weights data/dog.jpg

其中，除了需要改為使用tiny-yolo-voc.weight權重外。
由於Tiny YOLO改以VOC dataset作訓練（該dataset中僅有20種圖像data），需要改為使用voc.data。並且需要將原本YOLO模形改為tiny-yolo-voc.cfg模形。

3. Tiny YOLO執行結果

layer     filters    size              input                output
    0 conv     16  3 x 3 / 1   416 x 416 x   3   ->   416 x 416 x  16
    1 max          2 x 2 / 2   416 x 416 x  16   ->   208 x 208 x  16
    2 conv     32  3 x 3 / 1   208 x 208 x  16   ->   208 x 208 x  32
    ......
   13 conv   1024  3 x 3 / 1    13 x  13 x1024   ->    13 x  13 x1024
   14 conv    125  1 x 1 / 1    13 x  13 x1024   ->    13 x  13 x 125
   15 detection
mask_scale: Using default '1.000000'
Loading weights from tiny-yolo-voc.weights...Done!
data/dog.jpg: Predicted in 0.196784 seconds.
car: 34%
car: 55%
dog: 78%
bicycle: 29%

參考資料：

1. YOLO（darknet）Installation
2. YOLO官網 - demo

Jetson TX2 + ROS + Kinect2配置

Setup Kinect 2 for Unbuntu

Kinect在Ubuntu系統下開發，首先必須要先確認使用的設備是Kinect V1還是V2，這兩個的驅動是不能通用的。
本文針對的是Kinect V2的情況。

首先，針對Kinect V2在Linux下操作，必須要先安裝 libfreenect2 功能包，操作如下
(以下預設為Ubuntu14.04或以上之版本，本文使用ubuntu 16.0 LTS版本)

libfreenect2 

• 下载 libfreenect2 源码

git clone https://github.com/OpenKinect/libfreenect2.git
cd libfreenect2

• 下载upgrade deb 文件

cd depends; ./download_debs_trusty.sh

• 安装编译工具

sudo apt-get install build-essential cmake pkg-config

1


1

• 安装 libusb. 版本需求 >= 1.0.20.

sudo dpkg -i debs/libusb*deb

1


1

• 安装 TurboJPEG (可选)

sudo apt-get install libturbojpeg libjpeg-turbo8-dev

1


1

• 安装 OpenGL (可选)

sudo dpkg -i debs/libglfw3*deb
sudo apt-get install -f
sudo apt-get install libgl1-mesa-dri-lts-vivid

• 安装 OpenNI2 (可选)

sudo apt-add-repository ppa:deb-rob/ros-trusty && sudo apt-get update
sudo apt-get install libopenni2-dev

• Build

cd ..
mkdir build && cd build
cmake .. -DCMAKE_INSTALL_PREFIX=$HOME/freenect2 -DENABLE_CXX11=ON
make
make install

針對上面cmake命令的說明，第一個參數，是特別指定的安裝位置，你也可以自行指定別的喜歡的地方，但一般的標準路徑為上述路徑或者/usr/local。第二個參數是增加C++11的支援。

• 設定udev rules: 

sudo cp ../platform/linux/udev/90-kinect2.rules /etc/udev/rules.d/

然后重新插拔Kinect2。

• 一切搞定， 现在可以尝试运行Demo程序: 

./bin/Protonect

不出意外的話，應該就能看到RGB影像及深度影像畫面。
(Example的畫面應該將rgb <-> bgr影像通道設定錯了，所以可以看到畫面中紅色與藍色相反)

iai-kinect2

要在ROS環境中要使用Kinect V2，需要再安裝 iai-kinect2 功能包。

iai-kinect2 功能包可以從Github上面下载程式到工作空間內的src文件夹内：

cd ~/catkin_ws/src/git clone https://github.com/code-iai/iai_kinect2.git
cd iai_kinect2
rosdep install -r --from-paths .
cd ~/catkin_ws
catkin_make -DCMAKE_BUILD_TYPE="Release"

編譯完成之後，要再將路徑加入對應的source目錄中，執行以下
source ~/catkin_ws/devel/setup.bash

或是寫入~/.bashrc對應的檔案中即可。

並使用以下指令進行測試：
$ roslaunch kinect2_bridge kinect2_bridge.launch
$ rosrun kinect2_viewer kinect2_viewer



ps. 若是Kinect2裝置不穩定時，可以擴充USB的緩衝空間試試看 sudo sh -c 'echo 256 > /sys/module/usbcore/parameters/usbfs_memory_mb'


參考資料
ROS下Kinect2的驱动安装及简单应用
KinectV2+Ubuntu 14.04+Ros 安装教程

NVIDIA TX1/TX2 學習筆記 - JetPack3.0 刷機

簡介
NVIDIA® Jetson™ TX2 是一台超高性能、低功耗的超級電腦模組，為機器人、無人機到企業協作終端裝置和智慧攝影機等裝置提供極快速與精準的人工智慧推論機制。

與功能強大的前身 Jetson TX1 相比，Jetson TX2 具備兩倍的運算效能卻只有一半的功耗。接近信用卡尺寸、約 7.5 瓦功耗的模組中，Jetson TX2 可為智慧城市、智慧工廠、機器人以及製造原型等裝置應用提供了絕佳的性能和準確性。

為了讓開發者快速上手，Jetson TX2 預先搭載了 JetPack 3.0 － 人工智慧運算和複雜多緒處理嵌入式應用開發最全面的 SDK。開發者可以在雲端、資料中心或是個人電腦上使用最新的 NVIDIA DIGITS™ 5.0 介面訓練深度學習模型，然後運用 JetPack 最新版本搭載的高性能推理引擎 TensorRT™ 1.0 將訓練完成的模型部署到 Jetson TX2。

TX2內部結構如下：

Jetson TX1/TX2 JetPack3.0刷機過程

於TX2上進行刷機的過程與TX1上大致相同，可參考以下連結操作。
Jetson TX1开发笔记(一)：开机设置与刷机

在這邊我使用的是NVIDIA TX2，並搭配第三方(Connect Tech)的Carrier Board (Orbitty)，如下圖。

TX2出廠時，已經自帶了Ubuntu 16.04，可以直接啟動。但一般我們還是會重新刷機，目的是更新到最新的JetPack L4T，並自動安裝最新的驅動、CUDA Toolkit、cuDNN、TensorRT。

刷機前須注意以下幾點：

1. Host也需要安裝Ubuntu，且至少預留 15 GB 硬碟空間。
2. 不要用 root 執行JetPack-${VERSION}.run，我使用的是JetPack-L4T-3.1-linux-x64.run
3. TX2需要進入Recovery Mode，進入方式參考說明書步驟
4. 刷機時間大概需要 1~2 小時，會格式化eMMC，並安裝部分必要元件

另外在刷機的過程中，有再遇到幾個問題，花了些在尋找答案...


1. 虛擬機器USB Port問題

由於Host端需要在Linux環境下才能進行刷機，若是使用虛擬機器 (VirtualBox)的話，
則需要注意連接到TX2 Micro USB的USB Port，必須要與TX2一致為USB 2.0。

2. TX2刷機失敗 (Boot Rom communication failed)

一開始照著上述的TX1刷機的方式執行，
這次在TX2上卻會顯示Boot ROM Communication Failed的錯誤訊息。

最後在網上搜尋了一番之後，並沒有找到在VirtualBox上的解決方法。
卻看到有人使用VMware成功了，就決定來試試看。不然就只能放棄虛擬機器，去搞台Linux電腦來刷機了。

還好最後VMware刷機成功了！
使用虛擬機器的好處就是，可以透過簡單的匯出匯入功能，將原本的系統直接轉為OVA格式就可以互通。

附上中間測試時找到的，手動執行刷機命令的連結，有興趣的人可以看一下。
Jetson TX2 not recognized installation inside docker error 8 Error


3. Connect Tech - Orbitty Carrier Package

但在刷機完成並開機進入系統之後才發現，USB2.0 / USB3.0 port竟然都不會動!!
並且整個USB Port也沒有供電，推測可能與hardware pin腳設定有關。

後來到Carrier Board的官網上查詢，發現這是Carrier Board設定的問題。
按照TX2原本的刷機過程，應該只有支援NVIDIA提供的開發版；若是使用第三方的開發版，則需要再去確認是否相容。

因此在參考廠商提供的操作步驟下，安裝support package，並選擇該開發版的設定檔手動進行刷機即可。
Orbitty Carrier Board Support Package Installation

刷機步驟為：
1. 先按照JetPack步驟安裝，但不要執行最後刷機的動作
2. 下載Orbitty Carrier Board Support Package，並解壓縮安裝
   $ <install_dir>/64_TX1/Linux_for_Tegra_tx1/
   $ cd <install_dir>/64_TX1/Linux_for_Tegra_tx1/
   $ tar -xzf CTI-L4T-V0XX.tgz
   $ sudo ./install.sh
   $ cd ..

3. 單獨執行刷機指令，刷機成功後即可成功進入TX2系統
   $ ./flash.sh orbitty mmcblk0p1

4. 執行JetPack package安裝，並將Target端Linux系統取消勾選，避免重複刷機。


4. TX2 Example Test (OceanFFT)

刷機成功之後當然要來測試一下是否成功啦!
參考其他大神們說明，這邊使用範例OceanFFT來進行測試。

直接在TX2中進入到範例程式下執行：
$ cd ~/NVIDIA_CUDA-8.0_Samples/5_Simulations/oceanFFT/ 
$ ./oceanFFT


若是看到漂亮的海浪模擬畫面，則代表Cuda安裝成功。

5. TX2 Example Cross Compiling Test (OceanFFT)

Cuda安裝成功之後，接著就要來測試開發工具了。

如果我們在主機中安裝了JetPack工具包之後，JetPack會自動將開發環境Nsight Eclipse Edition安裝在我們的主機(host)中。

一般來說，針對嵌入式平台的開發有兩種編譯模式：原生編譯和交叉編譯。
原生編譯就是直接在嵌入式平台上編譯程式並運行，而交叉編譯就是在個人電腦等主機端平台上編譯程式，然後再載入到嵌入式平台上運行。

在此，我們參考以下博主的方法，使用交叉編譯的方式來開發Jetson TX2。
Jetson TX1开发笔记(三)：开发利器-Nsight Eclipse Edition


6. OceanFFT Cross Compiling Error

透過以上的方式，在TX1上能夠順利地執行。但在TX2上編譯時卻會顯示以下的錯誤訊息。
"error: reference to ‘glClientActiveTexture’ is ambiguous"


在網路上爬文了一下之後找到，原來是要修改Cuda的Library程式 (helper_gl.h中，第105行)。
JetPack - Compiling oceanFFT on TX2

in     /usr/local/cuda-8.0/samples/common/inc/helper_gl.h
line105: --- #if !defined(GLX_EXTENSION_NAME) || defined(__arm__) || defined(__aarch64__)
line105: +++ #if !defined(GLX_EXTENSION_NAME) || !defined(GL_VERSION_1_3)


並且要注意的是，由於是使用交叉編譯(Cross Compiling)。
在Device端 (Jetson TX2)上的helper_gl.h也需要進行修改，不然一樣會遇到錯誤。

修改完成之後，終於算是在NVIDIA TX2開發上跨出第一步了!


參考資料：
ROS学习1_nvidia Jetson TX2 配置与安装 ROS
車輛辨識範例 /tegra_multimedia_api/sample/backend
Jetson TX1開發筆記(四)：使用Caffe對攝影機視頻流中的目標進行辨識
Jetson TX2深度學習Inference初體驗
github - letson-inference 行人偵測
Jetson TX2 初体验


ps.補充一下：
目前在使用此Orbitty Carrier Board上，有遇到以下幾項狀況。
如果有要使用這片載板的話，可以參考一下。但畢竟體積小很多，整體來說還算好用。

1. 僅具備一組USB Port，在測試時可能會遇到一些麻煩。但若使用USB hub，又可能會遇到供電或傳輸不穩定的狀況。

2. 接收WIFI訊號能力較弱，有時候無法偵測到環境中的WIFI訊號或無法連線。