2018年4月29日 星期日

TensorFlow 學習筆記(一) - Windows 上安裝 TensorFlow

本文將說明如何在 Windows 上安裝 TensorFlow ,以及在安裝之前需要注意的事項。

確定 TensorFlow 版本

請按照個人配備及需求,在以下版本中選擇一種來安裝:
  • 只支援 CPU 的 TensorFlow。如果你的系統不支援 NVIDIA® GPU ,你必須安裝這個版本。这个版本的 TensorFlow 通常安裝起來比較簡單,所以對於初入門的使用者,即使你擁有 NVIDIA GPU,我們也推薦首先使用這個版本。
  • 支援 GPU 的 TensorFlow。 TensorFlow 在 GPU 上通常比在 CPU 上的執行得更快。所以如果你有符合以下要求的 NVIDIA® GPU 並且注重效能,可以隨後安裝這個版本。
GPU support TensorFlow 的 NVIDIA 需求
需要事先安裝以下套件:
  • CUDA® Toolkit 8.0。詳見 NVIDIA's documentation。確保按照文檔中描述的將 Cuda 相關路徑加入到 %PATH% 環境變數中。
  • CUDA Toolkit 8.0 相關的 NVIDIA 驅動程式。
  • cuDNN v5.1。詳見 NVIDIA's documentation。注意:cuDNN 通常與其他 CUDA DLLs 安裝的位置不同。確保將 cuDNN 庫的安裝目錄加入到 %PATH% 中。
  • CUDA Compute Capability 3.0 或更高的 GPU 晶片。支援的 GPU 晶片詳見 NVIDIA documentation 。
如上述軟體版本較舊,請將其升級到指定版本。

確定如何安裝 TensorFlow

Windows下安裝TensorFlow有如下選擇:
  • "native" pip
  • Anaconda
使用原生 pip 直接在系統中安裝 TensorFlow,而不使用虛擬環境。 因為原生 pip 將直接安裝於Windows系統中,所以可能會干擾其他基於Python的安裝。不過,如果你理解 pip 和 Python 環境,原生 pip 安裝通常只需要一個指令! 如果使用原生 pip 安裝,則可在任何目錄中執行 TensorFlow 程式。
在 Anaconda 中,你可以通過 conda 建立一個虛擬環境,在開發測試上較為安全。因此即使官網推薦使用 pip install 安裝 TensorFlow,而非conda install但小編之後仍將以 Anaconda 的方式進行測試。原生 pip 安裝方式僅提供參考。
注意:使用 conda install 指令安裝而非官方支持。也就是说 TensorFlow 團隊沒有測試也沒有管理過 conda 安裝。 使用 conda 需要自行承擔風險。

原生 pip 安裝

如果還沒安裝以下版本的 Python ,請先安裝:
TensorFlow 在 Windows 上支援 Python 3.5.x 和  3.6.x 。 注意 Python 3 使用 pip3,我们用 pip3 來安裝 TensorFlow。
在 terminal 中輸入如下指令安裝 CPU版本 的 TensorFlow:
C:\> pip3 install --upgrade tensorflow
安裝支援 GPU 版本的 TensorFlow,使用以下指令:
C:\> pip3 install --upgrade tensorflow-gpu

Anaconda 安裝

Anaconda 安裝是社區支持,而非官方支持
按照以下步驟在 Anaconda 環境中安裝 TensorFlow:
  1. 按說明下載並安裝 Anaconda: Anaconda download site
  2. 建立一個 conda 環境,命名為 tensorflow,以便運行某個 Python 版本:
    C:\> conda create -n tensorflow 
  3. 啟用 anaconda 環境:
    C:\> activate tensorflow
    (tensorflow)C:\>  # 你的提示符號應該發生變化 
  4. 在你的 conda 環境中安裝 CPU 版本的 TensorFlow:
    (tensorflow)C:\> pip install --ignore-installed --upgrade tensorflow 
    安裝支援 GPU 版本的 TensorFlow:
    (tensorflow)C:\> pip install --ignore-installed --upgrade tensorflow-gpu 

驗證安裝結果

啟動 terminal。
如果通過 Anaconda 安裝,啟用 Anaconda 環境。
啟動 Python:
$ python
在 Python 互動式環境中輸入以下程式
>>> import tensorflow as tf
>>> hello = tf.constant('Hello, TensorFlow!')
>>> sess = tf.Session()
>>> print(sess.run(hello))
如果系统輸出如下,則安裝成功:
Hello, TensorFlow!
如果你是新接觸 TensorFlow,可以前往 Getting Started with TensorFlow 進行下一步的學習。
如果你是新接觸機器學習,則可以參考以下連結
如果系统輸出錯誤訊息而非歡迎訊息,查看Common installation problems


參考資料



<備註>

順便在這邊記錄下 Anaconda 及 Spyder 的一些操作指令。

1. Anaconda Update

開啟 Anaconda Prompt

C:> conda update --all
Or
C:> conda update conda
C:> conda update anaconda
C:> conda update spyder

2. Spyder 安裝 TensorFlow

安裝完成 Anaconda 之後,可再安裝運行 spyder 編譯器。 Spyder 下安裝 package 的方式如下。

1. 開啟 Anaconda Navigator,並選擇安裝 Spyder 編譯器。
2. 在 Spyder 編譯器環境中的 terminal 中,只需在指令開頭加入' ! ',即可使用 pip install 安裝套件。
In [1]: !pip install --ignore-installed --upgrade https://storage.googleapis.com/tensorflow/windows/cpu/tensorflow-1.7.0-cp36-cp36m-win_amd64.whl


 


2018年3月13日 星期二

MoveIt 入門教學 - 加入Trac_IK運動學求解(Trac-IK Kinematics Solver)

MoveIt入門教學 - 加入Trac_IK運動學求解(Trac-IK Kinematics Solver)


说明
  • 由於在使用MoveIt中最常見的KDL作為Kinematics Solver的過程中,在進行基本操作時擁有不錯的使用體驗。
  • 但隨著任務需求的增加,在加入環境障礙物以及attach object等操作之後,會遇到執行運算時間過長的問題。甚至可能會因此而失敗(timeout)。
  • 因此嘗試使用不同的Kinematics Solver來解決此一問題,目前測試使用Trac_IK,普遍上會擁有較佳的結果,甚至在某些條件下,運算速度可能會相差十倍以上,並且也比較不會出現失敗的狀況。
甚麼是Trac_IK
  • 来自ROS維基百科上的說明:Trac_IK係作為目前最常見的運動學編譯器(KDL)的改良版本,提供一更快速,且更穩定的運動學編譯器。在處理關節極限(joint-limited)的數值解上會具有較佳的結果,不會再增加額外的計算時間。
  • 並且Trac_IK具有與KDL編譯器相近的API calls,僅需調整部分輸入參數即可切換使用。詳細計算內容請參閱ROS Wiki - Trac_IK中的說明。
MoveIt! Trac_IK
  • MoveIt! Trac_IK是一種Open-Source的函式庫,提供一改善的解運動學的工具。
  • 本文旨在說明如何在機器人的MoveIt系統中使用Trac_IK的强大功能
  • 本文中MoveIt! Trac_IK的測試環境是ROS Kinetic,使用catkin编译。理論上可以工作再任何自由度的機械臂上。
準備
  • 应该已经通过MoveIt!配置助手生成MoveIt!配置包
MoveIt! IKFast 安装

兩種安裝方式:二進制debs包或源安裝
Binary Install:
sudo apt-get install ros-kinetic-trac-ik-kinematics-plugin

    源安装:(在catkin工作空間)
    1. 至官網source中下載原始程式碼
    2. 將package "trac_ik_kinematics_plugin"及"trac_ik_lib"放入catkin的工作空間中
    3. 於機器人的配置文件中"/config/"找到"kinematics.yaml"文件,並將文件內的
kinematics_solver: kdl_kinematics_plugin/KDLKinematicsPlugin 置換為 
=> kinematics_solver: trac_ik_kinematics_plugin/TRAC_IKKinematicsPlugin
4. 調整參數
  1. kinematics_solver_timeout (timeout in seconds, e.g., 0.005) and position_only_ik ARE supported.
  2. solve_type can be Speed, Distance, Manipulation1, Manipulation2 (see trac_ik_lib documentation for details). Default is Speed.
  3. kinematics_solver_attempts parameter is unneeded: unlike KDL, TRAC-IK solver already restarts when it gets stuck
  4. kinematics_solver_search_resolution is not applicable here.



備註: 在完成Trac_IK的安裝之後,即可直接開啟使用。並且在之後的MoveIt_Setup_Assistant中,也會直接出現Trac_IK的選項可以直接選取。




參考資料:
ROS Wiki - Trac_IK
trac_ik - source
MoveIt!入门教程-生成IKFast插件

2017年8月22日 星期二

YOLO (You Only Look Once) - 安裝與測試

YOLO (You Only Look Once)

Install YOLO

1. Download Darknet

$ git clone https://github.com/pjreddie/darknet.git
$ cd darknet

2. Modify System Setting

$ vim Makefile
GPU=1
OPENCV=1

3. Make & Test

$ make
$ ./darknet imtest data/eagle.jpg
如果安裝成功應該可以看到如下的圖片

Detect Using a Pre-Trained Model

1. Download pre-trained model

下載YOLO模形預先訓練好的權重。
$ wget https://pjreddie.com/media/files/yolo.weights

2. Run YOLO with pre-trained model

執行darknet測試YOLO模形。

$ ./darknet detect cfg/yolo.cfg yolo.weights data/dog.jpg
其中detect為簡略的寫法,等同於以下寫法:
$ ./darknet detector test cfg/coco.data cfg/yolo.cfg yolo.weights data/dog.jpg
yolo.cfg:定義yolo的模形。
yolo.weights:模形中訓練完成的權重
coco.data:分類完之後代表的labels

3. 執行結果如下

layer     filters    size    input                output
    0 conv     32  3 x 3 / 1   608 x 608 x   3   ->   608 x 608 x  32
    1 max          2 x 2 / 2   608 x 608 x  32   ->   304 x 304 x  32
    2 conv     64  3 x 3 / 1   304 x 304 x  32   ->   304 x 304 x  64    
......
   27 reorg              / 2    38 x  38 x  64   ->    19 x  19 x 256
   28 route  27 24
   29 conv   1024  3 x 3 / 1    19 x  19 x1280   ->    19 x  19 x1024
   30 conv    425  1 x 1 / 1    19 x  19 x1024   ->    19 x  19 x 425
   31 detection
mask_scale: Using default '1.000000'
Loading weights from yolo.weights...Done!
data/dog.jpg: Predicted in 0.737670 seconds.
dog: 82%
truck: 65%
bicycle: 85%


Real-Time Detection on a Webcam

將原本的test設定改為demo,YOLO便會改為以camera作為影像輸入。
$ ./darknet detector demo cfg/coco.data cfg/yolo.cfg yolo.weights

Tiny YOLO

雖然目前YOLO能夠取得不錯的辨識結果,但是對於TX2平台的運算能力,仍然是一件相當沉重的負擔。
因此也可以考慮改為使用Tiny YOLO,雖然辨識度會略為降低,但卻能大大提升運算速度。

1. Download tiny YOLO weights

下載Tiny YOLO模形預先訓練好的權重。

$ wget https://pjreddie.com/media/files/tiny-yolo-voc.weights

2. 執行Tiny YOLO測試

$ ./darknet detector test cfg/voc.data cfg/tiny-yolo-voc.cfg tiny-yolo-voc.weights data/dog.jpg
其中,除了需要改為使用tiny-yolo-voc.weight權重外。
由於Tiny YOLO改以VOC dataset作訓練(該dataset中僅有20種圖像data),需要改為使用voc.data。並且需要將原本YOLO模形改為tiny-yolo-voc.cfg模形。

3. Tiny YOLO執行結果

layer     filters    size              input                output
    0 conv     16  3 x 3 / 1   416 x 416 x   3   ->   416 x 416 x  16
    1 max          2 x 2 / 2   416 x 416 x  16   ->   208 x 208 x  16
    2 conv     32  3 x 3 / 1   208 x 208 x  16   ->   208 x 208 x  32
    ......
   13 conv   1024  3 x 3 / 1    13 x  13 x1024   ->    13 x  13 x1024
   14 conv    125  1 x 1 / 1    13 x  13 x1024   ->    13 x  13 x 125
   15 detection
mask_scale: Using default '1.000000'
Loading weights from tiny-yolo-voc.weights...Done!
data/dog.jpg: Predicted in 0.196784 seconds.
car: 34%
car: 55%
dog: 78%
bicycle: 29%



參考資料:
1. YOLO(darknet)Installation
2. YOLO官網 - demo

Jetson TX2 + ROS + Kinect2配置



Setup Kinect 2 for Unbuntu

Kinect在Ubuntu系統下開發,首先必須要先確認使用的設備是Kinect V1還是V2,這兩個的驅動是不能通用的。
本文針對的是Kinect V2的情況。

首先,針對Kinect V2在Linux下操作,必須要先安裝 libfreenect2 功能包,操作如下
(以下預設為Ubuntu14.04或以上之版本,本文使用ubuntu 16.0 LTS版本)

libfreenect2 

  • 下载 libfreenect2 源码
git clone https://github.com/OpenKinect/libfreenect2.git
cd libfreenect2
  • 下载upgrade deb 文件
cd depends; ./download_debs_trusty.sh
  • 安装编译工具
sudo apt-get install build-essential cmake pkg-config
  • 1
  • 1
  • 安装 libusb. 版本需求 >= 1.0.20.
sudo dpkg -i debs/libusb*deb
  • 1
  • 1
  • 安装 TurboJPEG (可选)
sudo apt-get install libturbojpeg libjpeg-turbo8-dev
  • 1
  • 1
  • 安装 OpenGL (可选)
sudo dpkg -i debs/libglfw3*deb
sudo apt-get install -f
sudo apt-get install libgl1-mesa-dri-lts-vivid
  • 安装 OpenNI2 (可选)
sudo apt-add-repository ppa:deb-rob/ros-trusty && sudo apt-get update
sudo apt-get install libopenni2-dev


  • Build
cd ..
mkdir build && cd build
cmake .. -DCMAKE_INSTALL_PREFIX=$HOME/freenect2 -DENABLE_CXX11=ON
make
make install

針對上面cmake命令的說明,第一個參數,是特別指定的安裝位置,你也可以自行指定別的喜歡的地方,但一般的標準路徑為上述路徑或者/usr/local。第二個參數是增加C++11的支援。
  • 設定udev rules: 
sudo cp ../platform/linux/udev/90-kinect2.rules /etc/udev/rules.d/
然后重新插拔Kinect2。
  • 一切搞定, 现在可以尝试运行Demo程序: 
./bin/Protonect

不出意外的話,應該就能看到RGB影像及深度影像畫面。
(Example的畫面應該將rgb <-> bgr影像通道設定錯了,所以可以看到畫面中紅色與藍色相反)

iai-kinect2

要在ROS環境中要使用Kinect V2,需要再安裝 iai-kinect2 功能包。

iai-kinect2 功能包可以從Github上面下载程式到工作空間內的src文件夹内:
cd ~/catkin_ws/src/git clone https://github.com/code-iai/iai_kinect2.git
cd iai_kinect2
rosdep install -r --from-paths .
cd ~/catkin_ws
catkin_make -DCMAKE_BUILD_TYPE="Release"

編譯完成之後,要再將路徑加入對應的source目錄中,執行以下
source ~/catkin_ws/devel/setup.bash

或是寫入~/.bashrc對應的檔案中即可。

並使用以下指令進行測試:
$ roslaunch kinect2_bridge kinect2_bridge.launch
$ rosrun kinect2_viewer kinect2_viewer



ps. 若是Kinect2裝置不穩定時,可以擴充USB的緩衝空間試試看 sudo sh -c 'echo 256 > /sys/module/usbcore/parameters/usbfs_memory_mb'


參考資料
ROS下Kinect2的驱动安装及简单应用
KinectV2+Ubuntu 14.04+Ros 安装教程

2017年7月25日 星期二

NVIDIA TX1/TX2 學習筆記 - JetPack3.0 刷機

簡介
NVIDIA® Jetson™ TX2 是一台超高性能、低功耗的超級電腦模組,為機器人、無人機到企業協作終端裝置和智慧攝影機等裝置提供極快速與精準的人工智慧推論機制。

與功能強大的前身 Jetson TX1 相比,Jetson TX2 具備兩倍的運算效能卻只有一半的功耗。接近信用卡尺寸、約 7.5 瓦功耗的模組中,Jetson TX2 可為智慧城市、智慧工廠、機器人以及製造原型等裝置應用提供了絕佳的性能和準確性。

為了讓開發者快速上手,Jetson TX2 預先搭載了 JetPack 3.0 - 人工智慧運算和複雜多緒處理嵌入式應用開發最全面的 SDK。開發者可以在雲端、資料中心或是個人電腦上使用最新的 NVIDIA DIGITS™ 5.0 介面訓練深度學習模型,然後運用 JetPack 最新版本搭載的高性能推理引擎 TensorRT™ 1.0 將訓練完成的模型部署到 Jetson TX2。



TX2內部結構如下:



Jetson TX1/TX2 JetPack3.0刷機過程

於TX2上進行刷機的過程與TX1上大致相同,可參考以下連結操作。
Jetson TX1开发笔记(一):开机设置与刷机

在這邊我使用的是NVIDIA TX2,並搭配第三方(Connect Tech)的Carrier Board (Orbitty),如下圖。

TX2出廠時,已經自帶了Ubuntu 16.04,可以直接啟動。但一般我們還是會重新刷機,目的是更新到最新的JetPack L4T,並自動安裝最新的驅動、CUDA Toolkit、cuDNN、TensorRT。

刷機前須注意以下幾點:

1. Host也需要安裝Ubuntu,且至少預留 15 GB 硬碟空間。
2. 不要用 root 執行JetPack-${VERSION}.run,我使用的是JetPack-L4T-3.1-linux-x64.run
3. TX2需要進入Recovery Mode,進入方式參考說明書步驟
4. 刷機時間大概需要 1~2 小時,會格式化eMMC,並安裝部分必要元件

另外在刷機的過程中,有再遇到幾個問題,花了些在尋找答案...


1. 虛擬機器USB Port問題

由於Host端需要在Linux環境下才能進行刷機,若是使用虛擬機器 (VirtualBox)的話,
則需要注意連接到TX2 Micro USB的USB Port,必須要與TX2一致為USB 2.0。



2. TX2刷機失敗 (Boot Rom communication failed)

一開始照著上述的TX1刷機的方式執行,
這次在TX2上卻會顯示Boot ROM Communication Failed的錯誤訊息。

最後在網上搜尋了一番之後,並沒有找到在VirtualBox上的解決方法。
卻看到有人使用VMware成功了,就決定來試試看。不然就只能放棄虛擬機器,去搞台Linux電腦來刷機了。

還好最後VMware刷機成功了!
使用虛擬機器的好處就是,可以透過簡單的匯出匯入功能,將原本的系統直接轉為OVA格式就可以互通。

附上中間測試時找到的,手動執行刷機命令的連結,有興趣的人可以看一下。
Jetson TX2 not recognized installation inside docker error 8 Error


3. Connect Tech - Orbitty Carrier Package

但在刷機完成並開機進入系統之後才發現,USB2.0 / USB3.0 port竟然都不會動!!
並且整個USB Port也沒有供電,推測可能與hardware pin腳設定有關。

後來到Carrier Board的官網上查詢,發現這是Carrier Board設定的問題。
按照TX2原本的刷機過程,應該只有支援NVIDIA提供的開發版;若是使用第三方的開發版,則需要再去確認是否相容。

因此在參考廠商提供的操作步驟下,安裝support package,並選擇該開發版的設定檔手動進行刷機即可。
Orbitty Carrier Board Support Package Installation

刷機步驟為:
1. 先按照JetPack步驟安裝,但不要執行最後刷機的動作
2. 下載Orbitty Carrier Board Support Package,並解壓縮安裝
   $ <install_dir>/64_TX1/Linux_for_Tegra_tx1/
   $ cd <install_dir>/64_TX1/Linux_for_Tegra_tx1/
   $ tar -xzf CTI-L4T-V0XX.tgz
   $ sudo ./install.sh
   $ cd ..

3. 單獨執行刷機指令,刷機成功後即可成功進入TX2系統
   $ ./flash.sh orbitty mmcblk0p1

4. 執行JetPack package安裝,並將Target端Linux系統取消勾選,避免重複刷機。


4. TX2 Example Test (OceanFFT)

刷機成功之後當然要來測試一下是否成功啦!
參考其他大神們說明,這邊使用範例OceanFFT來進行測試。

直接在TX2中進入到範例程式下執行:
$ cd ~/NVIDIA_CUDA-8.0_Samples/5_Simulations/oceanFFT/ 
$ ./oceanFFT


若是看到漂亮的海浪模擬畫面,則代表Cuda安裝成功。



5. TX2 Example Cross Compiling Test (OceanFFT)

Cuda安裝成功之後,接著就要來測試開發工具了。

如果我們在主機中安裝了JetPack工具包之後,JetPack會自動將開發環境Nsight Eclipse Edition安裝在我們的主機(host)中。

一般來說,針對嵌入式平台的開發有兩種編譯模式:原生編譯和交叉編譯。
原生編譯就是直接在嵌入式平台上編譯程式並運行,而交叉編譯就是在個人電腦等主機端平台上編譯程式,然後再載入到嵌入式平台上運行。

在此,我們參考以下博主的方法,使用交叉編譯的方式來開發Jetson TX2。
Jetson TX1开发笔记(三):开发利器-Nsight Eclipse Edition


6. OceanFFT Cross Compiling Error

透過以上的方式,在TX1上能夠順利地執行。但在TX2上編譯時卻會顯示以下的錯誤訊息。
"error: reference to glClientActiveTexture is ambiguous"


在網路上爬文了一下之後找到,原來是要修改Cuda的Library程式 (helper_gl.h中,第105行)。
JetPack - Compiling oceanFFT on TX2

in     /usr/local/cuda-8.0/samples/common/inc/helper_gl.h
line105: --- #if !defined(GLX_EXTENSION_NAME) || defined(__arm__) || defined(__aarch64__)
line105: +++ #if !defined(GLX_EXTENSION_NAME) || !defined(GL_VERSION_1_3)



並且要注意的是,由於是使用交叉編譯(Cross Compiling)。
在Device端 (Jetson TX2)上的helper_gl.h也需要進行修改,不然一樣會遇到錯誤。

修改完成之後,終於算是在NVIDIA TX2開發上跨出第一步了!


參考資料:
ROS学习1_nvidia Jetson TX2 配置与安装 ROS
車輛辨識範例 /tegra_multimedia_api/sample/backend
Jetson TX1開發筆記(四):使用Caffe對攝影機視頻流中的目標進行辨識
Jetson TX2深度學習Inference初體驗
github - letson-inference 行人偵測
Jetson TX2 初体验


ps.補充一下:
目前在使用此Orbitty Carrier Board上,有遇到以下幾項狀況。
如果有要使用這片載板的話,可以參考一下。但畢竟體積小很多,整體來說還算好用。

1. 僅具備一組USB Port,在測試時可能會遇到一些麻煩。但若使用USB hub,又可能會遇到供電或傳輸不穩定的狀況。

2. 接收WIFI訊號能力較弱,有時候無法偵測到環境中的WIFI訊號或無法連線。




apt-get update異常處理

1. 問題描述 系統環境:Ubuntu 18.04.3 LTS 執行apt-get update更新時遇到如下狀況 錯誤訊息: Err:1 http://security.ubuntu.com/ubuntu bionic-security InRe...