Visual Stuido C++でハフ変換+LiDARで壁検知(?)

windows10 , Visual Studio2019,C++で画像処理のハフ変換をやります。ついでにLiDARというセンサで取得した画像データから壁を検知してみます。

目的

C++開発環境
visual studio でC++をやる
openCVのインストール
hough変換とは
コード
LiDAR
参考

visual studio でC++をやる

Visual Studio のインストール -Microsoft

インストーラにしたがってインストールします。何ができる環境を作るかを選べるようですが、私は残りの記憶容量が少ないのでコンソールアプリだけにします。後で追加でインストールすることが出来ます。

起動してコンソールアプリを選択します。デフォルトでhello worldが出力できるようになっているみたいですね。

ビルド/ソリューションのビルド(Shift+Ctrl+B)して、デバック/デバッグなしで開始　をクリックすると、コンソール上で実行されます。あるいは上の△を押しても実行できます。

今回はUnityでゲームを作ったりするわけではないので、これでOKです。では、ハフ変換をしていきたいと思います。

C++ コンソールアプリプロジェクトのビルドと実行 -Microsoft

OpenCVのインストール

opencv/opencv　から最新版をdownload。ファイルを7zipか何かで展開し、openCV41とか名前を変更しつつCドライブなど適当なところに配置します。C:\Users\user\Documents\opencv41にしました。

プロジェクト/(プロジェクト名)のプロパティから構成マネージャーを起動します。(上のバーでもいけますし、使いやすいようにいろんなとこにあるらしい)。

VC++からインクルードディレクトリを編集します。

ソリューション構成 → Release（Debug も可）
ソリューションプラットフォーム → x64
構成プロパティ/デバッグ：環境 → PATH=% C:\Users\user\Documents\opencv41 %\build\x64\vc15\bin;%PATH%
構成プロパティ/VC++ ディレクトリ：インクルードディレクトリ → C:\Users\user\Documents\opencv41\build\include
構成プロパティ/VC++ ディレクトリ：ライブラリディレクトリ → % C:\Users\user\Documents\opencv41%\build\x64\vc15\lib
構成プロパティ/リンカー/入力：追加の依存ファイル → opencv_world410.lib

参考サイト( OpenCV 4.1.0Visual Studio 2019から使用する時の手順 -qiita )のとおり、下記のコードをビルド・実行します。

zeros()の第一、第二引き数にサイズを与えます。申し訳ありませんが画像を作ったあとに値を変えたので、500、600は正しくありません。おそらく単位はピクセルだと思います。

#include <opencv2/opencv.hpp>

using namespace cv;
int main()
{
	Mat image = Mat::zeros(500, 600, CV_8UC3);
	imshow("", image);
	waitKey(0);
}

このような画像が出てくればopencvインストールが成功しています。

hough変換とは

ハフ変換とは、画像処理の１つで、計算処理を通して並んだ点から直線や円を認識する事です。この記事では直線を検知することを目的として使用しています。

画像は、1つ１つの画素に色の情報を与えた2次元配列で表されます。座標軸上のある点、すなわち画素を通る直線は、xy直交座標では(x,y)で表されますが、ここではθとρを用いて $$ \rho = xcos\theta + ysin\theta $$

で表すことも出来ます。ここで、ρは座標原点から直線へ降ろした垂線の長さ、θは垂線とx軸の角度を示します。

あるx_0とy_0に関して、ρとθを変更していくと、その点を通る様々な線(図2)を描くことができます。

このときρ-θ平面上に曲線を描くことが出来ます。（図3）

このことは、画素空間(xy平面上)の点が ρ-θ 平面上の曲線射影されたことを意味します。 様々な点(x,y)に関してそれぞれ ρ-θ 軸上に軌跡をプロットし、多数の軌跡が重なった点があると、その点(ρ,θ)は多くの画素が通る直線であるということになります。(図4)。

以上のように、数学的な処理をすることで直線を検知することができます。これがハフ変換です。この方法は、画ぞが連続していなくても直線を検出でき、雑音に強いもので、発見以来、改良・拡張がなされています。

ハフ変換は白黒画像でなくてはいけませんので、白黒画像にするためのエッジ検出関数もセットで使用します。

cv::Canny(const Mat& image, Mat& edges, double threshold1, double threshold2, int apertureSize=3, bool L2gradient=false);

threshold1 と threshold2 の内，小さい方の値がエッジの接続に利用され，大きい方の値が明確なエッジの初期セグメントを検出するのに利用されます。 threshold1 は threshold2 の２倍から３倍の間が推奨されています。この二つは順番を並び替えても等価になります。

apertureSize は Sobel() オペレータのアパーチャサイズ(カーネルサイズ)を指定します。これはフィルタを選択しているみたいです。デフォルトの3を指定します。 L2gradient は画像勾配の強度を求める計算方法を指定します。Falseがデフォルトです。この二つは特に理由が無ければ変更しない大丈夫です。

thresholdの値はいろいろ実験して決めました。

参考本:　コンピュータ画像処理田村秀行 ohm社

OpenV C++版のハフ変換の関数はこの関数です。

cv::HoughLinesP(
			edge,           // 8ビット，シングルチャンネル2値入力画像．この画像は関数により書き換えられる可能性がある.
			lines,          //出力先、ベクトル
			1,              //距離分解能、ピクセル
			CV_PI / 180.0,  //角度分解能、ラジアン
			80,             //しきい値。この値を超えている直線が出力される
			30,             //最小の線分長さ。たぶんピクセル
			10              //2点が同一線分上にあると見なす場合に許容される最大距離。たぶんピクセル。
		);

edge: 8ビット，シングルチャンネル2値入力画像です。
lines: 出力先、ベクトル
1: 距離分解能、ピクセル
CV_PI / 180.0: 角度分解能、ラジアン
80: しきい値。この値を超えている直線が出力される
30: 最小の線分長さ。たぶんピクセル
10: 2点が同一線分上にあると見なす場合に許容される最大距離。たぶんピクセル。

コード

山登りしたときの山小屋の写真を使用します。コードは丸パクです。ありがとうございます。( OpenCV 2値画像から線分を検出 -Maverick Project より)


#include <iostream>
#include <opencv2/highgui.hpp>
#include <opencv2/imgproc.hpp>

int main(int argc, char **argv){
	int hr = -1;
	try {
        //変数の指定
		cv::Mat src, edge, dst;　//OpenCVの2次元行列型Mat
		std::vector<cv::Vec4i> lines; //?たぶんベクトル

        //画像の読み込み
		img = cv::imread("images\\P1030554.JPG", cv::IMREAD_GRAYSCALE);//imread関数によって画像をsrcに格納。カラーで読み込むならIMREAD_UNCHANGEDを、グレースケールで読み込むならIMREAD_GRAYSCALE
		cv::namedWindow("img", 1);//
		imshow("img", img);//imgの表示。グレースケールになった後の画像を確認
       
        //輪郭抽出
		cv::Canny(img, edge, 50, 200, 3);//2値化する関数
		
        //画像領域確保
        dst = cv::Mat::zeros(img.rows, img.cols, CV_8UC3);
        
        //img[0]->dst[2],img[0] -> dst[1], img[0] -> dst[0].コピー元とコピー先を指定
		int fromTo[] = { 0,2,0,1,0,0 };
        
        //チャンネル数?を増やしてコピー
        cv::mixChannels(&img, 1, &dst, 1, fromTo, 3);
        
        //線分検出
		cv::HoughLinesP(
			edge,           // 8ビット，シングルチャンネル2値入力画像．この画像は関数により書き換えられる可能性がある.
			lines,          //出力先、ベクトル
			1,              //距離分解能、ピクセル
			CV_PI / 180.0,  //角度分解能、ラジアン
			80,             //しきい値。この値を超えている直線が出力される
			30,             //最小の線分長さ。たぶんピクセル
			10              //2点が同一線分上にあると見なす場合に許容される最大距離。たぶんピクセル。
		);
        
        //線分描画
		for (auto line : lines) {
			cv::line(dst, cv::Point(line[0], line[1]), cv::Point(line[2], line[3]), cv::Scalar(0, 0, 255), 1);//線の色と太さを指定(B,G,R,太さ)
		}

		cv::namedWindow("dst", 1);
		cv::imshow("dst", dst);
		cv::waitKey(0);
		hr = 0;
	}
	catch (cv::Exception ex) {
		std::cout << ex.err << std::endl;
	}
    //ウインドウの破棄
	cv::destroyAllWindows();
	
    return hr;
}

LiDAR

LiDAR(ライダー)とは、距離センサがぐるぐる回るヤツです。レーザー光を掃射し、物体に跳ね返ってくるでの時間を計測するものです。距離情報と時間(あるいは角度？)情報が流れてきます。

というわけで、とあるLiDAR画像を取ってきました。

ライダーの画像でやってみた。

cv::HoughLinesP(
			edge,
			lines,
			1,
			CV_PI / 180.0,
			20,
			15,
			3
		);

		for (auto line : lines) {
			cv::line(dst, cv::Point(line[0], line[1]), cv::Point(line[2], line[3]), cv::Scalar(0, 255, 0), 3);
		}

これ、実空間ではこんな感じなので、壁が感じてられますね。なんとなく。ＯＫ。

月	火	水	木	金	土	日
					1	2
3	4	5	6	7	8	9
10	11	12	13	14	15	16
17	18	19	20	21	22	23
24	25	26	27	28	29	30

目的

visual studio でC++をやる

OpenCVのインストール

hough変換とは

コード

LiDAR

参考

コメントを残す コメントをキャンセル

コメントを残すコメントをキャンセル