MasterarbeitLatex/VorlageTeX/ergebnisse.tex

\chapter{Ergebnisse der Evaluierung der Roboternavigation}
\label{sec:ergebnisse}
Bevor die Ergebnisse der Roboternavigation vorgestellt werden, werden die Ergebnisse der Voruntersuchungen gezeigt. Zudem werden die Ergebnisse unterteilt in allgemeine Türdetektion, codemanufaktur-Türdetektion, Hindernisvermeidung / Gesamtnavigation mit dem MiDaS-Netz.

\section{Voruntersuchung}
In diesem Abschnitt werden die Ergebnisse der Voruntersuchung gezeigt. In diesen Voruntersuchungen wurde das Smartphone vom Roboter getrennt, in die Hand genommen und die Kamera des Smartphones an alle Türen in den Räumlichkeiten der codemanufaktur GmbH und den ausgesuchten Hindernissen ausgerichtet. Hierbei wurde dann die Türdetektion und Depth Estimation probeweise auf Praxistauglichkeit für die Navigation geprüft.

\begin{figure}[htbp]
  \centering  
  \includegraphics[scale=0.08]{img/AllgemeinDetektionScreenshots/Screenshot_CafeteriaKunstlicht1.jpg}
  \includegraphics[scale=0.08]{img/AllgemeinDetektionScreenshots/Screenshot_CafeteriaTuer.jpg}
  \includegraphics[scale=0.08]{img/AllgemeinDetektionScreenshots/Screenshot_Eingangstuer.jpg}
  \includegraphics[scale=0.08]{img/AllgemeinDetektionScreenshots/Screenshot_EingangstuerWeit.jpg}
  \includegraphics[scale=0.08]{img/AllgemeinDetektionScreenshots/Screenshot_Glastuer1.jpg}
  \includegraphics[scale=0.08]{img/AllgemeinDetektionScreenshots/Screenshot_Glastuer2.jpg}
  \includegraphics[scale=0.08]{img/AllgemeinDetektionScreenshots/Screenshot_Holztuer2.jpg}
  \includegraphics[scale=0.08]{img/AllgemeinDetektionScreenshots/Screenshot_Terrassentuer.jpg}
  \includegraphics[scale=0.08]{img/AllgemeinDetektionScreenshots/Screenshot_TuerGetarnt.jpg}
  \includegraphics[scale=0.08]{img/AllgemeinDetektionScreenshots/Screenshot_KeineDetektion.jpg}
  \includegraphics[scale=0.08]{img/AllgemeinDetektionScreenshots/Screenshot_GlastuerFehldetektion.jpg}
  
  \caption{Detektionen der allgemeinen Türdetektion}
  \label{fig:AllgemeineDetektionScreenshots}
\end{figure}



\begin{figure}[htbp]
  \centering  
  \includegraphics[scale=0.08]{img/codemanufakturDetektionScreenshots/Screenshot_CafeteriaTuer.jpg}
  \includegraphics[scale=0.08]{img/codemanufakturDetektionScreenshots/Screenshot_doppelteGlastuer.jpg}
  \includegraphics[scale=0.08]{img/codemanufakturDetektionScreenshots/Screenshot_doppelteGlastuer2.jpg}
  \includegraphics[scale=0.08]{img/codemanufakturDetektionScreenshots/Screenshot_Glastuer.jpg}
  \includegraphics[scale=0.08]{img/codemanufakturDetektionScreenshots/Screenshot_HolztuerUndTarnTuer.jpg}
  \includegraphics[scale=0.08]{img/codemanufakturDetektionScreenshots/Screenshot_KeineDetektion.jpg}
  \includegraphics[scale=0.08]{img/codemanufakturDetektionScreenshots/Screenshot_Fehldetektion1.jpg}
  \includegraphics[scale=0.08]{img/codemanufakturDetektionScreenshots/Screenshot_Fehldetektion2.jpg}
  \includegraphics[scale=0.08]{img/codemanufakturDetektionScreenshots/Screenshot_Fehldetektion3.jpg}
  \includegraphics[scale=0.08]{img/codemanufakturDetektionScreenshots/Screenshot_Fehldetektion4.jpg}
  
  \caption{Detektionen der codemanufaktur Türdetektion}
  \label{fig:codemanufakturDetektionScreenshots}
\end{figure}

\begin{figure}[htbp]
  \centering  
  \includegraphics[scale=0.08]{img/codemanufakturDetektionUnquantized/Screenshot_CafeteriaTuer.jpg}
  \includegraphics[scale=0.08]{img/codemanufakturDetektionUnquantized/Screenshot_doppelteGlastuer.jpg}
  \includegraphics[scale=0.08]{img/codemanufakturDetektionUnquantized/Screenshot_doppelteTueren.jpg}
  \includegraphics[scale=0.08]{img/codemanufakturDetektionUnquantized/Screenshot_Holztuer.jpg}
  \includegraphics[scale=0.08]{img/codemanufakturDetektionUnquantized/Screenshot_Fehldetektion1.jpg}
  \includegraphics[scale=0.08]{img/codemanufakturDetektionUnquantized/Screenshot_FehldetektionBank.jpg}
  \includegraphics[scale=0.08]{img/codemanufakturDetektionUnquantized/Screenshot_FehldetektionBank2.jpg}
  \includegraphics[scale=0.08]{img/codemanufakturDetektionUnquantized/Screenshot_FehldetektionBank3.jpg}
  \includegraphics[scale=0.08]{img/codemanufakturDetektionUnquantized/Screenshot_FehldetektionenBilderrahmen.jpg}
  \includegraphics[scale=0.08]{img/codemanufakturDetektionUnquantized/Screenshot_korrektesTrueNegative.jpg}
  
  \caption{Detektionen der codemanufaktur Türdetektion mit unquantisierten Modell}
  \label{fig:codemanufakturDetektionUnquantisiertScreenshots}
\end{figure}



\begin{figure}[htbp]
  \centering  
  \includegraphics[scale=0.08]{img/MiDaS/Screenshot_Beverage1.jpg}
  \includegraphics[scale=0.08]{img/MiDaS/Screenshot_Beverage2.jpg}
  \includegraphics[scale=0.08]{img/MiDaS/Screenshot_Stuhl1.jpg}
  \includegraphics[scale=0.08]{img/MiDaS/Screenshot_Stuhl2.jpg}
  \includegraphics[scale=0.08]{img/MiDaS/Screenshot_bigStuhl1.jpg}
  \includegraphics[scale=0.08]{img/MiDaS/Screenshot_bigStuhl2.jpg}
  \includegraphics[scale=0.08]{img/MiDaS/Screenshot_Vase1.jpg}
  \includegraphics[scale=0.08]{img/MiDaS/Screenshot_Vase2.jpg}
  \includegraphics[scale=0.08]{img/MiDaS/Screenshot_Vase3.jpg}
  \caption{Depth Estimation mit MiDaS-Modell}
  \label{fig:MiDaSScreenshots}
\end{figure}



\begin{figure}[htbp]
  \centering  
  \includegraphics[scale=0.08]{img/PyDnet/Screenshot_Beverage1.jpg}
  \includegraphics[scale=0.08]{img/PyDnet/Screenshot_Beverage2.jpg}
  \includegraphics[scale=0.08]{img/PyDnet/Screenshot_Stuhl1.jpg}
  \includegraphics[scale=0.08]{img/PyDnet/Screenshot_Stuhl2.jpg}
  \includegraphics[scale=0.08]{img/PyDnet/Screenshot_bigStuhl1.jpg}
  \includegraphics[scale=0.08]{img/PyDnet/Screenshot_bigStuhl2.jpg}
  \includegraphics[scale=0.08]{img/PyDnet/Screenshot_Vase1.jpg}
  \includegraphics[scale=0.08]{img/PyDnet/Screenshot_Vase2.jpg}
  \includegraphics[scale=0.08]{img/PyDnet/Screenshot_Vase3.jpg}
  \caption{Depth Estimation mit PyDNet-Modell}
  \label{fig:PyDnetScreenshots}
\end{figure}


\section{Ergebnisse der Roboternavigation}
In diesem Abschnitt werden nun die Ergebnisse der Evaluierung der Roboternavigation mittels Türdetektion und Depth Estimation vorgestellt. Hierbei ist die Door Detection, die Türdetektion / Zielerkennung, die Obstacle Avoidance, die Hindernisvermeidung. Zusätzlich wurden noch zwei weitere Fälle untersucht, das Erreichen der Tür (Door arrived with Obstacle Avoidance) und das Stehenbleiben vor der erreichten Tür (Door arrived and stopped with Obstacle Avoidance) innerhalb der Gesamtnavigation. 

\begin{table}[htbp]
\centering
\begin{tabularx}{\textwidth}{p{0.3\textwidth}|X|X|X}
\hline
\textbf{Setting Door Detection} & \textbf{Successes} & \textbf{Failures} & \textbf{Entfernung in Meter (m)}\\
\hline
Glastür & 7 & 3 & 6\\
\hline
Holztür & 9 & 1 & 4,5\\
\hline
Glasschiebetür & 7 & 3 & 8,5\\
\hline
\textbf{Sum} & 23 & 7 & \\
\hline
\textbf{Performance} & 76,67 \% & 23,33 \% & \\
\hline
\hline
\textbf{Setting Obstacle Avoidance} & \textbf{Successes} & \textbf{Failures} & \textbf{Entfernung in Meter (m)}\\
\hline
Getränkekisten & 9 & 1 & 4,5\\
\hline
Stuhl & 5 & 5 & 4,5\\
\hline
Bürostuhl & 10 & 0 & 4,5\\
\hline
Pflanzenvase & 10 & 0 & 4,5\\
\hline
Person & 10 & 0 & 4,5\\
\hline
\textbf{Sum} & 44 & 6 & \\
\hline
\textbf{Performance} & 88 \% & 12 \% & \\
\hline
\hline
\textbf{Door arrived with Obstacle Avoidance} & \textbf{Successes} & \textbf{Failures} & \\
\hline
Getränkekisten & 7 & 3 & \\
\hline
Stuhl & 5 & 5 & \\
\hline
Bürostuhl & 9 & 1 & \\
\hline
Pflanzenvase & 8 & 2 & \\
\hline
Person & 8 & 2 & \\
\hline
\textbf{Sum} & 37 & 13 & \\
\hline
\textbf{Performance} & 74 \% & 26 \% & \\
\hline
\hline
\textbf{Door arrived and stopped with Obstacle Avoidance} & \textbf{Successes} & \textbf{Failures} & \\
\hline
Getränkekisten & 6 & 4 & \\
\hline
Stuhl & 4 & 6 & \\
\hline
Bürostuhl & 7 & 3 & \\
\hline
Pflanzenvase & 8 & 2 & \\
\hline
Person & 8 & 2 & \\
\hline
\textbf{Sum} & 33 & 17 & \\
\hline
\textbf{Performance} & 66 \% & 34 \% & \\
\hline

\end{tabularx}
\caption{Ergebnisse der codemanufaktur Türdetektion mit quantisierten Modell und MiDaS-Modell}
\label{tab:ErgebnisseCodemanufakturDetektionMidas}
\end{table}


\begin{figure}[htbp]
  \centering
\begin{tikzpicture}
\begin{axis}[
	xbar, xmajorgrids=true, xmin=0, xmax=100, width=10cm, height=7cm, enlarge y limits=0.2, xlabel={\textbf{Performance in \%}}, symbolic y coords={Door Detection, Obstacle Avoidance, Door arrived with Obstacle Avoidance, Door arrived and stopped with Obstacle Avoidance}, y tick label style={anchor=east,text width=5cm,align=right}, ytick=data, nodes near coords, nodes near coords align={horizontal},
	]
\addplot coordinates
	{(76.67,Door Detection)(88,Obstacle Avoidance) (74,Door arrived with Obstacle Avoidance) (66,Door arrived and stopped with Obstacle Avoidance)};
\end{axis}
\end{tikzpicture}
\caption{Ergebnisse der Navigation mit codemanufaktur Türdetektion mit MiDaS-Modell}
  \label{fig:BalkendiagrammNavigationCodemanufaktur}
\end{figure}


\begin{table}[htbp]
\centering
\begin{tabularx}{\textwidth}{p{0.3\textwidth}|X|X|X}
\hline
\textbf{Setting Door Detection} & \textbf{Successes} & \textbf{Failures} & \textbf{Entfernung in Meter (m)}\\
\hline
Glastür & 5 & 5 & 6\\
\hline
Holztür & 8 & 2 & 4,5\\
\hline
Glasschiebetür & 7 & 3 & 8,5\\
\hline
\textbf{Sum} & 20 & 10 & \\
\hline
\textbf{Performance} & 66,67 \% & 33,33 \% & \\
\hline
\hline
\textbf{Setting Obstacle Avoidance} & \textbf{Successes} & \textbf{Failures} & \textbf{Entfernung in Meter (m)}\\
\hline
Getränkekisten & 7 & 3 & 4,5\\
\hline
Stuhl & 0 & 10 & 4,5\\
\hline
Bürostuhl & 8 & 2 & 4,5\\
\hline
Pflanzenvase & 9 & 1 & 4,5\\
\hline
Person & 9 & 1 & 4,5\\
\hline
\textbf{Sum} & 33 & 17 & \\
\hline
\textbf{Performance} & 66 \% & 34 \% & \\
\hline
\hline
\textbf{Door arrived with Obstacle Avoidance} & \textbf{Successes} & \textbf{Failures} & \\
\hline
Getränkekisten & 0 & 10 & \\
\hline
Stuhl & 0 & 10 & \\
\hline
Bürostuhl & 1 & 9 & \\
\hline
Pflanzenvase & 0 & 10 & \\
\hline
Person & 1 & 9 & \\
\hline
\textbf{Sum} & 2 & 48 & \\
\hline
\textbf{Performance} & 4 \% & 96 \% & \\
\hline
\hline
\textbf{Door arrived and stopped with Obstacle Avoidance} & \textbf{Successes} & \textbf{Failures} & \\
\hline
Getränkekisten & 0 & 10 & \\
\hline
Stuhl & 0 & 10 & \\
\hline
Bürostuhl & 1 & 9 & \\
\hline
Pflanzenvase & 0 & 10 & \\
\hline
Person & 0 & 10 & \\
\hline
\textbf{Sum} & 1 & 49 & \\
\hline
\textbf{Performance} & 2 \% & 98 \% & \\
\hline

\end{tabularx}
\caption{Ergebnisse der allgemeinen Türdetektion mit quantisierten Modell und MiDaS-Modell}
\label{tab:ErgebnisseAllgemeineDetektionMidas}
\end{table}

\begin{figure}[htbp]
  \centering
\begin{tikzpicture}
\begin{axis}[
	xbar, xmajorgrids=true, xmin=0, xmax=100, width=10cm, height=7cm, enlarge y limits=0.2, xlabel={\textbf{Performance in \%}}, symbolic y coords={Door Detection, Obstacle Avoidance, Door arrived with Obstacle Avoidance, Door arrived and stopped with Obstacle Avoidance}, y tick label style={anchor=east,text width=5cm,align=right}, ytick=data, nodes near coords, nodes near coords align={horizontal},
	]
\addplot coordinates
	{(66.67,Door Detection)(66,Obstacle Avoidance) (4,Door arrived with Obstacle Avoidance) (2,Door arrived and stopped with Obstacle Avoidance)};
\end{axis}
\end{tikzpicture}
\caption{Ergebnisse der Navigation mit allgemeiner Türdetektion mit MiDaS-Modell}
  \label{fig:BalkendiagrammNavigationAllgemein}
\end{figure}


\begin{table}[htbp]
\centering
\begin{tabularx}{\textwidth}{p{0.3\textwidth}|X|X|X}
\hline
\textbf{Setting Door Detection} & \textbf{Successes} & \textbf{Failures} & \textbf{Entfernung in Meter (m)}\\
\hline
Glastür & 7 & 3 & 6\\
\hline
Holztür & 8 & 2 & 4,5\\
\hline
Glasschiebetür & 8 & 2 & 8,5\\
\hline
\textbf{Sum} & 23 & 7 & \\
\hline
\textbf{Performance} & 76,67 \% & 23,33 \% & \\
\hline
\hline
\textbf{Door arrived without Obstacle Avoidance} & \textbf{Successes} & \textbf{Failures} & \\
\hline
Glastür & 7 & 3 & \\
\hline
Holztür & 8 & 2 & \\
\hline
Glasschiebetür & 8 & 2 & \\
\hline
\textbf{Sum} & 23 & 7 & \\
\hline
\textbf{Performance} & 76,67 \% & 23,33 \% & \\
\hline

\hline
\textbf{Door arrived and stopped without Obstacle Avoidance} & \textbf{Successes} & \textbf{Failures} & \\
\hline
Glastür & 0 & 10 & \\
\hline
Holztür & 0 & 10 & \\
\hline
Glasschiebetür & 0 & 10 & \\
\hline
\textbf{Sum} & 0 & 30 & \\
\hline
\textbf{Performance} & 0 \% & 100 \% & \\
\hline

\end{tabularx}
\caption{Ergebnisse der codemanufaktur Türdetektion mit unquantisierten Modell}
\label{tab:ErgebnisseCodemanufakturDetektionUnquantisiert}
\end{table}


\begin{figure}[htbp]
  \centering
\begin{tikzpicture}
\begin{axis}[
	xbar, xmajorgrids=true, xmin=0, xmax=100, width=10cm, height=7cm, enlarge y limits=0.2, xlabel={\textbf{Performance in \%}}, symbolic y coords={Door Detection, Door arrived without Obstacle Avoidance, Door arrived and stopped without Obstacle Avoidance}, y tick label style={anchor=east,text width=5cm,align=right}, ytick=data, nodes near coords, nodes near coords align={horizontal},
	]
\addplot coordinates
	{(76.67,Door Detection) (76.67,Door arrived without Obstacle Avoidance) (0,Door arrived and stopped without Obstacle Avoidance)};
\end{axis}
\end{tikzpicture}
\caption{Ergebnisse der Navigation mit codemanufaktur Türdetektion mit unquantisierten Modell und mit MiDaS-Modell}
  \label{fig:BalkendiagrammNavigationCodemanufakturUnquantisiert}
\end{figure}