Add exercise for neural networks.

uebungen/nn/biases.csv

+-0.008677351288497448, 0.005745633505284786, -0.055117350071668625, -0.014883074909448624, 0.015679439529776573, -0.018226031213998795, -0.005504900123924017, -0.044900909066200256, 0.022310862317681313, 0.01566915586590767, 0.07860802859067917, -0.02179539017379284, -0.01959695667028427, -0.0834892988204956, -0.007202732376754284, -0.06545304507017136, -0.02070860005915165, -0.011865561828017235, -0.05761618912220001, 0.017660226672887802, 0.011446870863437653, -0.028809908777475357, -0.01481933705508709, -0.006994238123297691, -0.0567898266017437, -0.06564011424779892, 0.025545887649059296, 0.1031506359577179, 0.013956015929579735, -0.015561917796730995, -0.022726790979504585, -0.10124021768569946, -0.019511891528964043, -0.003393965307623148, -0.01574018970131874, -0.007894339971244335, -0.0279203150421381, -0.01284199208021164, -0.043107468634843826, -0.01651156134903431, 0.004884842783212662, -0.03841014206409454, -0.016370534896850586, -0.16927893459796906, -0.013310707174241543, 0.01874706894159317, 0.009947434067726135, 0.02417086251080036, -0.006256528198719025, 0.008837977424263954, 0.007586969528347254, -0.006596226245164871, 0.03241313248872757, 0.039498887956142426, -0.021609561517834663, -0.05489190295338631, -0.05574210360646248, 0.01997322030365467, 0.0013747785706073046, 0.0027786369901150465, -0.0036812410689890385, -0.01908121071755886, 0.008502904325723648, -0.009667293168604374, -0.01624494418501854, -0.020258493721485138, -0.04269179329276085, -0.0123337646946311, 0.0054192617535591125, -0.027607575058937073, -0.017245691269636154, -0.02022712677717209, 0.03187023103237152, -0.013173154555261135, 0.007222538348287344, -0.032519496977329254, -0.07184495776891708, -0.023317454382777214, -0.07749477028846741, -0.04867391660809517, -0.004137279465794563, -0.032610345631837845, 0.0039564380422234535, -0.039695315062999725, -0.029766393825411797, -0.02799110673367977, -0.04898680001497269, -0.004944938234984875, -0.007683601696044207, -0.04501214623451233, -0.012950305826961994, -0.02103738859295845, 0.0467943474650383, -0.07114705443382263, -0.025559984147548676, 0.10290645807981491, -0.043951649218797684, -0.07447035610675812, -0.016550108790397644, -0.015626192092895508
+-0.0450969897210598, 0.0351935550570488, -0.1895325779914856, -0.02286497689783573, 0.02405301108956337, 0.045664943754673004, 0.017013775184750557, -0.09488113969564438, -0.011645316146314144, -0.04450057074427605, -0.019996868446469307, -0.18691103160381317, -0.13048377633094788, -0.1305752694606781, -0.09432966262102127, -0.17690914869308472, -0.15957586467266083, -0.08473730832338333, -0.05083821713924408, -0.09528055787086487, -0.10228491574525833, 0.07524877041578293, -0.03188563138246536, -0.1719256192445755, -0.05545725300908089, -0.056250642985105515, -0.0641549676656723, -0.0544326975941658, -0.07225709408521652, -0.009049119427800179, -0.029454758390784264, 0.025826366618275642, -0.15334533154964447, -0.009931598789989948, -0.06821104139089584, 0.008927363902330399, -0.06137583777308464, -0.06329497694969177, -0.08447913825511932, -0.06914842873811722, -0.1659971922636032, -0.09787584841251373, -0.16689766943454742, -0.15680384635925293, -0.034165360033512115, -0.06471297144889832, -0.08948924392461777, 0.012998158112168312, 0.05005623772740364, -0.08696827292442322, 0.07499905675649643, -0.16293247044086456, -0.14342465996742249, -0.07696093618869781, -0.1377342790365219, -0.10512826591730118, 0.006513779051601887, -0.10517805069684982, -0.06410424411296844, 0.009823036380112171, -0.10252492874860764, -0.2504895329475403, -0.07121457904577255, -0.07387848943471909, -0.08402024954557419, -0.07697747647762299, 0.02686748281121254, -0.12605732679367065, -0.05901151895523071, 0.0026521929539740086, -0.09267807006835938, -0.08867817372083664, -0.07564099133014679, -0.16014207899570465, -0.16497240960597992, -0.03666665405035019, 0.003681669943034649, -0.14668892323970795, -0.10648130625486374, 0.1174221858382225, -0.1032167300581932, -0.006812304724007845, 0.1719827800989151, -0.07671533524990082, -0.10593152791261673, -0.10983555763959885, -0.10351330786943436, -0.024890312924981117, -0.01834816113114357, -0.1494765281677246, -0.15355657041072845, -0.010243901051580906, 0.044449467211961746, 0.03695492818951607, -0.049239303916692734, -0.04248395562171936, -0.06114281713962555, -0.03222617134451866, -0.053850702941417694, -0.006267458666115999, -0.08889340609312057, -0.05712234601378441, -0.12023567408323288, -0.11710990965366364, -0.06747300922870636, -0.15029077231884003, 0.044354502111673355, -0.10092394053936005, -0.08649563044309616, -0.02444370649755001, 0.03875263035297394, -0.1812012493610382, 0.04341081902384758, -0.06393872946500778, -0.0938224047422409, -0.03700174018740654, -0.07306117564439774, 0.1031486764550209, -0.11001113802194595, -0.03601384907960892, -0.08333256840705872, 0.03464668244123459, -0.06432420760393143, -0.08324145525693893, 0.047180525958538055, -0.07746844738721848, -0.05700149014592171, -0.10130927711725235, 0.02943856082856655, -0.008054932579398155, 0.11288866400718689, -0.1369674801826477, -0.10250787436962128, -0.061818014830350876, -0.1279391497373581, -0.07785670459270477, -0.09283182770013809, -0.12398337572813034, -0.055261410772800446, -0.18320411443710327, -0.03916916623711586, -0.08379920572042465, -0.025690382346510887, 0.006382637657225132, -0.020139524713158607, -0.016665659844875336, -0.08711687475442886, -0.03240223228931427, -0.16803081333637238, -0.06242085620760918
+-0.11675629019737244, -0.05875431001186371, -0.06543999165296555, -0.20347271859645844, 0.07288399338722229, -0.1489541232585907, -0.10467267036437988, -0.09635233134031296, -0.0739402174949646, 0.04193815216422081, -0.05433550849556923, -0.0860704854130745, 0.02378813549876213, -0.07689109444618225, -0.10116331279277802, -0.12448422610759735, -0.1050010398030281, -0.09317584335803986, -0.0358126126229763, 0.050036653876304626, -0.002722230739891529, -0.09197796881198883, -0.068574920296669, -0.0583958774805069, -0.06845870614051819, -0.012418307363986969, -0.0603107213973999, -0.146811842918396, -0.0570974126458168, -0.11464341729879379, -0.017222099006175995, -0.09385493397712708, -0.043244630098342896, -0.06680125743150711, 0.2819477617740631, -0.0009613427682779729, -0.2712344825267792, -0.1005975678563118, -0.04138517752289772, -0.03800004720687866, -0.01451039593666792, -0.06811005622148514, 0.059342969208955765, -0.041333336383104324, 0.08732195198535919, -0.07192116975784302, -0.15980388224124908, -0.03848828002810478, 0.05452646687626839, -0.061958979815244675, 0.06697258353233337, -0.05921326205134392, -0.05626359209418297, 0.03807879239320755, -0.10582514852285385, -0.06217978149652481, -0.0998915433883667, -0.13833102583885193, -0.034331388771533966, -0.098772332072258, -0.0777769684791565, -0.08290249854326248, -0.08846743404865265, 0.029475601390004158, -0.049483027309179306, -0.0663904994726181, 0.04412585124373436, -0.10539256036281586, 0.028695831075310707, -0.053419653326272964, -0.06324313580989838, -0.08084359019994736, -0.05465637147426605, -0.06825684756040573, -0.01773528754711151, -0.08564343303442001, -0.03737564757466316, -0.07655778527259827, -0.11319272965192795, -0.09517846256494522, -0.06726060062646866, 0.014530560933053493, -0.16262422502040863, 0.1819848120212555, -0.10984475910663605, 0.05729514732956886, -0.10181630402803421, -0.11074718832969666, -0.10645264387130737, -0.03560681641101837, -0.02816261164844036, -0.11488467454910278, -0.02848491445183754, -0.0519353412091732, -0.033964477479457855, -0.18894830346107483, -0.060728058218955994, 0.06226690858602524, -0.05963204801082611, 0.03188948705792427, -0.0504104420542717, 0.10987885296344757, -0.049594342708587646, 0.061370495706796646, -0.009023422375321388, 0.023287082090973854, 0.05395449697971344, -0.11078088730573654, -0.1100536584854126, -0.11097121983766556, -0.0938483253121376, -0.0772521123290062, -0.1260550171136856, -0.09594111889600754, -0.03399156033992767, -0.10754438489675522, -0.09915443509817123, -0.009094798006117344, -0.06312071532011032, -0.16099442541599274, -0.11375498026609421, -0.06137260049581528, -0.06230403482913971, -0.0022289534099400043, -0.16254471242427826, -0.06753820180892944, 0.1731678992509842, -0.1150570884346962, -0.14874416589736938, -0.06420128792524338, -0.08833713084459305, 0.023673072457313538, -0.1293986290693283, -0.09082305431365967, -0.05283839628100395, -0.07256514579057693, -0.16742509603500366, -0.018420511856675148, -0.1543741375207901, -0.0596490353345871, -0.0866922065615654, -0.0490291491150856, -0.1178942322731018, -0.057866957038640976, -0.17431798577308655, -0.03251954913139343, 0.10864705592393875, -0.09248923510313034, -0.17027127742767334, 0.16959485411643982, -0.0022230299655348063, -0.08668825775384903, -0.052181676030159, -0.24869738519191742, -0.08237277716398239, -0.14600925147533417, -0.09753236919641495, -0.1834648847579956, -0.1554604023694992, -0.06769755482673645, 0.26832643151283264, -0.13593842089176178, -0.016295799985527992, -0.075858935713768, -0.049212004989385605, 0.03808516263961792, -0.07275474071502686, -0.10385111719369888, -0.07100226730108261, -0.11424324661493301, -0.06537742167711258, -0.1565006822347641, -0.05344993993639946, 0.009637642651796341, -0.12890110909938812, -0.10634642094373703, -0.1308794915676117, -0.14097478985786438, -0.09075164049863815, -0.12979869544506073, -0.1576060950756073, -0.07948174327611923, -0.027477936819195747, -0.10118819028139114, -0.07898261398077011, -0.046558380126953125, -0.07336243987083435, -0.007579270750284195, -0.08799850195646286, -0.08616852760314941, -0.09026799350976944, -0.12268943339586258, -0.1712302714586258, -0.0874440148472786, -0.09079248458147049, -0.04511435702443123, -0.21398720145225525, -0.06865794956684113, 0.0008159155258908868, -0.056720588356256485
+0.11901019513607025, -0.21685712039470673, -0.004580132197588682, -0.03499050810933113, -0.10697134584188461, -0.10827671736478806, -0.12414515763521194, -0.2575850784778595, 0.46754375100135803, 0.08715654164552689

uebungen/nn/neural_network.ipynb

+{
+ "cells": [
+  {
+   "attachments": {},
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "# Einfaches Neuronales Netz\n",
+    "Ein Neuronales Netz stellt die Grundlage für viele moderne KI-Anwendungen dar. In dieser Übung wollen wir ein sehr einfaches Neuronales Netz selbst programmieren."
+   ]
+  },
+  {
+   "attachments": {},
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "## Kurze Einführung\n",
+    "Ein Neuronales Netz in seiner einfachsten Form bekommt einen Eingabevektor übergeben, z.B. ein Bild, das zeilenweise abgespeichert wurde. Das Netz selbst besteht aus mehreren so genannten Schichten. Pro Schicht gibt es mehrere Neuronen. Jede Schicht bekommt einen Vektor übergeben, der von allen Neuronen verarbeitet wird. Jedes Neuron generiert dabei eine Ausgabe. Die Ausgaben aller Neuronen einer Schicht werden wieder zu einem Vektor zusammengefasst und generieren dadurch wieder einen Ausgabevektor, der der nächsten Schicht übergeben wird. Jedes Neuron generiert eine Ausgabe $z$ folgendermaßen, wobei $\\mathbf{x}$ für den Eingabevektor der jeweiligen Schicht steht, $w_i$ für die sogenannten Gewichte und $b$ für den sogenannten Bias:\n",
+    "\n",
+    "$z = \\sum_{i=0}^{n}w_i \\cdot x_i + b; \\mathbf{x} \\in \\mathbb{R}^n$\n",
+    "\n",
+    "Dieser linear berechnete Wert wird normalerweise noch mit einer nicht-linearen Funktion verändert. Wir nehmen hierfür in unserem Beispiel immer die sogenannten ReLU-Funktion an:\n",
+    "\n",
+    "$a = ReLU(z) = max(z, 0)$\n",
+    "\n",
+    "Da jedes Neuron eigene Gewichte $w$ besitzt, der Eingabevektor genau so groß ist, wie die vorherige Schicht Neuronen besitzt, und jedes Neuron der aktuellen Schicht den kompletten Eingabevektor verarbeitet, haben wir pro Schicht eine Matrix $W$ an Gewichten der Größe (Anzahl an Neuronen der aktuellen Schicht) $\\times$ (Anzahl der Neuronen der vorherigen Schicht) und einen Vektor $\\mathbf{b}$ der Größe (Anzahl an Neuronen der aktuellen Schicht). Es ergibt sich pro Schicht $k$ also folgende Formel:\n",
+    "\n",
+    "$ \\mathbf{z}_k = W \\mathbf{a}_{k-1} + \\mathbf{b}_k$\n",
+    "\n",
+    "$\\mathbf{a}_k = ReLU(\\mathbf{z}_k)$\n",
+    "\n",
+    "Als initiale Eingabe würde man nun einen Datenvektor, z.B. ein zeilenweise vektorisiertes Bild, übergeben, was $\\mathbf{a}_0$ entsprechen würde. Um nun eine auf dem Bild gezeigte Kategorie bzw. Klasse, z.B. Katze, Hund, etc., vorherzusagen, vergibt man für jede Klasse eine Zahl. Die letzte Schicht im Netz beinhaltet genauso viele Neuronen, wie es Klassen gibt. Das Neuron der letzten Schicht, das den höchsten Wert generiert, zeigt durch sein Position an, welche Klasse vorhergesagt wird. Generiert z.B. das 4. Neuron der Ausgabeschicht den höchsten Wert, so wird die Klasse 4 vorhergesagt.\n",
+    "\n",
+    "Die größte Schwierigkeit ist es allerdings, die Gewichte und Biases zu ermitteln, die ein Neuronales Netz überhaupt möglich machen. Wir gehen hier allerdings der Einfachheit halber davon aus, dass diese Wert bereits vorgegeben sind. In der Realität würde man diese Werte anhand von Beispieldaten generieren, was den Begriff \"Maschinelles Lernen\" prägt."
+   ]
+  },
+  {
+   "attachments": {},
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "## Datensatz\n",
+    "Wir werden mit dem sogenannten MNIST-Datensatz herumspielen. Dieser beinhaltet Grauwertbilder der Größe 28 $\\times$ 28. Jedes Bild entspricht einer handgeschriebenen Ziffer. Die Aufgabe ist es, die Ziffer automatisch zu erkennen.\n",
+    "\n",
+    "Wir schreiben uns zunächst eine Funktion zum Einlesen eines Teils des Datensatzes, der in der Textdatei `mnist.csv` vorliegt. Die Datei enthält in der ersten Zeile die folgenden Informationen mit Kommas getrennt:\n",
+    "* Anzahl an Bildern\n",
+    "* Breite eines Bilds\n",
+    "* Höhe eines Bilds\n",
+    "\n",
+    "Danach folgen die Bilder. Jede Zeile entspricht einer Zeile eines Bilds mit Komma-getrennten Werten. Die Funktion soll die Bilder in Form einer Liste zurückgeben. Jedes Listen-Element entspricht einem Bild, wobei jedes Bild wiederum eine Liste von Listen ist. Ein Bild ist also eine Liste von Bildzeilen.\n"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "def load_mnist(filename):\n",
+    "    # Fuegen Sie hier bitte Ihren Code ein.\n",
+    "    pass"
+   ]
+  },
+  {
+   "attachments": {},
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "Nun laden wir die Daten und lassen uns einige Samples anzeigen."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "import matplotlib.pyplot as plt\n",
+    "\n",
+    "data = load_mnist('mnist.csv')\n",
+    "\n",
+    "plt.figure()\n",
+    "plt.axis('off')\n",
+    "\n",
+    "imgs_to_show_per_row = 10\n",
+    "imgs_to_show_per_col = 10\n",
+    "\n",
+    "for idx, img in enumerate(data[:imgs_to_show_per_row*imgs_to_show_per_col], 1):\n",
+    "    ax = plt.subplot(imgs_to_show_per_row, imgs_to_show_per_col, idx)\n",
+    "    ax.axis('off')\n",
+    "    ax.imshow(img, cmap='gray')\n",
+    "\n",
+    "plt.show()"
+   ]
+  },
+  {
+   "attachments": {},
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "## Neuronales Netz\n",
+    "Nun wollen wir ein Neuronales Netz programmieren, das vorher gespeicherte Gewichte und Biases lädt, und diese auf die Samples des MNIST-Datensatzes anwendet. Dafür müssen wir die Gewichte und Biases aus den entsprechenden Textdateien laden und dieses mittels der oben angegebenen Formeln auf unsere Eingabebilder anwenden.\n",
+    "\n",
+    "Die Biases liegen als Vektoren zeilenweise in `biases.csv`. Die Werte sind wieder mit Kommas getrennt. Die Gewichte liegen etwas aufwändiger in `weights.csv`. Die Zeilen jeder Matrix liegen wieder zeilenweise in der Textdatei vor. Sobald eine leere Zeile auftaucht, markiert dies das Ende einer Matrix. Die Werte sind pro Zeile wieder mit Kommas getrennt."
+   ]
+  },
+  {
+   "attachments": {},
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "Implementieren Sie zunächst die beiden Hilfsklassen `Matrix` und `Vektor`. Darin implementieren wir eine Matrix-Vektor-Multiplikation, die wieder einen Vektor liefert, bzw. eine Vektor-Addition. In beiden Fällen kann das Ergebnis als Liste zurückgegeben werden. Mit den Test-Code können Sie Ihre Implementierung testen."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "class Matrix:\n",
+    "    def __init__(self, elems):\n",
+    "        self.__elems = elems\n",
+    "\n",
+    "    def __mul__(self, vec):\n",
+    "        # Fügen Sie hier Ihren Code ein.\n",
+    "        pass\n",
+    "    \n",
+    "\n",
+    "class Vector(list):\n",
+    "    def __init__(self, elems):\n",
+    "        for elem in elems:\n",
+    "            self.append(elem)\n",
+    "\n",
+    "    def __add__(self, vec):\n",
+    "        # Fügen Sie hier Ihren Code ein.\n",
+    "        pass\n",
+    "\n",
+    "mat = Matrix([[1, 2], [3, 4]])\n",
+    "vec1 = Vector([3, 2])\n",
+    "vec2 = Vector([1, 2])\n",
+    "\n",
+    "print('Matrix:')\n",
+    "print(mat)\n",
+    "print('Vektor1:')\n",
+    "print(vec1)\n",
+    "print('Vektor2:')\n",
+    "print(vec2)\n",
+    "\n",
+    "print('Matrix * Vektor1:')\n",
+    "print(mat * vec1)\n",
+    "print('Vektor1 + Vektor2:')\n",
+    "print(vec1 + vec2)"
+   ]
+  },
+  {
+   "attachments": {},
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "Implementieren Sie nun das Laden der Gewichte und Biases und anschließend die restlichen Funktionen.\n",
+    "\n",
+    "**Hinweis:** `argmax(...)` wird benötigt, da das Neuronale Netz zunächst nur die Ausgaben aller Ausgabeneuronen als Vektor bzw. Liste liefert. Um die jeweilige Klasse zu bestimmen, die vorhergesagt wird, muss die Position des Ausgabeneurons bestimmt werden, dessen Wert am höchsten ist."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "class NeuralNetwork:\n",
+    "    def __init__(self, filepath_biases, filepath_weights):\n",
+    "        self.__filepath_biases = filepath_biases\n",
+    "        self.__filepath_weights = filepath_weights\n",
+    "        self.__weights = None\n",
+    "        self.__biases = None\n",
+    "\n",
+    "    @staticmethod\n",
+    "    def __load_biases(filepath):\n",
+    "        pass\n",
+    "    \n",
+    "    @staticmethod\n",
+    "    def __load_weights(filepath):\n",
+    "        pass\n",
+    "    \n",
+    "    @staticmethod\n",
+    "    def __relu(x):\n",
+    "        pass\n",
+    "    \n",
+    "    @staticmethod\n",
+    "    def __flatten(matrix):\n",
+    "        pass\n",
+    "    \n",
+    "    @staticmethod\n",
+    "    def __argmax(vec):\n",
+    "        pass\n",
+    "    \n",
+    "    def predict(self, sample):\n",
+    "        pass"
+   ]
+  },
+  {
+   "attachments": {},
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "Nun testen wir unsere Implementierung und klassifizieren einige Ziffern."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "net = NeuralNetwork(filepath_biases='biases.csv',\n",
+    "                    filepath_weights='weights.csv')\n",
+    "    \n",
+    "for sample in data[:20]:\n",
+    "    plt.figure()\n",
+    "    plt.axis('off')\n",
+    "    plt.imshow(sample, cmap='gray')\n",
+    "    plt.show()\n",
+    "\n",
+    "    print(f'Ich glaube, das Bild oben beinhaltet eine {net.predict(sample)}')"
+   ]
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": "Python 3",
+   "language": "python",
+   "name": "python3"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.11.3"
+  },
+  "orig_nbformat": 4
+ },
+ "nbformat": 4,
+ "nbformat_minor": 2
+}