added 2-class separation in "open parquet-test"
This commit is contained in:
+422
-23
@@ -2,14 +2,14 @@
|
||||
"cells": [
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": null,
|
||||
"execution_count": 1,
|
||||
"id": "aab6b326-a583-47ad-8bb7-723c2fddcc63",
|
||||
"metadata": {
|
||||
"scrolled": true
|
||||
},
|
||||
"outputs": [],
|
||||
"source": [
|
||||
"%pip install pyocclient\n",
|
||||
"# %pip install pyocclient\n",
|
||||
"import yaml\n",
|
||||
"import owncloud\n",
|
||||
"import pandas as pd\n",
|
||||
@@ -18,21 +18,29 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": null,
|
||||
"execution_count": 2,
|
||||
"id": "4f42846c-27c3-4394-a40a-e22d73c2902e",
|
||||
"metadata": {},
|
||||
"outputs": [],
|
||||
"outputs": [
|
||||
{
|
||||
"name": "stdout",
|
||||
"output_type": "stream",
|
||||
"text": [
|
||||
"143.946026802063\n"
|
||||
]
|
||||
}
|
||||
],
|
||||
"source": [
|
||||
"start = time.time()\n",
|
||||
"\n",
|
||||
"with open(\"login.yaml\") as f:\n",
|
||||
"with open(\"../login.yaml\") as f:\n",
|
||||
" cfg = yaml.safe_load(f)\n",
|
||||
"url, password = cfg[0][\"url\"], cfg[1][\"password\"]\n",
|
||||
"file = \"adabase-public-0003-v_0_0_2.h5py\"\n",
|
||||
"file = \"adabase-public-0022-v_0_0_2.h5py\"\n",
|
||||
"oc = owncloud.Client.from_public_link(url, folder_password=password)\n",
|
||||
"\n",
|
||||
"\n",
|
||||
"oc.get_file(file, \"tmp.h5\")\n",
|
||||
"oc.get_file(file, \"tmp22.h5\")\n",
|
||||
"\n",
|
||||
"end = time.time()\n",
|
||||
"print(end - start)\n"
|
||||
@@ -40,66 +48,457 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": null,
|
||||
"execution_count": 3,
|
||||
"id": "3714dec2-85d0-4f76-af46-ea45ebec2fa3",
|
||||
"metadata": {},
|
||||
"outputs": [],
|
||||
"outputs": [
|
||||
{
|
||||
"name": "stdout",
|
||||
"output_type": "stream",
|
||||
"text": [
|
||||
"0.5121121406555176\n"
|
||||
]
|
||||
}
|
||||
],
|
||||
"source": [
|
||||
"start = time.time()\n",
|
||||
"df_performance = pd.read_hdf(\"tmp.h5\", \"PERFORMANCE\")\n",
|
||||
"df_performance = pd.read_hdf(\"tmp22.h5\", \"PERFORMANCE\")\n",
|
||||
"end = time.time()\n",
|
||||
"print(end - start)"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": null,
|
||||
"execution_count": 4,
|
||||
"id": "f50e97d0",
|
||||
"metadata": {},
|
||||
"outputs": [
|
||||
{
|
||||
"name": "stdout",
|
||||
"output_type": "stream",
|
||||
"text": [
|
||||
"22\n"
|
||||
]
|
||||
}
|
||||
],
|
||||
"source": [
|
||||
"print(22)"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 5,
|
||||
"id": "c131c816",
|
||||
"metadata": {},
|
||||
"outputs": [
|
||||
{
|
||||
"data": {
|
||||
"text/html": [
|
||||
"<div>\n",
|
||||
"<style scoped>\n",
|
||||
" .dataframe tbody tr th:only-of-type {\n",
|
||||
" vertical-align: middle;\n",
|
||||
" }\n",
|
||||
"\n",
|
||||
" .dataframe tbody tr th {\n",
|
||||
" vertical-align: top;\n",
|
||||
" }\n",
|
||||
"\n",
|
||||
" .dataframe thead th {\n",
|
||||
" text-align: right;\n",
|
||||
" }\n",
|
||||
"</style>\n",
|
||||
"<table border=\"1\" class=\"dataframe\">\n",
|
||||
" <thead>\n",
|
||||
" <tr style=\"text-align: right;\">\n",
|
||||
" <th></th>\n",
|
||||
" <th>STUDY</th>\n",
|
||||
" <th>PHASE</th>\n",
|
||||
" <th>LEVEL</th>\n",
|
||||
" <th>AUDITIVE F1</th>\n",
|
||||
" <th>AUDITIVE MEAN REACTION TIME</th>\n",
|
||||
" <th>AUDITIVE PRECISION</th>\n",
|
||||
" <th>AUDITIVE RECALL</th>\n",
|
||||
" <th>VISUAL F1</th>\n",
|
||||
" <th>VISUAL MEAN REACTION TIME</th>\n",
|
||||
" <th>VISUAL PRECISION</th>\n",
|
||||
" <th>VISUAL RECALL</th>\n",
|
||||
" <th>F1</th>\n",
|
||||
" <th>PRECISION</th>\n",
|
||||
" <th>REACTION TIME</th>\n",
|
||||
" <th>RECALL</th>\n",
|
||||
" <th>SONGS RECALL</th>\n",
|
||||
" </tr>\n",
|
||||
" </thead>\n",
|
||||
" <tbody>\n",
|
||||
" <tr>\n",
|
||||
" <th>6</th>\n",
|
||||
" <td>n-back</td>\n",
|
||||
" <td>test</td>\n",
|
||||
" <td>01</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>1.000000</td>\n",
|
||||
" <td>0.428068</td>\n",
|
||||
" <td>1.000000</td>\n",
|
||||
" <td>1.000000</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" </tr>\n",
|
||||
" <tr>\n",
|
||||
" <th>7</th>\n",
|
||||
" <td>n-back</td>\n",
|
||||
" <td>test</td>\n",
|
||||
" <td>02</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>0.928571</td>\n",
|
||||
" <td>0.626869</td>\n",
|
||||
" <td>1.000000</td>\n",
|
||||
" <td>0.866667</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" </tr>\n",
|
||||
" <tr>\n",
|
||||
" <th>8</th>\n",
|
||||
" <td>n-back</td>\n",
|
||||
" <td>test</td>\n",
|
||||
" <td>03</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>0.640000</td>\n",
|
||||
" <td>0.828912</td>\n",
|
||||
" <td>0.727273</td>\n",
|
||||
" <td>0.571429</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" </tr>\n",
|
||||
" <tr>\n",
|
||||
" <th>9</th>\n",
|
||||
" <td>n-back</td>\n",
|
||||
" <td>test</td>\n",
|
||||
" <td>04</td>\n",
|
||||
" <td>1.000000</td>\n",
|
||||
" <td>1.309286</td>\n",
|
||||
" <td>1.000000</td>\n",
|
||||
" <td>1.000000</td>\n",
|
||||
" <td>1.000000</td>\n",
|
||||
" <td>0.942916</td>\n",
|
||||
" <td>1.000000</td>\n",
|
||||
" <td>1.000000</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" </tr>\n",
|
||||
" <tr>\n",
|
||||
" <th>10</th>\n",
|
||||
" <td>n-back</td>\n",
|
||||
" <td>test</td>\n",
|
||||
" <td>05</td>\n",
|
||||
" <td>0.782609</td>\n",
|
||||
" <td>1.316484</td>\n",
|
||||
" <td>0.818182</td>\n",
|
||||
" <td>0.750000</td>\n",
|
||||
" <td>0.814815</td>\n",
|
||||
" <td>1.151405</td>\n",
|
||||
" <td>0.916667</td>\n",
|
||||
" <td>0.733333</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" </tr>\n",
|
||||
" <tr>\n",
|
||||
" <th>11</th>\n",
|
||||
" <td>n-back</td>\n",
|
||||
" <td>test</td>\n",
|
||||
" <td>06</td>\n",
|
||||
" <td>0.363636</td>\n",
|
||||
" <td>1.703583</td>\n",
|
||||
" <td>0.500000</td>\n",
|
||||
" <td>0.285714</td>\n",
|
||||
" <td>0.476190</td>\n",
|
||||
" <td>1.530054</td>\n",
|
||||
" <td>0.714286</td>\n",
|
||||
" <td>0.357143</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" </tr>\n",
|
||||
" <tr>\n",
|
||||
" <th>3</th>\n",
|
||||
" <td>k-drive</td>\n",
|
||||
" <td>test</td>\n",
|
||||
" <td>01</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>1.000000</td>\n",
|
||||
" <td>1.000000</td>\n",
|
||||
" <td>0.446914</td>\n",
|
||||
" <td>1.000000</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" </tr>\n",
|
||||
" <tr>\n",
|
||||
" <th>4</th>\n",
|
||||
" <td>k-drive</td>\n",
|
||||
" <td>test</td>\n",
|
||||
" <td>02</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>0.914286</td>\n",
|
||||
" <td>0.914286</td>\n",
|
||||
" <td>0.702571</td>\n",
|
||||
" <td>0.914286</td>\n",
|
||||
" <td>0.454545</td>\n",
|
||||
" </tr>\n",
|
||||
" <tr>\n",
|
||||
" <th>5</th>\n",
|
||||
" <td>k-drive</td>\n",
|
||||
" <td>test</td>\n",
|
||||
" <td>03</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>NaN</td>\n",
|
||||
" <td>0.786325</td>\n",
|
||||
" <td>0.938776</td>\n",
|
||||
" <td>1.175797</td>\n",
|
||||
" <td>0.676471</td>\n",
|
||||
" <td>0.347826</td>\n",
|
||||
" </tr>\n",
|
||||
" </tbody>\n",
|
||||
"</table>\n",
|
||||
"</div>"
|
||||
],
|
||||
"text/plain": [
|
||||
" STUDY PHASE LEVEL AUDITIVE F1 AUDITIVE MEAN REACTION TIME \\\n",
|
||||
"6 n-back test 01 NaN NaN \n",
|
||||
"7 n-back test 02 NaN NaN \n",
|
||||
"8 n-back test 03 NaN NaN \n",
|
||||
"9 n-back test 04 1.000000 1.309286 \n",
|
||||
"10 n-back test 05 0.782609 1.316484 \n",
|
||||
"11 n-back test 06 0.363636 1.703583 \n",
|
||||
"3 k-drive test 01 NaN NaN \n",
|
||||
"4 k-drive test 02 NaN NaN \n",
|
||||
"5 k-drive test 03 NaN NaN \n",
|
||||
"\n",
|
||||
" AUDITIVE PRECISION AUDITIVE RECALL VISUAL F1 VISUAL MEAN REACTION TIME \\\n",
|
||||
"6 NaN NaN 1.000000 0.428068 \n",
|
||||
"7 NaN NaN 0.928571 0.626869 \n",
|
||||
"8 NaN NaN 0.640000 0.828912 \n",
|
||||
"9 1.000000 1.000000 1.000000 0.942916 \n",
|
||||
"10 0.818182 0.750000 0.814815 1.151405 \n",
|
||||
"11 0.500000 0.285714 0.476190 1.530054 \n",
|
||||
"3 NaN NaN NaN NaN \n",
|
||||
"4 NaN NaN NaN NaN \n",
|
||||
"5 NaN NaN NaN NaN \n",
|
||||
"\n",
|
||||
" VISUAL PRECISION VISUAL RECALL F1 PRECISION REACTION TIME \\\n",
|
||||
"6 1.000000 1.000000 NaN NaN NaN \n",
|
||||
"7 1.000000 0.866667 NaN NaN NaN \n",
|
||||
"8 0.727273 0.571429 NaN NaN NaN \n",
|
||||
"9 1.000000 1.000000 NaN NaN NaN \n",
|
||||
"10 0.916667 0.733333 NaN NaN NaN \n",
|
||||
"11 0.714286 0.357143 NaN NaN NaN \n",
|
||||
"3 NaN NaN 1.000000 1.000000 0.446914 \n",
|
||||
"4 NaN NaN 0.914286 0.914286 0.702571 \n",
|
||||
"5 NaN NaN 0.786325 0.938776 1.175797 \n",
|
||||
"\n",
|
||||
" RECALL SONGS RECALL \n",
|
||||
"6 NaN NaN \n",
|
||||
"7 NaN NaN \n",
|
||||
"8 NaN NaN \n",
|
||||
"9 NaN NaN \n",
|
||||
"10 NaN NaN \n",
|
||||
"11 NaN NaN \n",
|
||||
"3 1.000000 NaN \n",
|
||||
"4 0.914286 0.454545 \n",
|
||||
"5 0.676471 0.347826 "
|
||||
]
|
||||
},
|
||||
"execution_count": 5,
|
||||
"metadata": {},
|
||||
"output_type": "execute_result"
|
||||
}
|
||||
],
|
||||
"source": [
|
||||
"df_performance"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 6,
|
||||
"id": "6ae47e52-ad86-4f8d-b929-0080dc99f646",
|
||||
"metadata": {},
|
||||
"outputs": [],
|
||||
"outputs": [
|
||||
{
|
||||
"name": "stdout",
|
||||
"output_type": "stream",
|
||||
"text": [
|
||||
"0.05357074737548828\n"
|
||||
]
|
||||
}
|
||||
],
|
||||
"source": [
|
||||
"start = time.time()\n",
|
||||
"df_4_col = pd.read_hdf(\"tmp.h5\", \"SIGNALS\", mode=\"r\", columns=[\"STUDY\",\"LEVEL\", \"PHASE\", ''])\n",
|
||||
"df_4_col = pd.read_hdf(\"tmp.h5\", \"SIGNALS\", mode=\"r\", columns=[\"STUDY\"], start=0, stop=1)\n",
|
||||
"end = time.time()\n",
|
||||
"print(end - start)"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": null,
|
||||
"execution_count": 7,
|
||||
"id": "7c139f3a-ede8-4530-957d-d1bb939f6cb5",
|
||||
"metadata": {},
|
||||
"outputs": [],
|
||||
"outputs": [
|
||||
{
|
||||
"data": {
|
||||
"text/html": [
|
||||
"<div>\n",
|
||||
"<style scoped>\n",
|
||||
" .dataframe tbody tr th:only-of-type {\n",
|
||||
" vertical-align: middle;\n",
|
||||
" }\n",
|
||||
"\n",
|
||||
" .dataframe tbody tr th {\n",
|
||||
" vertical-align: top;\n",
|
||||
" }\n",
|
||||
"\n",
|
||||
" .dataframe thead th {\n",
|
||||
" text-align: right;\n",
|
||||
" }\n",
|
||||
"</style>\n",
|
||||
"<table border=\"1\" class=\"dataframe\">\n",
|
||||
" <thead>\n",
|
||||
" <tr style=\"text-align: right;\">\n",
|
||||
" <th></th>\n",
|
||||
" <th>STUDY</th>\n",
|
||||
" </tr>\n",
|
||||
" </thead>\n",
|
||||
" <tbody>\n",
|
||||
" <tr>\n",
|
||||
" <th>0</th>\n",
|
||||
" <td>n/a</td>\n",
|
||||
" </tr>\n",
|
||||
" </tbody>\n",
|
||||
"</table>\n",
|
||||
"</div>"
|
||||
],
|
||||
"text/plain": [
|
||||
" STUDY\n",
|
||||
"0 n/a"
|
||||
]
|
||||
},
|
||||
"execution_count": 7,
|
||||
"metadata": {},
|
||||
"output_type": "execute_result"
|
||||
}
|
||||
],
|
||||
"source": [
|
||||
"df_4_col.head()"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": null,
|
||||
"execution_count": 8,
|
||||
"id": "a68d58ea-65f2-46c4-a2b2-8c3447c715d7",
|
||||
"metadata": {},
|
||||
"outputs": [],
|
||||
"outputs": [
|
||||
{
|
||||
"data": {
|
||||
"text/plain": [
|
||||
"(1, 1)"
|
||||
]
|
||||
},
|
||||
"execution_count": 8,
|
||||
"metadata": {},
|
||||
"output_type": "execute_result"
|
||||
}
|
||||
],
|
||||
"source": [
|
||||
"df_4_col.shape"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": null,
|
||||
"execution_count": 9,
|
||||
"id": "95aa4523-3784-4ab6-bf92-0227ce60e863",
|
||||
"metadata": {},
|
||||
"outputs": [],
|
||||
"outputs": [
|
||||
{
|
||||
"name": "stdout",
|
||||
"output_type": "stream",
|
||||
"text": [
|
||||
"<class 'pandas.core.frame.DataFrame'>\n",
|
||||
"Index: 1 entries, 0 to 0\n",
|
||||
"Data columns (total 1 columns):\n",
|
||||
" # Column Non-Null Count Dtype \n",
|
||||
"--- ------ -------------- ----- \n",
|
||||
" 0 STUDY 1 non-null object\n",
|
||||
"dtypes: object(1)\n",
|
||||
"memory usage: 16.0+ bytes\n"
|
||||
]
|
||||
}
|
||||
],
|
||||
"source": [
|
||||
"df_4_col.info()"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": null,
|
||||
"execution_count": 10,
|
||||
"id": "defbcaf4-ad1b-453f-9b48-ab0ecfc4b5d5",
|
||||
"metadata": {},
|
||||
"outputs": [],
|
||||
"outputs": [
|
||||
{
|
||||
"data": {
|
||||
"text/plain": [
|
||||
"STUDY 0\n",
|
||||
"dtype: int64"
|
||||
]
|
||||
},
|
||||
"execution_count": 10,
|
||||
"metadata": {},
|
||||
"output_type": "execute_result"
|
||||
}
|
||||
],
|
||||
"source": [
|
||||
"df_4_col.isna().sum()"
|
||||
]
|
||||
@@ -115,7 +514,7 @@
|
||||
],
|
||||
"metadata": {
|
||||
"kernelspec": {
|
||||
"display_name": "Python 3 (ipykernel)",
|
||||
"display_name": "base",
|
||||
"language": "python",
|
||||
"name": "python3"
|
||||
},
|
||||
@@ -129,7 +528,7 @@
|
||||
"name": "python",
|
||||
"nbconvert_exporter": "python",
|
||||
"pygments_lexer": "ipython3",
|
||||
"version": "3.12.10"
|
||||
"version": "3.11.5"
|
||||
}
|
||||
},
|
||||
"nbformat": 4,
|
||||
|
||||
Reference in New Issue
Block a user