use_feature_extractor.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "source": [
    "import time\n",
    "import math\n",
    "import tables\n",
    "import matplotlib.pyplot as plt\n",
    "import numpy as np\n",
    "import random\n",
    "\n",
    "import torch\n",
    "import torch.nn as nn\n",
    "import torch.nn.functional as F\n",
    "import torchvision.models as models\n",
    "from torchvision import transforms\n",
    "from torch.utils.tensorboard import SummaryWriter\n",
    "\n",
    "from torch.utils.data import DataLoader"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "source": [
    "class Dataset(object):\n",
    "\t'''\n",
    "\tAssumptions made about the dataset:\n",
    "\t\n",
    "\tPytable contains associated hdf5 earrays'''\n",
    "\tdef __init__(self, fname, img_transform):\n",
    "\t\t#nothing special here, just internalizing the constructor parameters\n",
    "\t\tself.fname=fname\n",
    "\n",
    "\t\tself.img_transform=img_transform\n",
    "\t\t\t\n",
    "\t\twith tables.open_file(self.fname,'r') as db:\n",
    "\t\t\tself.classsizes=db.root.classsizes[:]\n",
    "\t\t\tself.nitems=db.root.imgs.shape[0]\n",
    "\t\t\t\n",
    "\t\tself.imgs = None\n",
    "\t\tself.labels = None\n",
    "\t\tself.slide_ids = None\n",
    "\t\tself.mode = 1\n",
    "\t\tself.idxs = None\n",
    "\n",
    "\tdef get_slide_ids(self):\n",
    "\t\twith tables.open_file(self.fname,'r') as db:\n",
    "\t\t\treturn torch.tensor(np.array(db.root.slide_ids))\n",
    "\t\t\n",
    "\tdef get_labels(self):\n",
    "\t\twith tables.open_file(self.fname,'r') as db:\n",
    "\t\t\treturn torch.tensor(np.array(db.root.labels))\n",
    "\n",
    "\tdef setmode(self, mode):\n",
    "\t\tself.mode = mode\n",
    "\n",
    "\tdef make_train_data(self, idxs):\n",
    "\t\t\"\"\"creates a training set based on the topk highest probability patches\n",
    "\t\t\n",
    "\t\t\tArgs:\n",
    "\t\t\t\tidxs (int[]): array of patch ids. \n",
    "\t\t\n",
    "\t\t\tReturns: \n",
    "\t\t\t\tNone: \n",
    "\t\t\"\"\"\n",
    "\t\tself.idxs = idxs\n",
    "\n",
    "\tdef shuffle_training_data(self):\n",
    "\t\tself.idxs = random.sample(self.idxs, len(self.idxs))\n",
    "\t\t\t\n",
    "\tdef __getitem__(self, index):\n",
    "\t\tif self.mode==1:\t# without topk grouping: the full dataset\n",
    "\t\t\t#opening should be done in __init__ but seems to be\n",
    "\t\t\t#an issue with multithreading so doing here. need to do it everytime, otherwise hdf5 crashes\n",
    "\t\t\twith tables.open_file(self.fname,'r') as db:\n",
    "\t\t\t\tself.imgs=db.root.imgs\n",
    "\t\t\t\tself.labels=db.root.labels\n",
    "\t\t\t\tself.slide_ids=db.root.slide_ids\n",
    "\n",
    "\t\t\t\t#get the requested image\n",
    "\t\t\t\timg = self.imgs[index,::]\n",
    "\t\t\t\tlabel = self.labels[index]\n",
    "\t\t\t\tslide_id = self.slide_ids[index]\n",
    "\t\t\t\n",
    "\t\t\tif self.img_transform is not None:\n",
    "\t\t\t\timg_new = self.img_transform(img)\n",
    "\n",
    "\t\t\treturn img_new, label, img, slide_id\n",
    "\n",
    "\t\telif self.mode==2:\t# topk sampling: only the top k instances from each slide, compiled.\n",
    "\t\t\twith tables.open_file(self.fname,'r') as db:\n",
    "\t\t\t\tself.imgs=db.root.imgs\n",
    "\t\t\t\tself.labels=db.root.labels\n",
    "\t\t\t\tself.slide_ids=db.root.slide_ids\n",
    "\n",
    "\t\t\t\thigh_prob_tile_index = self.idxs[index]\t# converts input index to the index within interesting patches.\n",
    "\n",
    "\t\t\t\timg = self.imgs[high_prob_tile_index,::]\n",
    "\t\t\t\tlabel = self.labels[high_prob_tile_index]\n",
    "\t\t\t\tslide_id = self.slide_ids[high_prob_tile_index]\n",
    "\n",
    "\t\t\tif self.img_transform is not None:\n",
    "\t\t\t\timg_new = self.img_transform(img)\n",
    "\n",
    "\t\t\treturn img_new, label, img, slide_id\n",
    "\t\telse:\n",
    "\t\t\traise ValueError('Mode has not been set to either 1 or 2')\n",
    "\n",
    "\tdef __len__(self):\n",
    "\t\tif self.mode == 1:\n",
    "\t\t\treturn self.nitems\n",
    "\t\telif self.mode == 2:\n",
    "\t\t\treturn len(self.idxs)\n",
    "\t\telse:\n",
    "\t\t\treturn None\n"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "source": [
    "#helper function for pretty printing of current time and remaining time\n",
    "def asMinutes(s):\n",
    "    m = math.floor(s / 60)\n",
    "    s -= m * 60\n",
    "    return '%dm %ds' % (m, s)\n",
    "def timeSince(since, percent):\n",
    "    now = time.time()\n",
    "    s = now - since\n",
    "    es = s / (percent+.00001)\n",
    "    rs = es - s\n",
    "    return '%s (- %s)' % (asMinutes(s), asMinutes(rs))"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "source": [
    "def prepare_dataset(dataname, batch_size, phases):\n",
    "\t\"\"\"Prepares a dataset based on a pre-created pytable set.\n",
    "\t\n",
    "\t\tArgs:\n",
    "\t\t\tdataname (str): name of the data\n",
    "\t\t\tphase (str): target phase\n",
    "\t\t\tbatch_size: size of each batch\n",
    "\t\t\n",
    "\t\tReturns: \n",
    "\t\t\tdataset: dataset object\n",
    "\t\t\tdataloader: used to load data directly into the model\n",
    "\t\"\"\"\n",
    "\t\n",
    "\timg_transform = transforms.Compose([\n",
    "    transforms.ToPILImage(),\n",
    "    # transforms.RandomVerticalFlip(),\n",
    "    # transforms.RandomHorizontalFlip(),\n",
    "    # transforms.RandomCrop(size=(patch_size,patch_size),pad_if_needed=True), #these need to be in a reproducible order, first affine transforms and then color\n",
    "    transforms.ToTensor()\n",
    "    ])\n",
    "\n",
    "\tdataset={}\n",
    "\tdataLoader={}\n",
    "\tfor phase in phases: #now for each of the phases, we're creating the dataloader\n",
    "\t\t\t\t\t\t#interestingly, given the batch size, i've not seen any improvements from using a num_workers>0\n",
    "\t\t\n",
    "\t\tdataset[phase]=Dataset(f\"./data/{dataname}_{phase}.pytable\", img_transform=img_transform)\n",
    "\t\tdataLoader[phase]=DataLoader(dataset[phase], batch_size=batch_size, \n",
    "\t\t\t\t\t\t\t\t\tshuffle=False, num_workers=0,pin_memory=True, drop_last=False) \n",
    "\t\tprint(f\"{phase} dataset size:\\t{len(dataset[phase])}\")\n",
    "\n",
    "\treturn dataset, dataLoader"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "source": [
    "def define_model(dataname, dataset, device, load_weights=False):\n",
    "\t\"\"\"creates the model object and associated tools\n",
    "\t\n",
    "\t\tArgs:\n",
    "\t\t\tdataname (str): name of the data\n",
    "\t\t\tdataset (Dataset): dataset object\n",
    "\t\t\tdevice (): processing unit to use\n",
    "\t\t\tload_weights (bool): whether or not to load pretrained\n",
    "\t\t\t\t\t\t\t\tweights from a .pth file\n",
    "\t\n",
    "\t\tReturns: \n",
    "\t\t\tmodel: resnet18 model\n",
    "\t\t\tcriterion: a CrossEntropyLoss object\n",
    "\t\t\toptimizer: an Adam optimizer\n",
    "\t\"\"\"\n",
    "\t\n",
    "\tmodel = models.resnet18()\n",
    "\tmodel.fc = nn.Linear(model.fc.in_features, 2)\n",
    "\tmodel.to(device)\n",
    "\n",
    "\tclass_weight=dataset[\"train\"].classsizes\n",
    "\tclass_weight=torch.from_numpy(1-class_weight/class_weight.sum()).type('torch.FloatTensor').to(device)\n",
    "\tcriterion = nn.CrossEntropyLoss(weight=class_weight)\n",
    "\toptimizer = torch.optim.Adam(model.parameters())\n",
    "\n",
    "\tif load_weights:\n",
    "\t\tcheckpoint = torch.load(f\"{dataname}_unet_best_model.pth\")\n",
    "\t\tmodel.load_state_dict(checkpoint['model_dict'])\n",
    "\n",
    "\treturn model, criterion, optimizer"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "source": [
    "def define_device(gpuid):\n",
    "\t\"\"\"specify if we should use a GPU (cuda) or only the CPU\n",
    "\t\n",
    "\t\tArgs:\n",
    "\t\t\tgpuid (int): which gpu is being used \n",
    "\t\n",
    "\t\tReturns: \n",
    "\t\t\tdevice: the gpu (cuda) or the cpu\n",
    "\t\"\"\"\n",
    "\t\n",
    "\tif(torch.cuda.is_available()):\n",
    "\t\tprint(torch.cuda.get_device_properties(gpuid))\n",
    "\t\ttorch.cuda.set_device(gpuid)\n",
    "\t\tdevice = torch.device(f'cuda:{gpuid}')\n",
    "\telse:\n",
    "\t\tdevice = torch.device(f'cpu')\n",
    "\n",
    "\treturn device"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "source": [
    "def infer(run, dataLoader, dataset, model, phase, device, batchsize):\n",
    "\t\n",
    "\tmodel.eval()\n",
    "\tprobs = torch.FloatTensor(len(dataset[phase]))\n",
    "\tfor ii, (X, label, img_orig, slide_id) in enumerate(dataLoader[phase]):\n",
    "\t\tX = X.to(device)  # [Nbatch, 3, H, W]\n",
    "\t\tlabel = label.type('torch.LongTensor').to(device)\n",
    "\t\toutput = F.softmax(model(X), dim=1)\n",
    "\t\tprobs[ii*batchsize : ii*batchsize+X.shape[0]] = output.detach()[:,1].clone()\n",
    "\t\n",
    "\treturn probs.cpu().numpy()"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "source": [
    "def train(run, dataLoader, model, criterion, optimizer, device):\n",
    "\tmodel.train()\n",
    "\trunning_loss = 0.\n",
    "\tfor ii, (X, label, img_orig, slide_id) in enumerate(dataLoader['train']): # where ii is the batch number\n",
    "\t\t# print(f\"batch={ii} epoch={run}\")\n",
    "\t\t# print(f\"X.shape={X.shape}\")\n",
    "\t\tX = X.to(device)\n",
    "\t\tlabel = label.type('torch.LongTensor').to(device)\n",
    "\n",
    "\t\toutput = model(X)\n",
    "\t\tloss = criterion(output, label)\n",
    "\t\toptimizer.zero_grad()\n",
    "\t\tloss.backward()\n",
    "\t\toptimizer.step()\n",
    "\t\n",
    "\treturn loss\n",
    "\n"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "source": [
    "def calc_err(pred,real):\n",
    "\t\"\"\"error analysis during validation\n",
    "\t\n",
    "\t\tArgs:\n",
    "\t\t\tpred (int[]): the array of 0/1 predictions of the model\n",
    "\t\t\treal (int[]): the array of ground-truth labels \n",
    "\t\n",
    "\t\tReturns: \n",
    "\t\t\terr (float): the err generated from pred and real\n",
    "\t\t\tfpr (float): false positive rate\n",
    "\t\t\tfnr (float): false negative rate\n",
    "\t\"\"\"\n",
    "\n",
    "\tpred = np.array(pred)\n",
    "\treal = np.array(real)\n",
    "\t\n",
    "\tneq = np.not_equal(pred, real)\n",
    "\terr = float(neq.sum())/pred.shape[0]\n",
    "\tfpr = float(np.logical_and(pred==1,neq).sum())/(real==0).sum()\n",
    "\tfnr = float(np.logical_and(pred==0,neq).sum())/(real==1).sum()\n",
    "\treturn err, fpr, fnr"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "source": [
    "def group_argtopk(groups, data,k=1):\n",
    "\t\"\"\"Outputs the index of the instance with the highest probability for each spot. \n",
    "\t\n",
    "\t\tArgs:\n",
    "\t\t\tgroups (int[]): list of slide ids for each instance, ex. [1,1,5,4,7,4,7,7, ...]\n",
    "\t\t\tdata (float[]): list of probabilities for each instance, ex. [.7,.8,.1,.4,.5, ...]\n",
    "\t\tReturns: \n",
    "\t\t\tint[]: k indices for each slide, which include the highest inferred probabilities for that slide.\n",
    "\t\t\t\t   ex. index 0 refers to the highest prob for the 0th slide,\n",
    "\t\t\t\t\t   index 1 refers to the highest prob for the 1st slide,\n",
    "\t\t\t\t\t   ...\n",
    "\t\"\"\"\n",
    "\t\n",
    "\torder = np.lexsort((data, groups))\n",
    "\tgroups = groups[order]\n",
    "\tdata = data[order]\n",
    "\tindex = np.empty(len(groups), 'bool')\n",
    "\tindex[-k:] = True\n",
    "\tindex[:-k] = groups[k:] != groups[:-k]\n",
    "\treturn list(order[index])\n"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "source": [
    "def group_max(groups, data, nmax):\n",
    "\t\"\"\"description\n",
    "\n",
    "\t\tArgs:\n",
    "\t\t\tparamname (paramtype): describe_the_param \n",
    "\n",
    "\t\tReturns: \n",
    "\t\t\ttype: description\n",
    "\t\"\"\"\n",
    "\tout = np.empty(nmax)\n",
    "\tout[:] = np.nan\n",
    "\torder = np.lexsort((data, groups))\n",
    "\tgroups = groups[order]\n",
    "\tdata = data[order]\n",
    "\tindex = np.empty(len(groups), 'bool')\n",
    "\tindex[-1] = True\n",
    "\tindex[:-1] = groups[1:] != groups[:-1]\n",
    "\tout[groups[index]] = data[index]\n",
    "\treturn out"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "source": [
    "def save_to_tensorboard(writer, phase, all_loss, all_acc, epoch, cmatrix):\n",
    "\tall_acc[phase]=(cmatrix[phase]/cmatrix[phase].sum()).trace()\n",
    "\tall_loss[phase] = all_loss[phase].cpu().numpy().mean()\n",
    "\n",
    "\twriter.add_scalar(f'{phase}/loss', all_loss[phase], epoch)\n",
    "\n",
    "\tif phase == 'val':\n",
    "\t\twriter.add_scalar(f'{phase}/acc', all_acc[phase], epoch)\n",
    "\t\tfor r in range(2):\n",
    "\t\t\tfor c in range(2): #essentially write out confusion matrix\n",
    "\t\t\t\twriter.add_scalar(f'{phase}/{r}{c}', cmatrix[phase][r][c],epoch)\n",
    "\t"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "source": [
    "def generate_single_output(dataname, phase, imgid, model):\n",
    "\t'''\n",
    "\tWORK IN PROGRESS'''\n",
    "\tdb = tables.open_file(f\"./{dataname}_{phase}.pytable\")\n",
    "\timg = db.root.imgs[imgid, ::]\n",
    "\tlabel = torch.tensor(np.array(db.root.labels[imgid]))\n",
    "\tfig, ax = plt.subplots(1, 2)\n",
    "\tax = ax.flatten()\n",
    "\n",
    "\toutput = model(img)\n",
    "\n",
    "\tax[0].set_title()\n",
    "\tax[0]"
   ],
   "outputs": [],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "source": [
    "# --- general parameters\n",
    "dataname = 'MIL_32x32_100pos'\n",
    "gpuid=0\n",
    "k=50\n",
    "\n",
    "# --- resnet params\n",
    "n_classes = 2\n",
    "in_channels = 3\n",
    "\n",
    "# --- evaluation params\n",
    "batch_size=64\n",
    "patch_size=32 #based on resnet architecture. Changed from 224\n",
    "num_epochs=10\n",
    "phases = [\"train\",\"val\"] #how many phases did we create databases for?\n",
    "\n",
    "# --- initializing model and dataset\n",
    "writer = SummaryWriter()\n",
    "device = define_device(gpuid)\n",
    "dataset, dataLoader = prepare_dataset(dataname, batch_size, phases)\n",
    "model, criterion, optimizer = define_model(dataname, dataset, device)\n",
    "best_loss_on_test = np.Infinity\n",
    "\n",
    "for epoch in range(num_epochs):\n",
    "\tall_acc = {key: 0 for key in phases} \n",
    "\tall_loss = {key: torch.zeros(0).to(device) for key in phases} #keep this on GPU for greatly improved performance\n",
    "\tcmatrix = {key: np.zeros((n_classes,n_classes)) for key in phases}\n",
    "\t\n",
    "\tfor phase in phases:\n",
    "\t\t'''\n",
    "\t\tIf phase is train, model will:\n",
    "\t\t1. infer probabilities for each instance in the training set\n",
    "\t\t2. group the highest probability instances for each WSI\n",
    "\t\t3. train the model based on these instances\n",
    "\t\t4. log the loss.\n",
    "\t\t'''\n",
    "\t\tlabels = dataset[phase].get_labels()\n",
    "\t\tslide_ids = dataset[phase].get_slide_ids()\n",
    "\n",
    "\t\tif phase == 'train':\n",
    "\t\t\tdataset[phase].setmode(1)\n",
    "\t\t\tprobs = infer(epoch, dataLoader, dataset, model, phase, device, batch_size)\n",
    "\t\t\ttopk = group_argtopk(slide_ids, probs, k)\n",
    "\t\t\tdataset[phase].make_train_data(topk)\t\t\t\t\t\t\t\t# this will need to be tested to see if it works\n",
    "\t\t\tdataset[phase].shuffle_training_data()\n",
    "\n",
    "\t\t\tdataset[phase].setmode(2)\n",
    "\t\t\tloss = train(epoch, dataLoader, model, criterion, optimizer, device)\n",
    "\t\t\tall_loss[phase]=torch.cat((all_loss[phase],loss.detach().view(1,-1)))\n",
    "\t\t\tprint('Training\\tEpoch: [{}/{}]\\tLoss: {}'.format(epoch+1, num_epochs, loss))\n",
    "\n",
    "\t\t'''\n",
    "\t\tIf phase is val, model will:\n",
    "\t\t1. infer probabilities\n",
    "\t\t2. identify the maximum probabilities'''\n",
    "\t\tif phase == 'val':\n",
    "\t\t\t# do error analysis\n",
    "\t\t\tdataset[phase].setmode(1)\n",
    "\t\t\tprobs = infer(epoch, dataLoader, dataset, model, phase, device, batch_size)\n",
    "\t\t\tmaxs = group_max(slide_ids, probs, )\n",
    "\t\t\tprint(*maxs)\n",
    "\t\t\t# print(maxs)\tproduced an array with four numbered values followed by many NaN values\n",
    "\t\t\tpred = [1 if x >= 0.5 else 0 for x in maxs]\n",
    "\t\t\tprint(*pred)\n",
    "\t\t\terr,fpr,fnr = calc_err(pred, labels)\t# pred is of type int[] and labels is a tensor-list\n",
    "\t\t\t#cmatrix[phase]=cmatrix[phase]+confusion_matrix(yflat,cpredflat, labels=range(nclasses))\n",
    "\t\t\tprint(f'error: {err}, false positive rate: {fpr}, false negative rate: {fnr}')\n",
    "\n",
    "\t\tsave_to_tensorboard(writer, phase, all_loss, all_acc, epoch, cmatrix)\n",
    "\t\n",
    "\t# save state of model if it's the best one so far.\n",
    "\tif all_loss[\"val\"] < best_loss_on_test:\n",
    "\t\tbest_loss_on_test = all_loss[\"val\"]\n",
    "\t\tprint(\"  **\")\n",
    "\t\tstate = {'epoch': epoch + 1,\n",
    "\t\t'model_dict': model.state_dict(),\n",
    "\t\t'optim_dict': optimizer.state_dict(),\n",
    "\t\t'best_loss_on_test': all_loss,\n",
    "\t\t'n_classes': n_classes}\n",
    "\t\ttorch.save(state, f\"{dataname}_resnet_best_model.pth\")\n",
    "\telse:\n",
    "\t\tprint(\"\")"
   ],
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": [
      "train dataset size:\t10000\n",
      "val dataset size:\t3000\n"
     ]
    },
    {
     "output_type": "stream",
     "name": "stderr",
     "text": [
      "/home/jackson/.local/lib/python3.8/site-packages/torch/nn/functional.py:718: UserWarning: Named tensors and all their associated APIs are an experimental feature and subject to change. Please do not use them for anything important until they are released as stable. (Triggered internally at  /pytorch/c10/core/TensorImpl.h:1156.)\n",
      "  return torch.max_pool2d(input, kernel_size, stride, padding, dilation, ceil_mode)\n"
     ]
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": [
      "Training\tEpoch: [1/10]\tLoss: 0.14530184864997864\n"
     ]
    },
    {
     "output_type": "stream",
     "name": "stderr",
     "text": [
      "/tmp/ipykernel_62563/3899531963.py:2: RuntimeWarning: invalid value encountered in true_divide\n",
      "  all_acc[phase]=(cmatrix[phase]/cmatrix[phase].sum()).trace()\n"
     ]
    },
    {
     "output_type": "stream",
     "name": "stdout",
     "text": [
      "0.0003320824180264026 0.0002983476151712239 0.00029037389322184026 0.00028079934418201447 0.0003890176594723016 0.00038670049980282784 0.0003481248568277806 0.0003535803116392344 0.000364798674127087 0.00040211627492681146 0.0003573053400032222 0.00039709749398753047 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan\n",
      "0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0\n",
      "error: 0.509, false positive rate: 0.0, false negative rate: 1.0\n",
      "\n"
     ]
    },
    {
     "output_type": "stream",
     "name": "stderr",
     "text": [
      "/tmp/ipykernel_62563/3899531963.py:3: RuntimeWarning: Mean of empty slice.\n",
      "  all_loss[phase] = all_loss[phase].cpu().numpy().mean()\n",
      "/home/jackson/.local/lib/python3.8/site-packages/numpy/core/_methods.py:189: RuntimeWarning: invalid value encountered in true_divide\n",
      "  ret = ret.dtype.type(ret / rcount)\n"
     ]
    },
    {
     "output_type": "error",
     "ename": "KeyboardInterrupt",
     "evalue": "",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mKeyboardInterrupt\u001b[0m                         Traceback (most recent call last)",
      "\u001b[0;32m/tmp/ipykernel_62563/743118462.py\u001b[0m in \u001b[0;36m<module>\u001b[0;34m\u001b[0m\n\u001b[1;32m     45\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m     46\u001b[0m                         \u001b[0mdataset\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0mphase\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0msetmode\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;36m2\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m---> 47\u001b[0;31m                         \u001b[0mloss\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mtrain\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mepoch\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mdataLoader\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mmodel\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mcriterion\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0moptimizer\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mdevice\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m     48\u001b[0m                         \u001b[0mall_loss\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0mphase\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mtorch\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mcat\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mall_loss\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0mphase\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0mloss\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mdetach\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mview\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;36m1\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m-\u001b[0m\u001b[0;36m1\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m     49\u001b[0m                         \u001b[0mprint\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m'Training\\tEpoch: [{}/{}]\\tLoss: {}'\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mformat\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mepoch\u001b[0m\u001b[0;34m+\u001b[0m\u001b[0;36m1\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mnum_epochs\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mloss\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m/tmp/ipykernel_62563/4200115775.py\u001b[0m in \u001b[0;36mtrain\u001b[0;34m(run, dataLoader, model, criterion, optimizer, device)\u001b[0m\n\u001b[1;32m     11\u001b[0m                 \u001b[0mloss\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mcriterion\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0moutput\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mlabel\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m     12\u001b[0m                 \u001b[0moptimizer\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mzero_grad\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m---> 13\u001b[0;31m                 \u001b[0mloss\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mbackward\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m     14\u001b[0m                 \u001b[0moptimizer\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mstep\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m     15\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m~/.local/lib/python3.8/site-packages/torch/_tensor.py\u001b[0m in \u001b[0;36mbackward\u001b[0;34m(self, gradient, retain_graph, create_graph, inputs)\u001b[0m\n\u001b[1;32m    253\u001b[0m                 \u001b[0mcreate_graph\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mcreate_graph\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    254\u001b[0m                 inputs=inputs)\n\u001b[0;32m--> 255\u001b[0;31m         \u001b[0mtorch\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mautograd\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mbackward\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mgradient\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mretain_graph\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mcreate_graph\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0minputs\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0minputs\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    256\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    257\u001b[0m     \u001b[0;32mdef\u001b[0m \u001b[0mregister_hook\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mhook\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m~/.local/lib/python3.8/site-packages/torch/autograd/__init__.py\u001b[0m in \u001b[0;36mbackward\u001b[0;34m(tensors, grad_tensors, retain_graph, create_graph, grad_variables, inputs)\u001b[0m\n\u001b[1;32m    145\u001b[0m         \u001b[0mretain_graph\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mcreate_graph\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    146\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 147\u001b[0;31m     Variable._execution_engine.run_backward(\n\u001b[0m\u001b[1;32m    148\u001b[0m         \u001b[0mtensors\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mgrad_tensors_\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mretain_graph\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mcreate_graph\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0minputs\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    149\u001b[0m         allow_unreachable=True, accumulate_grad=True)  # allow_unreachable flag\n",
      "\u001b[0;31mKeyboardInterrupt\u001b[0m: "
     ]
    }
   ],
   "metadata": {}
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "source": [
    "#for ii, (X, label, img_orig, slide_id) in enumerate(dataLoader['train']):\n",
    "#\tprint(ii)"
   ],
   "outputs": [],
   "metadata": {}
  }
 ],
 "metadata": {
  "kernelspec": {
   "name": "python3",
   "display_name": "Python 3.8.10 64-bit"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.10"
  },
  "interpreter": {
   "hash": "916dbcbb3f70747c44a77c7bcd40155683ae19c65e1c03b4aa3499c5328201f1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}