{"cells":[{"cell_type":"code","execution_count":1,"metadata":{"application/vnd.databricks.v1+cell":{"cellMetadata":{},"inputWidgets":{},"nuid":"0ea8b46b-839b-445b-8043-ccdf4e920ace","showTitle":false,"title":""},"id":"YLH80COBzi_F"},"outputs":[],"source":["%load_ext autoreload\n","%autoreload 2"]},{"cell_type":"code","execution_count":2,"metadata":{"id":"63B5exAuzq4M"},"outputs":[],"source":["from pathlib import Path\n","\n","if \"workding_dir\" not in locals():\n","    try:\n","        from google.colab import drive\n","        drive.mount('/content/drive')\n","        workding_dir = \"/content/drive/MyDrive/logical-reasoning/\"\n","    except ModuleNotFoundError:\n","        workding_dir = str(Path.cwd().parent)"]},{"cell_type":"code","execution_count":3,"metadata":{"executionInfo":{"elapsed":368,"status":"ok","timestamp":1719461634865,"user":{"displayName":"Donghao Huang","userId":"00463591218503521679"},"user_tz":-480},"id":"zFulf0bg0H-9","outputId":"debdd535-c828-40b9-efc0-8a180e5830dd"},"outputs":[{"name":"stdout","output_type":"stream","text":["workding dir: /Users/inflaton/code/engd/projects/logical-reasoning\n"]}],"source":["import os\n","import sys\n","\n","os.chdir(workding_dir)\n","sys.path.append(workding_dir)\n","print(\"workding dir:\", workding_dir)"]},{"cell_type":"code","execution_count":4,"metadata":{"application/vnd.databricks.v1+cell":{"cellMetadata":{},"inputWidgets":{},"nuid":"9f67ec60-2f24-411c-84eb-0dd664b44775","showTitle":false,"title":""},"colab":{"base_uri":"https://localhost:8080/"},"executionInfo":{"elapsed":589,"status":"ok","timestamp":1719462011879,"user":{"displayName":"Donghao Huang","userId":"00463591218503521679"},"user_tz":-480},"id":"DIUiweYYzi_I","outputId":"e16e9247-9077-4b0c-f8ea-17059f05a1c4"},"outputs":[{"name":"stdout","output_type":"stream","text":["loading env vars from: /Users/inflaton/code/engd/projects/logical-reasoning/.env\n"]},{"data":{"text/plain":["True"]},"execution_count":4,"metadata":{},"output_type":"execute_result"}],"source":["from dotenv import find_dotenv, load_dotenv\n","\n","found_dotenv = find_dotenv(\".env\")\n","\n","if len(found_dotenv) == 0:\n","    found_dotenv = find_dotenv(\".env.example\")\n","print(f\"loading env vars from: {found_dotenv}\")\n","load_dotenv(found_dotenv, override=True)"]},{"cell_type":"code","execution_count":5,"metadata":{},"outputs":[{"name":"stdout","output_type":"stream","text":["internlm/internlm2_5-7b-chat-1m datasets/mgtv data/openai_results.csv 2048\n"]}],"source":["import os\n","\n","model_name = os.getenv(\"MODEL_NAME\")\n","data_path = os.getenv(\"LOGICAL_REASONING_DATA_PATH\")\n","results_path = os.getenv(\"LOGICAL_REASONING_RESULTS_PATH\")\n","max_new_tokens = int(os.getenv(\"MAX_NEW_TOKENS\", 2048))\n","\n","print(model_name, data_path, results_path, max_new_tokens)"]},{"cell_type":"code","execution_count":6,"metadata":{},"outputs":[{"name":"stdout","output_type":"stream","text":["loading /Users/inflaton/code/engd/projects/logical-reasoning/llm_toolkit/logical_reasoning_utils.py\n"]}],"source":["from llm_toolkit.logical_reasoning_utils import *"]},{"cell_type":"code","execution_count":7,"metadata":{},"outputs":[{"name":"stdout","output_type":"stream","text":["loading train/test data files\n","DatasetDict({\n","    train: Dataset({\n","        features: ['text', 'label', 'answer', 'title', 'puzzle', 'truth'],\n","        num_rows: 25000\n","    })\n","    test: Dataset({\n","        features: ['text', 'label', 'answer', 'title', 'puzzle', 'truth'],\n","        num_rows: 3000\n","    })\n","})\n","num_shots: 10\n","labels: ['不是' '不重要' '是' '问法错误' '回答正确']\n","P2_few_shot: 你是一个情景猜谜游戏的主持人。游戏规则如下：\n","\n","1. 参与者会得到一个谜面，谜面会描述一个简单又难以理解的事件。\n","2. 主持人知道谜底，谜底是谜面的答案。\n","3. 参与者可以询问任何封闭式问题来找寻事件的真相。\n","4. 对于每个问题，主持人将根据实际情况回答以下五个选项之一：是、不是、不重要、回答正确、问法错误。各回答的判断标准如下：\n","   - 若谜面和谜底能找到问题的答案，回答：是或者不是\n","   - 若谜面和谜底不能直接或者间接推断出问题的答案，回答：不重要\n","   - 若参与者提问不是一个封闭式问题或者问题难以理解，回答：问法错误\n","   - 若参与者提问基本还原了谜底真相，回答：回答正确\n","5. 回答中不能添加任何其它信息，也不能省略选项中的任何一个字。例如，不可以把“不是”省略成“不”。\n","\n","请严格按照这些规则回答参与者提出的问题。\n","\n","示例输入和输出: \n","谜面: 在甄家村里，有一个古老的传说：每年南瓜丰收的季节，南瓜田里总有一个最大的南瓜会不翼而飞，村民们对此现象困惑不解。请找出南瓜失踪背后的原因。\n","谜底: 真相原来与一位年迈的农夫有关。这位农夫年轻时，曾与一位美丽的姑娘相恋。他们约定在南瓜丰收的季节结婚。然而，命运弄人，姑娘在婚礼前的一场意外中离世。悲伤的农夫为了纪念心爱的姑娘，每年都会将最大的南瓜偷走，放到姑娘的墓前，以此寄托自己的哀思。这一行为延续了多年，成为了乡村里一个神秘的传说。\n","参与者提出的问题: 偷的人信神吗\n","回答: 不是\n","\n","谜面: 在甄家村里，有一个古老的传说：每年南瓜丰收的季节，南瓜田里总有一个最大的南瓜会不翼而飞，村民们对此现象困惑不解。请找出南瓜失踪背后的原因。\n","谜底: 真相原来与一位年迈的农夫有关。这位农夫年轻时，曾与一位美丽的姑娘相恋。他们约定在南瓜丰收的季节结婚。然而，命运弄人，姑娘在婚礼前的一场意外中离世。悲伤的农夫为了纪念心爱的姑娘，每年都会将最大的南瓜偷走，放到姑娘的墓前，以此寄托自己的哀思。这一行为延续了多年，成为了乡村里一个神秘的传说。\n","参与者提出的问题: 村庄里的人喜欢南瓜嘛\n","回答: 不重要\n","\n","谜面: 在甄家村里，有一个古老的传说：每年南瓜丰收的季节，南瓜田里总有一个最大的南瓜会不翼而飞，村民们对此现象困惑不解。请找出南瓜失踪背后的原因。\n","谜底: 真相原来与一位年迈的农夫有关。这位农夫年轻时，曾与一位美丽的姑娘相恋。他们约定在南瓜丰收的季节结婚。然而，命运弄人，姑娘在婚礼前的一场意外中离世。悲伤的农夫为了纪念心爱的姑娘，每年都会将最大的南瓜偷走，放到姑娘的墓前，以此寄托自己的哀思。这一行为延续了多年，成为了乡村里一个神秘的传说。\n","参与者提出的问题: 是村里的人偷的么\n","回答: 是\n","\n","谜面: 在一个炎热的夏日，乡村的甄家大院的西瓜突然全部不翼而飞。据了解，甄家大院周围并没有其他人家，而且门窗都完好无损，没有任何被撬的痕迹。村民们议论纷纷，猜测这批西瓜究竟去了哪里。你知道西瓜去了哪里吗？\n","谜底: 原来，这批西瓜是被一只巨大的乌鸦偷走了。这只乌鸦为了给自己的孩子们准备食物，它趁着夜色，竟然将甄家大院的西瓜一颗颗地带回了巢穴。第二天，村民们发现了乌鸦的巢穴，里面堆满了西瓜，而这个意外的真相让所有人都忍俊不禁。甄家老爷也感慨地说：“真是世界大了，什么奇事都有！”\n","参与者提出的问题: 挖地道\n","回答: 问法错误\n","\n","谜面: 在一个炎热的夏日，乡村的甄家大院的西瓜突然全部不翼而飞。据了解，甄家大院周围并没有其他人家，而且门窗都完好无损，没有任何被撬的痕迹。村民们议论纷纷，猜测这批西瓜究竟去了哪里。你知道西瓜去了哪里吗？\n","谜底: 原来，这批西瓜是被一只巨大的乌鸦偷走了。这只乌鸦为了给自己的孩子们准备食物，它趁着夜色，竟然将甄家大院的西瓜一颗颗地带回了巢穴。第二天，村民们发现了乌鸦的巢穴，里面堆满了西瓜，而这个意外的真相让所有人都忍俊不禁。甄家老爷也感慨地说：“真是世界大了，什么奇事都有！”\n","参与者提出的问题: 鸟觅食时发现甄家大院有西瓜，飞入大院一颗一颗把西瓜带走\n","回答: 回答正确\n","\n","谜面: 在一个安静的夜晚，小镇上的钟楼突然停止了报时。第二天早晨，人们发现钟楼的管理员甄大勇失踪了，而钟楼的门紧闭，从外面看起来一切正常。小镇上的人们议论纷纷，不知道发生了什么事情。\n","谜底: 真相是，钟楼的管理员甄大勇在夜晚进行例行的钟楼维护时，不慎从钟楼的顶部摔落，但并未死亡，只是昏迷。由于他跌落时砸到了控制时钟报时的机械装置，导致钟声停止。他躺在钟楼底部，但由于门从内部反锁，外面的人无法进入。甄大勇在第二天中午苏醒后，自己打开了门，这才知道自己引发了小镇上的恐慌。\n","参与者提出的问题: 有人身亡吗？\n","回答: 不是\n","\n","谜面: 在一个安静的夜晚，小镇上的钟楼突然停止了报时。第二天早晨，人们发现钟楼的管理员甄大勇失踪了，而钟楼的门紧闭，从外面看起来一切正常。小镇上的人们议论纷纷，不知道发生了什么事情。\n","谜底: 真相是，钟楼的管理员甄大勇在夜晚进行例行的钟楼维护时，不慎从钟楼的顶部摔落，但并未死亡，只是昏迷。由于他跌落时砸到了控制时钟报时的机械装置，导致钟声停止。他躺在钟楼底部，但由于门从内部反锁，外面的人无法进入。甄大勇在第二天中午苏醒后，自己打开了门，这才知道自己引发了小镇上的恐慌。\n","参与者提出的问题: 有人跟甄大勇有仇吗\n","回答: 不重要\n","\n","谜面: 在一个安静的夜晚，小镇上的钟楼突然停止了报时。第二天早晨，人们发现钟楼的管理员甄大勇失踪了，而钟楼的门紧闭，从外面看起来一切正常。小镇上的人们议论纷纷，不知道发生了什么事情。\n","谜底: 真相是，钟楼的管理员甄大勇在夜晚进行例行的钟楼维护时，不慎从钟楼的顶部摔落，但并未死亡，只是昏迷。由于他跌落时砸到了控制时钟报时的机械装置，导致钟声停止。他躺在钟楼底部，但由于门从内部反锁，外面的人无法进入。甄大勇在第二天中午苏醒后，自己打开了门，这才知道自己引发了小镇上的恐慌。\n","参与者提出的问题: 他仅仅是在修钟楼吗\n","回答: 是\n","\n","谜面: 在一个安静的夜晚，小镇上的钟楼突然停止了报时。第二天早晨，人们发现钟楼的管理员甄大勇失踪了，而钟楼的门紧闭，从外面看起来一切正常。小镇上的人们议论纷纷，不知道发生了什么事情。\n","谜底: 真相是，钟楼的管理员甄大勇在夜晚进行例行的钟楼维护时，不慎从钟楼的顶部摔落，但并未死亡，只是昏迷。由于他跌落时砸到了控制时钟报时的机械装置，导致钟声停止。他躺在钟楼底部，但由于门从内部反锁，外面的人无法进入。甄大勇在第二天中午苏醒后，自己打开了门，这才知道自己引发了小镇上的恐慌。\n","参与者提出的问题: 是自然意外还是人为意外\n","回答: 问法错误\n","\n","谜面: 在一个安静的夜晚，小镇上的钟楼突然停止了报时。第二天早晨，人们发现钟楼的管理员甄大勇失踪了，而钟楼的门紧闭，从外面看起来一切正常。小镇上的人们议论纷纷，不知道发生了什么事情。\n","谜底: 真相是，钟楼的管理员甄大勇在夜晚进行例行的钟楼维护时，不慎从钟楼的顶部摔落，但并未死亡，只是昏迷。由于他跌落时砸到了控制时钟报时的机械装置，导致钟声停止。他躺在钟楼底部，但由于门从内部反锁，外面的人无法进入。甄大勇在第二天中午苏醒后，自己打开了门，这才知道自己引发了小镇上的恐慌。\n","参与者提出的问题: 因为甄在钟楼里维修然后昏迷了导致钟楼停止报时\n","回答: 回答正确\n","\n","\n","谜面: {}\n","谜底: {}\n","参与者提出的问题: {}\n","回答: \n","\n"]}],"source":["datasets = load_logical_reasoning_dataset(data_path)\n","\n","prompt = get_few_shot_prompt_template(10, datasets[\"train\"].to_pandas(), debug=True)"]},{"cell_type":"markdown","metadata":{},"source":["## Run Batch Inference"]},{"cell_type":"code","execution_count":10,"metadata":{},"outputs":[{"name":"stdout","output_type":"stream","text":["loading train/test data files\n","DatasetDict({\n","    train: Dataset({\n","        features: ['text', 'label', 'answer', 'title', 'puzzle', 'truth'],\n","        num_rows: 25000\n","    })\n","    test: Dataset({\n","        features: ['text', 'label', 'answer', 'title', 'puzzle', 'truth'],\n","        num_rows: 3000\n","    })\n","})\n","num_shots: 10\n","labels: ['不是' '不重要' '是' '问法错误' '回答正确']\n","P2_few_shot: 你是一个情景猜谜游戏的主持人。游戏规则如下：\n","\n","1. 参与者会得到一个谜面，谜面会描述一个简单又难以理解的事件。\n","2. 主持人知道谜底，谜底是谜面的答案。\n","3. 参与者可以询问任何封闭式问题来找寻事件的真相。\n","4. 对于每个问题，主持人将根据实际情况回答以下五个选项之一：是、不是、不重要、回答正确、问法错误。各回答的判断标准如下：\n","   - 若谜面和谜底能找到问题的答案，回答：是或者不是\n","   - 若谜面和谜底不能直接或者间接推断出问题的答案，回答：不重要\n","   - 若参与者提问不是一个封闭式问题或者问题难以理解，回答：问法错误\n","   - 若参与者提问基本还原了谜底真相，回答：回答正确\n","5. 回答中不能添加任何其它信息，也不能省略选项中的任何一个字。例如，不可以把“不是”省略成“不”。\n","\n","请严格按照这些规则回答参与者提出的问题。\n","\n","示例输入和输出: \n","谜面: 在甄家村里，有一个古老的传说：每年南瓜丰收的季节，南瓜田里总有一个最大的南瓜会不翼而飞，村民们对此现象困惑不解。请找出南瓜失踪背后的原因。\n","谜底: 真相原来与一位年迈的农夫有关。这位农夫年轻时，曾与一位美丽的姑娘相恋。他们约定在南瓜丰收的季节结婚。然而，命运弄人，姑娘在婚礼前的一场意外中离世。悲伤的农夫为了纪念心爱的姑娘，每年都会将最大的南瓜偷走，放到姑娘的墓前，以此寄托自己的哀思。这一行为延续了多年，成为了乡村里一个神秘的传说。\n","参与者提出的问题: 偷的人信神吗\n","回答: 不是\n","\n","谜面: 在甄家村里，有一个古老的传说：每年南瓜丰收的季节，南瓜田里总有一个最大的南瓜会不翼而飞，村民们对此现象困惑不解。请找出南瓜失踪背后的原因。\n","谜底: 真相原来与一位年迈的农夫有关。这位农夫年轻时，曾与一位美丽的姑娘相恋。他们约定在南瓜丰收的季节结婚。然而，命运弄人，姑娘在婚礼前的一场意外中离世。悲伤的农夫为了纪念心爱的姑娘，每年都会将最大的南瓜偷走，放到姑娘的墓前，以此寄托自己的哀思。这一行为延续了多年，成为了乡村里一个神秘的传说。\n","参与者提出的问题: 村庄里的人喜欢南瓜嘛\n","回答: 不重要\n","\n","谜面: 在甄家村里，有一个古老的传说：每年南瓜丰收的季节，南瓜田里总有一个最大的南瓜会不翼而飞，村民们对此现象困惑不解。请找出南瓜失踪背后的原因。\n","谜底: 真相原来与一位年迈的农夫有关。这位农夫年轻时，曾与一位美丽的姑娘相恋。他们约定在南瓜丰收的季节结婚。然而，命运弄人，姑娘在婚礼前的一场意外中离世。悲伤的农夫为了纪念心爱的姑娘，每年都会将最大的南瓜偷走，放到姑娘的墓前，以此寄托自己的哀思。这一行为延续了多年，成为了乡村里一个神秘的传说。\n","参与者提出的问题: 是村里的人偷的么\n","回答: 是\n","\n","谜面: 在一个炎热的夏日，乡村的甄家大院的西瓜突然全部不翼而飞。据了解，甄家大院周围并没有其他人家，而且门窗都完好无损，没有任何被撬的痕迹。村民们议论纷纷，猜测这批西瓜究竟去了哪里。你知道西瓜去了哪里吗？\n","谜底: 原来，这批西瓜是被一只巨大的乌鸦偷走了。这只乌鸦为了给自己的孩子们准备食物，它趁着夜色，竟然将甄家大院的西瓜一颗颗地带回了巢穴。第二天，村民们发现了乌鸦的巢穴，里面堆满了西瓜，而这个意外的真相让所有人都忍俊不禁。甄家老爷也感慨地说：“真是世界大了，什么奇事都有！”\n","参与者提出的问题: 挖地道\n","回答: 问法错误\n","\n","谜面: 在一个炎热的夏日，乡村的甄家大院的西瓜突然全部不翼而飞。据了解，甄家大院周围并没有其他人家，而且门窗都完好无损，没有任何被撬的痕迹。村民们议论纷纷，猜测这批西瓜究竟去了哪里。你知道西瓜去了哪里吗？\n","谜底: 原来，这批西瓜是被一只巨大的乌鸦偷走了。这只乌鸦为了给自己的孩子们准备食物，它趁着夜色，竟然将甄家大院的西瓜一颗颗地带回了巢穴。第二天，村民们发现了乌鸦的巢穴，里面堆满了西瓜，而这个意外的真相让所有人都忍俊不禁。甄家老爷也感慨地说：“真是世界大了，什么奇事都有！”\n","参与者提出的问题: 鸟觅食时发现甄家大院有西瓜，飞入大院一颗一颗把西瓜带走\n","回答: 回答正确\n","\n","谜面: 在一个安静的夜晚，小镇上的钟楼突然停止了报时。第二天早晨，人们发现钟楼的管理员甄大勇失踪了，而钟楼的门紧闭，从外面看起来一切正常。小镇上的人们议论纷纷，不知道发生了什么事情。\n","谜底: 真相是，钟楼的管理员甄大勇在夜晚进行例行的钟楼维护时，不慎从钟楼的顶部摔落，但并未死亡，只是昏迷。由于他跌落时砸到了控制时钟报时的机械装置，导致钟声停止。他躺在钟楼底部，但由于门从内部反锁，外面的人无法进入。甄大勇在第二天中午苏醒后，自己打开了门，这才知道自己引发了小镇上的恐慌。\n","参与者提出的问题: 有人身亡吗？\n","回答: 不是\n","\n","谜面: 在一个安静的夜晚，小镇上的钟楼突然停止了报时。第二天早晨，人们发现钟楼的管理员甄大勇失踪了，而钟楼的门紧闭，从外面看起来一切正常。小镇上的人们议论纷纷，不知道发生了什么事情。\n","谜底: 真相是，钟楼的管理员甄大勇在夜晚进行例行的钟楼维护时，不慎从钟楼的顶部摔落，但并未死亡，只是昏迷。由于他跌落时砸到了控制时钟报时的机械装置，导致钟声停止。他躺在钟楼底部，但由于门从内部反锁，外面的人无法进入。甄大勇在第二天中午苏醒后，自己打开了门，这才知道自己引发了小镇上的恐慌。\n","参与者提出的问题: 有人跟甄大勇有仇吗\n","回答: 不重要\n","\n","谜面: 在一个安静的夜晚，小镇上的钟楼突然停止了报时。第二天早晨，人们发现钟楼的管理员甄大勇失踪了，而钟楼的门紧闭，从外面看起来一切正常。小镇上的人们议论纷纷，不知道发生了什么事情。\n","谜底: 真相是，钟楼的管理员甄大勇在夜晚进行例行的钟楼维护时，不慎从钟楼的顶部摔落，但并未死亡，只是昏迷。由于他跌落时砸到了控制时钟报时的机械装置，导致钟声停止。他躺在钟楼底部，但由于门从内部反锁，外面的人无法进入。甄大勇在第二天中午苏醒后，自己打开了门，这才知道自己引发了小镇上的恐慌。\n","参与者提出的问题: 他仅仅是在修钟楼吗\n","回答: 是\n","\n","谜面: 在一个安静的夜晚，小镇上的钟楼突然停止了报时。第二天早晨，人们发现钟楼的管理员甄大勇失踪了，而钟楼的门紧闭，从外面看起来一切正常。小镇上的人们议论纷纷，不知道发生了什么事情。\n","谜底: 真相是，钟楼的管理员甄大勇在夜晚进行例行的钟楼维护时，不慎从钟楼的顶部摔落，但并未死亡，只是昏迷。由于他跌落时砸到了控制时钟报时的机械装置，导致钟声停止。他躺在钟楼底部，但由于门从内部反锁，外面的人无法进入。甄大勇在第二天中午苏醒后，自己打开了门，这才知道自己引发了小镇上的恐慌。\n","参与者提出的问题: 是自然意外还是人为意外\n","回答: 问法错误\n","\n","谜面: 在一个安静的夜晚，小镇上的钟楼突然停止了报时。第二天早晨，人们发现钟楼的管理员甄大勇失踪了，而钟楼的门紧闭，从外面看起来一切正常。小镇上的人们议论纷纷，不知道发生了什么事情。\n","谜底: 真相是，钟楼的管理员甄大勇在夜晚进行例行的钟楼维护时，不慎从钟楼的顶部摔落，但并未死亡，只是昏迷。由于他跌落时砸到了控制时钟报时的机械装置，导致钟声停止。他躺在钟楼底部，但由于门从内部反锁，外面的人无法进入。甄大勇在第二天中午苏醒后，自己打开了门，这才知道自己引发了小镇上的恐慌。\n","参与者提出的问题: 因为甄在钟楼里维修然后昏迷了导致钟楼停止报时\n","回答: 回答正确\n","\n","\n","谜面: {}\n","谜底: {}\n","参与者提出的问题: {}\n","回答: \n","\n"]}],"source":["df_batch = load_openai_batch_data(data_path, model=\"gpt-4o-mini\")"]},{"cell_type":"code","execution_count":11,"metadata":{},"outputs":[{"name":"stdout","output_type":"stream","text":["--------------------------------------------------\n","custom_id: request-1\n","--------------------------------------------------\n","method: POST\n","--------------------------------------------------\n","url: /v1/chat/completions\n","--------------------------------------------------\n","body: {'model': 'gpt-4o-mini', 'messages': [{'role': 'user', 'content': '你是一个情景猜谜游戏的主持人。游戏规则如下：\\n\\n1. 参与者会得到一个谜面，谜面会描述一个简单又难以理解的事件。\\n2. 主持人知道谜底，谜底是谜面的答案。\\n3. 参与者可以询问任何封闭式问题来找寻事件的真相。\\n4. 对于每个问题，主持人将根据实际情况回答以下五个选项之一：是、不是、不重要、回答正确、问法错误。各回答的判断标准如下：\\n   - 若谜面和谜底能找到问题的答案，回答：是或者不是\\n   - 若谜面和谜底不能直接或者间接推断出问题的答案，回答：不重要\\n   - 若参与者提问不是一个封闭式问题或者问题难以理解，回答：问法错误\\n   - 若参与者提问基本还原了谜底真相，回答：回答正确\\n5. 回答中不能添加任何其它信息，也不能省略选项中的任何一个字。例如，不可以把“不是”省略成“不”。\\n\\n请严格按照这些规则回答参与者提出的问题。\\n\\n示例输入和输出: \\n谜面: 在甄家村里，有一个古老的传说：每年南瓜丰收的季节，南瓜田里总有一个最大的南瓜会不翼而飞，村民们对此现象困惑不解。请找出南瓜失踪背后的原因。\\n谜底: 真相原来与一位年迈的农夫有关。这位农夫年轻时，曾与一位美丽的姑娘相恋。他们约定在南瓜丰收的季节结婚。然而，命运弄人，姑娘在婚礼前的一场意外中离世。悲伤的农夫为了纪念心爱的姑娘，每年都会将最大的南瓜偷走，放到姑娘的墓前，以此寄托自己的哀思。这一行为延续了多年，成为了乡村里一个神秘的传说。\\n参与者提出的问题: 偷的人信神吗\\n回答: 不是\\n\\n谜面: 在甄家村里，有一个古老的传说：每年南瓜丰收的季节，南瓜田里总有一个最大的南瓜会不翼而飞，村民们对此现象困惑不解。请找出南瓜失踪背后的原因。\\n谜底: 真相原来与一位年迈的农夫有关。这位农夫年轻时，曾与一位美丽的姑娘相恋。他们约定在南瓜丰收的季节结婚。然而，命运弄人，姑娘在婚礼前的一场意外中离世。悲伤的农夫为了纪念心爱的姑娘，每年都会将最大的南瓜偷走，放到姑娘的墓前，以此寄托自己的哀思。这一行为延续了多年，成为了乡村里一个神秘的传说。\\n参与者提出的问题: 村庄里的人喜欢南瓜嘛\\n回答: 不重要\\n\\n谜面: 在甄家村里，有一个古老的传说：每年南瓜丰收的季节，南瓜田里总有一个最大的南瓜会不翼而飞，村民们对此现象困惑不解。请找出南瓜失踪背后的原因。\\n谜底: 真相原来与一位年迈的农夫有关。这位农夫年轻时，曾与一位美丽的姑娘相恋。他们约定在南瓜丰收的季节结婚。然而，命运弄人，姑娘在婚礼前的一场意外中离世。悲伤的农夫为了纪念心爱的姑娘，每年都会将最大的南瓜偷走，放到姑娘的墓前，以此寄托自己的哀思。这一行为延续了多年，成为了乡村里一个神秘的传说。\\n参与者提出的问题: 是村里的人偷的么\\n回答: 是\\n\\n谜面: 在一个炎热的夏日，乡村的甄家大院的西瓜突然全部不翼而飞。据了解，甄家大院周围并没有其他人家，而且门窗都完好无损，没有任何被撬的痕迹。村民们议论纷纷，猜测这批西瓜究竟去了哪里。你知道西瓜去了哪里吗？\\n谜底: 原来，这批西瓜是被一只巨大的乌鸦偷走了。这只乌鸦为了给自己的孩子们准备食物，它趁着夜色，竟然将甄家大院的西瓜一颗颗地带回了巢穴。第二天，村民们发现了乌鸦的巢穴，里面堆满了西瓜，而这个意外的真相让所有人都忍俊不禁。甄家老爷也感慨地说：“真是世界大了，什么奇事都有！”\\n参与者提出的问题: 挖地道\\n回答: 问法错误\\n\\n谜面: 在一个炎热的夏日，乡村的甄家大院的西瓜突然全部不翼而飞。据了解，甄家大院周围并没有其他人家，而且门窗都完好无损，没有任何被撬的痕迹。村民们议论纷纷，猜测这批西瓜究竟去了哪里。你知道西瓜去了哪里吗？\\n谜底: 原来，这批西瓜是被一只巨大的乌鸦偷走了。这只乌鸦为了给自己的孩子们准备食物，它趁着夜色，竟然将甄家大院的西瓜一颗颗地带回了巢穴。第二天，村民们发现了乌鸦的巢穴，里面堆满了西瓜，而这个意外的真相让所有人都忍俊不禁。甄家老爷也感慨地说：“真是世界大了，什么奇事都有！”\\n参与者提出的问题: 鸟觅食时发现甄家大院有西瓜，飞入大院一颗一颗把西瓜带走\\n回答: 回答正确\\n\\n谜面: 在一个安静的夜晚，小镇上的钟楼突然停止了报时。第二天早晨，人们发现钟楼的管理员甄大勇失踪了，而钟楼的门紧闭，从外面看起来一切正常。小镇上的人们议论纷纷，不知道发生了什么事情。\\n谜底: 真相是，钟楼的管理员甄大勇在夜晚进行例行的钟楼维护时，不慎从钟楼的顶部摔落，但并未死亡，只是昏迷。由于他跌落时砸到了控制时钟报时的机械装置，导致钟声停止。他躺在钟楼底部，但由于门从内部反锁，外面的人无法进入。甄大勇在第二天中午苏醒后，自己打开了门，这才知道自己引发了小镇上的恐慌。\\n参与者提出的问题: 有人身亡吗？\\n回答: 不是\\n\\n谜面: 在一个安静的夜晚，小镇上的钟楼突然停止了报时。第二天早晨，人们发现钟楼的管理员甄大勇失踪了，而钟楼的门紧闭，从外面看起来一切正常。小镇上的人们议论纷纷，不知道发生了什么事情。\\n谜底: 真相是，钟楼的管理员甄大勇在夜晚进行例行的钟楼维护时，不慎从钟楼的顶部摔落，但并未死亡，只是昏迷。由于他跌落时砸到了控制时钟报时的机械装置，导致钟声停止。他躺在钟楼底部，但由于门从内部反锁，外面的人无法进入。甄大勇在第二天中午苏醒后，自己打开了门，这才知道自己引发了小镇上的恐慌。\\n参与者提出的问题: 有人跟甄大勇有仇吗\\n回答: 不重要\\n\\n谜面: 在一个安静的夜晚，小镇上的钟楼突然停止了报时。第二天早晨，人们发现钟楼的管理员甄大勇失踪了，而钟楼的门紧闭，从外面看起来一切正常。小镇上的人们议论纷纷，不知道发生了什么事情。\\n谜底: 真相是，钟楼的管理员甄大勇在夜晚进行例行的钟楼维护时，不慎从钟楼的顶部摔落，但并未死亡，只是昏迷。由于他跌落时砸到了控制时钟报时的机械装置，导致钟声停止。他躺在钟楼底部，但由于门从内部反锁，外面的人无法进入。甄大勇在第二天中午苏醒后，自己打开了门，这才知道自己引发了小镇上的恐慌。\\n参与者提出的问题: 他仅仅是在修钟楼吗\\n回答: 是\\n\\n谜面: 在一个安静的夜晚，小镇上的钟楼突然停止了报时。第二天早晨，人们发现钟楼的管理员甄大勇失踪了，而钟楼的门紧闭，从外面看起来一切正常。小镇上的人们议论纷纷，不知道发生了什么事情。\\n谜底: 真相是，钟楼的管理员甄大勇在夜晚进行例行的钟楼维护时，不慎从钟楼的顶部摔落，但并未死亡，只是昏迷。由于他跌落时砸到了控制时钟报时的机械装置，导致钟声停止。他躺在钟楼底部，但由于门从内部反锁，外面的人无法进入。甄大勇在第二天中午苏醒后，自己打开了门，这才知道自己引发了小镇上的恐慌。\\n参与者提出的问题: 是自然意外还是人为意外\\n回答: 问法错误\\n\\n谜面: 在一个安静的夜晚，小镇上的钟楼突然停止了报时。第二天早晨，人们发现钟楼的管理员甄大勇失踪了，而钟楼的门紧闭，从外面看起来一切正常。小镇上的人们议论纷纷，不知道发生了什么事情。\\n谜底: 真相是，钟楼的管理员甄大勇在夜晚进行例行的钟楼维护时，不慎从钟楼的顶部摔落，但并未死亡，只是昏迷。由于他跌落时砸到了控制时钟报时的机械装置，导致钟声停止。他躺在钟楼底部，但由于门从内部反锁，外面的人无法进入。甄大勇在第二天中午苏醒后，自己打开了门，这才知道自己引发了小镇上的恐慌。\\n参与者提出的问题: 因为甄在钟楼里维修然后昏迷了导致钟楼停止报时\\n回答: 回答正确\\n\\n\\n谜面: 在远离城市喧嚣的海边小屋，一天清晨，邻居发现甄加索僵卧在沙滩上，已无生命迹象。现场没有发现任何打斗的迹象。请问甄加索的死因是什么？\\n谜底: 甄加索是一位热爱自然的画家，他每年都会来到这个海边小屋寻找灵感。在他生命的最后几天，他一直在创作一幅描绘海洋生物的画作。在画即将完成的前一天晚上，他骑着自行车外出，打算在海边观赏夜景。然而，他在沙滩上意外发现了一只搁浅的海豚，为了救助这只海豚，他耗费了极大的体力，最终成功将其送回海中。筋疲力尽的甄加索在沙滩上睡着了，由于他患有严重的心脏病，却未告知旁人，在寒冷的海风中，他的心脏停止了跳动。因此，警方在现场只发现了车轮痕迹和未完成的画作，而没有发现任何他杀的迹象。\\n参与者提出的问题: 甄加索是自杀吗\\n回答: \\n'}]}\n"]}],"source":["from llm_toolkit.llm_utils import print_row_details\n","\n","print_row_details(df_batch)"]},{"cell_type":"code","execution_count":13,"metadata":{},"outputs":[{"data":{"text/plain":["FileObject(id='file-dFg7ljzKlmPTy6C0KTs6fYxz', bytes=57935228, created_at=1726210402, filename='gpt-4o-mini.jsonl', object='file', purpose='batch', status='processed', status_details=None)"]},"execution_count":13,"metadata":{},"output_type":"execute_result"}],"source":["from openai import OpenAI\n","\n","client = OpenAI()\n","\n","batch_input_file = client.files.create(\n","    file=open(\"datasets/mgtv/gpt-4o-mini.jsonl\", \"rb\"), purpose=\"batch\"\n",")\n","batch_input_file"]},{"cell_type":"code","execution_count":14,"metadata":{},"outputs":[{"data":{"text/plain":["Batch(id='batch_xVbfEAMd9Z3TOH2gkCxoe6GF', completion_window='24h', created_at=1726210433, endpoint='/v1/chat/completions', input_file_id='file-dFg7ljzKlmPTy6C0KTs6fYxz', object='batch', status='validating', cancelled_at=None, cancelling_at=None, completed_at=None, error_file_id=None, errors=None, expired_at=None, expires_at=1726296833, failed_at=None, finalizing_at=None, in_progress_at=None, metadata={'description': 'nightly eval job - gpt-4o-mini'}, output_file_id=None, request_counts=BatchRequestCounts(completed=0, failed=0, total=0))"]},"execution_count":14,"metadata":{},"output_type":"execute_result"}],"source":["batch_input_file_id = batch_input_file.id\n","\n","client.batches.create(\n","    input_file_id=batch_input_file_id,\n","    endpoint=\"/v1/chat/completions\",\n","    completion_window=\"24h\",\n","    metadata={\n","      \"description\": \"nightly eval job - gpt-4o-mini\",\n","    },\n",")"]},{"cell_type":"code","execution_count":16,"metadata":{},"outputs":[{"data":{"text/plain":["Batch(id='batch_xVbfEAMd9Z3TOH2gkCxoe6GF', completion_window='24h', created_at=1726210433, endpoint='/v1/chat/completions', input_file_id='file-dFg7ljzKlmPTy6C0KTs6fYxz', object='batch', status='completed', cancelled_at=None, cancelling_at=None, completed_at=1726211968, error_file_id=None, errors=None, expired_at=None, expires_at=1726296833, failed_at=None, finalizing_at=1726211455, in_progress_at=1726210437, metadata={'description': 'nightly eval job - gpt-4o-mini'}, output_file_id='file-4DyXwheO1GIPHYII08guYDfp', request_counts=BatchRequestCounts(completed=3000, failed=0, total=3000))"]},"execution_count":16,"metadata":{},"output_type":"execute_result"}],"source":["from openai import OpenAI\n","\n","client = OpenAI()\n","\n","client.batches.retrieve(\"batch_xVbfEAMd9Z3TOH2gkCxoe6GF\")"]}],"metadata":{"accelerator":"GPU","application/vnd.databricks.v1+notebook":{"dashboards":[],"environmentMetadata":null,"language":"python","notebookMetadata":{"pythonIndentUnit":4},"notebookName":"07_MAC_+_Qwen2-7B-Instructi_Unsloth_train","widgets":{}},"colab":{"gpuType":"T4","provenance":[]},"kernelspec":{"display_name":"Python 3","name":"python3"},"language_info":{"codemirror_mode":{"name":"ipython","version":3},"file_extension":".py","mimetype":"text/x-python","name":"python","nbconvert_exporter":"python","pygments_lexer":"ipython3","version":"3.11.9"}},"nbformat":4,"nbformat_minor":0}