thinh-huynh-re commited on
Commit
6dc33a4
1 Parent(s): ce95383
Files changed (2) hide show
  1. backup/kinetics_400.json +402 -0
  2. run_opencv.py +12 -10
backup/kinetics_400.json ADDED
@@ -0,0 +1,402 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "0": "đi xuống",
3
+ "1": "tiếng trống không khí",
4
+ "2": "trả lời câu hỏi",
5
+ "3": "vỗ tay",
6
+ "4": "bôi kem",
7
+ "5": "bắn cung",
8
+ "6": "vật tay",
9
+ "7": "cắm hoa",
10
+ "8": "máy tính lắp ráp",
11
+ "9": "đấu giá",
12
+ "10": "em bé thức dậy",
13
+ "11": "nướng bánh quy",
14
+ "12": "thổi bóng bay",
15
+ "13": "băng bó",
16
+ "14": "đồ nướng",
17
+ "15": "pha chế",
18
+ "16": "beatbox",
19
+ "17": "nuôi ong",
20
+ "18": "múa bụng",
21
+ "19": "bấm băng ghế dự bị",
22
+ "20": "cong lưng",
23
+ "21": "kim loại uốn",
24
+ "22": "đạp xe qua tuyết",
25
+ "23": "phun cát",
26
+ "24": "thổi thủy tinh",
27
+ "25": "thổi lá",
28
+ "26": "xì mũi",
29
+ "27": "thổi nến",
30
+ "28": "trượt ván",
31
+ "29": "đóng sách",
32
+ "30": "nảy trên tấm bạt lò xo",
33
+ "31": "chơi bowling",
34
+ "32": "tóc tết",
35
+ "33": "bánh mì hoặc vụn bánh mì",
36
+ "34": "nhảy đột phá",
37
+ "35": "tranh cọ",
38
+ "36": "chải tóc",
39
+ "37": "đánh răng",
40
+ "38": "tủ xây dựng",
41
+ "39": "nhà kho",
42
+ "40": "nhảy bungee",
43
+ "41": "đi hát rong",
44
+ "42": "chèo thuyền hoặc chèo thuyền kayak",
45
+ "43": "capoeira",
46
+ "44": "bế con",
47
+ "45": "đu quay",
48
+ "46": "khắc bí ngô",
49
+ "47": "bắt cá",
50
+ "48": "bắt hoặc ném bóng chày",
51
+ "49": "bắt hoặc ném dĩa nhựa",
52
+ "50": "bắt hoặc ném bóng mềm",
53
+ "51": "ăn mừng",
54
+ "52": "thay dầu",
55
+ "53": "bánh xe thay đổi",
56
+ "54": "kiểm tra lốp xe",
57
+ "55": "cổ vũ",
58
+ "56": "chặt củi",
59
+ "57": "vỗ tay",
60
+ "58": "làm đồ gốm bằng đất sét",
61
+ "59": "sạch và giật",
62
+ "60": "lau sàn",
63
+ "61": "làm sạch máng xối",
64
+ "62": "vệ sinh hồ bơi",
65
+ "63": "làm sạch giày",
66
+ "64": "dọn nhà vệ sinh",
67
+ "65": "làm sạch cửa sổ",
68
+ "66": "leo dây",
69
+ "67": "leo thang",
70
+ "68": "leo cây",
71
+ "69": "tung hứng tiếp xúc",
72
+ "70": "nấu gà",
73
+ "71": "nấu trứng",
74
+ "72": "nấu ăn trên lửa trại",
75
+ "73": "nấu xúc xích",
76
+ "74": "đếm tiền",
77
+ "75": "nhảy dòng đồng quê",
78
+ "76": "bẻ cổ",
79
+ "77": "em bé đang bò",
80
+ "78": "vượt sông",
81
+ "79": "khóc",
82
+ "80": "tóc uốn",
83
+ "81": "cắt móng tay",
84
+ "82": "cắt dứa",
85
+ "83": "cắt dưa hấu",
86
+ "84": "múa ba lê",
87
+ "85": "khiêu vũ charleston",
88
+ "86": "nhảy gangnam style",
89
+ "87": "macarena nhảy múa",
90
+ "88": "cử tạ",
91
+ "89": "trang trí cây thông Noel",
92
+ "90": "đào",
93
+ "91": "ăn uống",
94
+ "92": "chơi gôn đĩa",
95
+ "93": "vách đá lặn",
96
+ "94": "bóng né",
97
+ "95": "tập thể dục nhịp điệu",
98
+ "96": "giặt đồ",
99
+ "97": "làm nail",
100
+ "98": "vẽ",
101
+ "99": "rê bóng rổ",
102
+ "100": "uống",
103
+ "101": "uống bia",
104
+ "102": "uống rượu",
105
+ "103": "lái xe",
106
+ "104": "lái máy kéo",
107
+ "105": "thả đá",
108
+ "106": "ngón tay đánh trống",
109
+ "107": "nhúng bóng rổ",
110
+ "108": "tóc sắp chết",
111
+ "109": "ăn burger",
112
+ "110": "ăn bánh",
113
+ "111": "ăn cà rốt",
114
+ "112": "ăn khoai tây chiên",
115
+ "113": "ăn bánh rán",
116
+ "114": "ăn xúc xích",
117
+ "115": "ăn kem",
118
+ "116": "ăn spaghetti",
119
+ "117": "ăn dưa hấu",
120
+ "118": "săn trứng",
121
+ "119": "tập thể dục cánh tay",
122
+ "120": "tập thể dục với bóng tập thể dục",
123
+ "121": "dập lửa",
124
+ "122": "cấy mặt",
125
+ "123": "cho chim ăn",
126
+ "124": "cho cá ăn",
127
+ "125": "cho dê ăn",
128
+ "126": "làm đầy lông mày",
129
+ "127": "búng ngón tay",
130
+ "128": "sửa tóc",
131
+ "129": "bánh kếp lật",
132
+ "130": "thả diều",
133
+ "131": "gấp quần áo",
134
+ "132": "gấp khăn ăn",
135
+ "133": "gấp giấy",
136
+ "134": "tăng trước",
137
+ "135": "chiên rau củ",
138
+ "136": "thu gom rác",
139
+ "137": "súc miệng",
140
+ "138": "cắt tóc",
141
+ "139": "xăm mình",
142
+ "140": "trao hoặc nhận giải thưởng",
143
+ "141": "đánh gôn",
144
+ "142": "lái xe gôn",
145
+ "143": "đánh gôn",
146
+ "144": "xay thịt",
147
+ "145": "chó chải chuốt",
148
+ "146": "ngựa chải chuốt",
149
+ "147": "thể dục nhào lộn",
150
+ "148": "ném búa",
151
+ "149": "đập đầu",
152
+ "150": "cú húc đầu",
153
+ "151": "nhảy cao",
154
+ "152": "cú đá cao",
155
+ "153": "đánh bóng chày",
156
+ "154": "điểm dừng khúc côn cầu",
157
+ "155": "ôm rắn",
158
+ "156": "nhảy lò cò",
159
+ "157": "lướt ván",
160
+ "158": "ôm",
161
+ "159": "hula hooping",
162
+ "160": "vượt rào",
163
+ "161": "vượt rào (thể thao)",
164
+ "162": "leo băng",
165
+ "163": "câu cá trên băng",
166
+ "164": "trượt băng",
167
+ "165": "ủi",
168
+ "166": "ném lao",
169
+ "167": "trượt ván",
170
+ "168": "chạy bộ",
171
+ "169": "tung hứng bóng",
172
+ "170": "tung hứng lửa",
173
+ "171": "tung hứng bóng đá",
174
+ "172": "nhảy vào hồ bơi",
175
+ "173": "nhảy kiểu nhảy",
176
+ "174": "khung thành trên sân",
177
+ "175": "đá bóng",
178
+ "176": "hôn nhau",
179
+ "177": "lướt sóng",
180
+ "178": "đan",
181
+ "179": "tiếng kêu",
182
+ "180": "cười",
183
+ "181": "đặt gạch",
184
+ "182": "nhảy xa",
185
+ "183": "lung tung",
186
+ "184": "làm bánh",
187
+ "185": "làm bánh sandwich",
188
+ "186": "dọn giường",
189
+ "187": "làm trang sức",
190
+ "188": "làm bánh pizza",
191
+ "189": "làm người tuyết",
192
+ "190": "làm sushi",
193
+ "191": "pha trà",
194
+ "192": "hành quân",
195
+ "193": "mát xa lưng",
196
+ "194": "mát xa chân",
197
+ "195": "mát xa chân",
198
+ "196": "người xoa bóp đầu",
199
+ "197": "vắt sữa bò",
200
+ "198": "lau sàn",
201
+ "199": "mô tô",
202
+ "200": "di chuyển đồ đạc",
203
+ "201": "cắt cỏ",
204
+ "202": "tin tức mới nhất",
205
+ "203": "mở chai",
206
+ "204": "quà khai trương",
207
+ "205": "dù lượn",
208
+ "206": "dù lượn",
209
+ "207": "parkour",
210
+ "208": "vượt qua bóng bầu dục Mỹ (trong trò chơi)",
211
+ "209": "vượt qua bóng bầu dục Mỹ (không trong trò chơi)",
212
+ "210": "gọt vỏ táo",
213
+ "211": "gọt vỏ khoai tây",
214
+ "212": "nuôi thú cưng (không phải mèo)",
215
+ "213": "mèo cưng",
216
+ "214": "hái quả",
217
+ "215": "trồng cây",
218
+ "216": "trát",
219
+ "217": "chơi đàn accordion",
220
+ "218": "chơi cầu lông",
221
+ "219": "chơi kèn túi",
222
+ "220": "chơi bóng rổ",
223
+ "221": "chơi guitar bass",
224
+ "222": "chơi bài",
225
+ "223": "chơi đàn Cello",
226
+ "224": "chơi cờ",
227
+ "225": "chơi kèn clarinet",
228
+ "226": "chơi điều khiển",
229
+ "227": "chơi cricket",
230
+ "228": "chơi chũm chọe",
231
+ "229": "chơi didgeridoo",
232
+ "230": "chơi trống",
233
+ "231": "thổi sáo",
234
+ "232": "chơi ghi-ta",
235
+ "233": "chơi kèn hòa tấu",
236
+ "234": "chơi đàn hạc",
237
+ "235": "chơi khúc côn cầu trên băng",
238
+ "236": "chơi bàn phím",
239
+ "237": "chơi đá bóng",
240
+ "238": "chơi độc quyền",
241
+ "239": "chơi đàn organ",
242
+ "240": "chơi súng sơn",
243
+ "241": "chơi piano",
244
+ "242": "chơi bài xì phé",
245
+ "243": "chơi ghi âm",
246
+ "244": "chơi saxophone",
247
+ "245": "chơi bóng quần hoặc bóng vợt",
248
+ "246": "chơi quần vợt",
249
+ "247": "chơi trombone",
250
+ "248": "chơi kèn",
251
+ "249": "chơi đàn ukulele",
252
+ "250": "chơi vĩ cầm",
253
+ "251": "chơi bóng chuyền",
254
+ "252": "chơi đàn xylophone",
255
+ "253": "hầm sào",
256
+ "254": "trình bày dự báo thời tiết",
257
+ "255": "kéo lên",
258
+ "256": "nắm tay bơm",
259
+ "257": "bơm xăng",
260
+ "258": "bao đấm",
261
+ "259": "người đấm bốc (đấm bốc)",
262
+ "260": "đẩy lên",
263
+ "261": "đẩy xe",
264
+ "262": "đẩy xe",
265
+ "263": "đẩy xe lăn",
266
+ "264": "đọc sách",
267
+ "265": "đọc báo",
268
+ "266": "ghi âm nhạc",
269
+ "267": "đi xe đạp",
270
+ "268": "cưỡi lạc đà",
271
+ "269": "cưỡi voi",
272
+ "270": "cưỡi bò cơ khí",
273
+ "271": "đạp xe leo núi",
274
+ "272": "cưỡi la",
275
+ "273": "cưỡi hoặc đi bộ với ngựa",
276
+ "274": "đi xe tay ga",
277
+ "275": "đi xe đạp một bánh",
278
+ "276": "xé giấy",
279
+ "277": "rô-bốt nhảy",
280
+ "278": "leo núi",
281
+ "279": "oẳn tù tì",
282
+ "280": "trượt patin",
283
+ "281": "chạy trên máy chạy bộ",
284
+ "282": "chèo thuyền",
285
+ "283": "nhảy salsa",
286
+ "284": "sàn chà nhám",
287
+ "285": "trứng bác",
288
+ "286": "lặn biển",
289
+ "287": "đặt bàn",
290
+ "288": "bắt tay",
291
+ "289": "lắc đầu",
292
+ "290": "mài dao",
293
+ "291": "gọt bút chì",
294
+ "292": "cạo đầu",
295
+ "293": "cạo lông chân",
296
+ "294": "xén lông cừu",
297
+ "295": "đánh giày",
298
+ "296": "bắn bóng rổ",
299
+ "297": "bóng đá (bóng đá)",
300
+ "298": "bắn đặt",
301
+ "299": "xẻng tuyết",
302
+ "300": "xé giấy",
303
+ "301": "xáo bài",
304
+ "302": "đá bên",
305
+ "303": "thông dịch ngôn ngữ ký hiệu",
306
+ "304": "hát",
307
+ "305": "ngồi dậy",
308
+ "306": "trượt ván",
309
+ "307": "nhảy trượt tuyết",
310
+ "308": "trượt tuyết (không phải slalom hoặc việt dã)",
311
+ "309": "trượt tuyết xuyên quốc gia",
312
+ "310": "trượt tuyết slalom",
313
+ "311": "nhảy dây",
314
+ "312": "nhảy dù",
315
+ "313": "chậm chạp",
316
+ "314": "tát",
317
+ "315": "đua chó kéo xe",
318
+ "316": "hút thuốc",
319
+ "317": "hút hookah",
320
+ "318": "cử tạ",
321
+ "319": "hắt hơi",
322
+ "320": "đánh hơi",
323
+ "321": "lặn biển",
324
+ "322": "trượt tuyết",
325
+ "323": "trượt tuyết",
326
+ "324": "di chuyển trên tuyết",
327
+ "325": "lộn nhào",
328
+ "326": "quay poi",
329
+ "327": "phun sơn",
330
+ "328": "phun",
331
+ "329": "lặn bàn đạp",
332
+ "330": "ngồi xổm",
333
+ "331": "thè lưỡi",
334
+ "332": "dậm nho",
335
+ "333": "duỗi tay",
336
+ "334": "duỗi chân",
337
+ "335": "gảy đàn guitar",
338
+ "336": "đám đông lướt sóng",
339
+ "337": "lướt nước",
340
+ "338": "quét sàn",
341
+ "339": "bơi ngửa",
342
+ "340": "bơi sải ngực",
343
+ "341": "bơi bướm",
344
+ "342": "nhảy đu",
345
+ "343": "đu đưa chân",
346
+ "344": "đu trên cái gì đó",
347
+ "345": "đấu kiếm",
348
+ "346": "thái cực quyền",
349
+ "347": "vua tắm",
350
+ "348": "nhảy tango",
351
+ "349": "nhảy tap",
352
+ "350": "gõ ghita",
353
+ "351": "bút gõ",
354
+ "352": "nếm bia",
355
+ "353": "nếm thức ăn",
356
+ "354": "làm chứng",
357
+ "355": "nhắn tin",
358
+ "356": "ném rìu",
359
+ "357": "ném bóng",
360
+ "358": "ném đĩa",
361
+ "359": "nhột",
362
+ "360": "trượt băng",
363
+ "361": "tung đồng xu",
364
+ "362": "ném salad",
365
+ "363": "chó huấn luyện",
366
+ "364": "đu dây",
367
+ "365": "cạo râu",
368
+ "366": "cắt tỉa cây",
369
+ "367": "nhảy ba lần",
370
+ "368": "thắt nơ",
371
+ "369": "thắt nút (không buộc)",
372
+ "370": "thắt cà vạt",
373
+ "371": "mở hộp",
374
+ "372": "xe tải dỡ hàng",
375
+ "373": "sử dụng máy tính",
376
+ "374": "sử dụng điều khiển từ xa (không chơi game)",
377
+ "375": "sử dụng segway",
378
+ "376": "kho tiền",
379
+ "377": "xếp hàng chờ",
380
+ "378": "dắt chó đi dạo",
381
+ "379": "rửa bát đĩa",
382
+ "380": "rửa chân",
383
+ "381": "gội đầu",
384
+ "382": "rửa tay",
385
+ "383": "trượt nước",
386
+ "384": "trượt nước",
387
+ "385": "tưới cây",
388
+ "386": "sáp trở lại",
389
+ "387": "tẩy lông ngực",
390
+ "388": "tẩy lông mày",
391
+ "389": "tẩy lông chân",
392
+ "390": "dệt giỏ",
393
+ "391": "hàn",
394
+ "392": "huýt sáo",
395
+ "393": "lướt ván",
396
+ "394": "gói quà",
397
+ "395": "đấu vật",
398
+ "396": "viết",
399
+ "397": "ngáp",
400
+ "398": "yoga",
401
+ "399": "zumba"
402
+ }
run_opencv.py CHANGED
@@ -35,7 +35,7 @@ class ArgParser(Tap):
35
 
36
  id2label: Optional[str] = "labels/kinetics_400.json"
37
 
38
- threshold: Optional[float] = None # 10.0
39
 
40
  max_confidence: Optional[float] = 20.0 # Set None if not scale
41
 
@@ -83,6 +83,8 @@ class ActivityModel:
83
 
84
  # model predicts one of the 400 Kinetics-400 classes
85
  max_index = logits.argmax(-1).item()
 
 
86
  predicted_label = self.model.config.id2label[max_index]
87
 
88
  confidence = logits[0][max_index]
@@ -93,17 +95,17 @@ class ActivityModel:
93
  img_container.frame_rate.label = f"{predicted_label}_{confidence:.2f}%"
94
 
95
  # logits = np.squeeze(logits)
96
- logits = logits.squeeze().numpy()
97
- indices = np.argsort(logits)[::-1][: self.args.top_k]
98
- values = logits[indices]
99
 
100
- results: List[Tuple[str, float]] = []
101
- for index, value in zip(indices, values):
102
- predicted_label = self.model.config.id2label[index]
103
- # print(f"Label: {predicted_label} - {value:.2f}%")
104
- results.append((predicted_label, value))
105
 
106
- img_container.rs = pd.DataFrame(results, columns=("Label", "Confidence"))
107
 
108
  def get_frames_per_video(self, model_name: str) -> int:
109
  if "base-finetuned" in model_name:
 
35
 
36
  id2label: Optional[str] = "labels/kinetics_400.json"
37
 
38
+ threshold: Optional[float] = None # 10.0
39
 
40
  max_confidence: Optional[float] = 20.0 # Set None if not scale
41
 
 
83
 
84
  # model predicts one of the 400 Kinetics-400 classes
85
  max_index = logits.argmax(-1).item()
86
+ if max_index not in self.model.config.id2label:
87
+ return
88
  predicted_label = self.model.config.id2label[max_index]
89
 
90
  confidence = logits[0][max_index]
 
95
  img_container.frame_rate.label = f"{predicted_label}_{confidence:.2f}%"
96
 
97
  # logits = np.squeeze(logits)
98
+ # logits = logits.squeeze().numpy()
99
+ # indices = np.argsort(logits)[::-1][: self.args.top_k]
100
+ # values = logits[indices]
101
 
102
+ # results: List[Tuple[str, float]] = []
103
+ # for index, value in zip(indices, values):
104
+ # predicted_label = self.model.config.id2label[index]
105
+ # # print(f"Label: {predicted_label} - {value:.2f}%")
106
+ # results.append((predicted_label, value))
107
 
108
+ # img_container.rs = pd.DataFrame(results, columns=("Label", "Confidence"))
109
 
110
  def get_frames_per_video(self, model_name: str) -> int:
111
  if "base-finetuned" in model_name: