complement

Dockerfile

@@ -8,4 +8,4 @@ RUN pip install --no-cache-dir --upgrade -r /code/requirements.txt
 
 COPY . .
 
-CMD ["uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "7860"]
+CMD ["uvicorn", "app.main:api", "--host", "0.0.0.0", "--port", "7860"]

app.py

@@ -1,189 +0,0 @@
-from flask import Flask, request, jsonify, make_response
-from flasgger import Swagger, swag_from
-from vaderSentiment.vaderSentiment import SentimentIntensityAnalyzer
-import random
-import csv
-
-app = Flask(__name__)
-swagger = Swagger(app)
-
-# Définition du titre de la documentation Swagger
-app.config['SWAGGER'] = {
-    'title': 'API Analyse de sentiment',
-    'description': 'Documentation de l\'API pour l\'analyse de sentiment',
-    'version': '1.0.0'
-}
-
-# Charger les informations d'authentification à partir du fichier credentials.csv
-def load_credentials(file_path):
-    credentials = {}
-    with open(file_path, newline='') as csvfile:
-        reader = csv.DictReader(csvfile)
-        for row in reader:
-            credentials[row['username']] = {'password': row['password'], 'v1': int(row['v1']), 'v2': int(row['v2'])}
-    return credentials
-
-credentials = load_credentials('credentials.csv')
-
-# Route pour vérifier l'état de l'API
-@app.route('/status')
-def status():
-    """
-    API Status
-    ---
-    responses:
-      200:
-        description: API is working
-        examples:
-          message: 1
-    """
-    return '1'
-
-  
-
-# Route pour saluer l'utilisateur
-@app.route('/welcome')
-def welcome():
-    """
-    Message de bienvenue
-    ---
-    parameters:
-      - name: username
-        in: query
-        type: string
-        required: true
-        description: Message de bienvenue à l'utilisateur
-    responses:
-      200:
-        description: Message
-        examples:
-        message: Bienvenue sur l'API d'Analyse de sentiment, Olivier!
-    """
-    username = request.args.get('username')
-    return f"Bienvenue sur l'API d'Analyse de sentiment {username}!"
-
-
-
-# Route pour vérifier les credentials de l'utilisateur
-@app.route('/credentials', methods=['POST'])
-def check_credentials():
-    """
-    credentials Route
-    ---
-    consumes:
-      - application/json
-    parameters:
-      - in: header
-        name: Authorization
-        type: string
-        required: true
-        description: The user's credentials in the format "username=password"
-    responses:
-      200:
-        description: A list of user credentials
-        examples:
-          username: John
-          v1: 1
-          v2: 0
-    """
-    auth = request.headers.get('Authorization')
-    if not auth:
-        return 'Unauthorized', 401
-
-    username, password = auth.split('=')
-    if username not in credentials or credentials[username]['password'] != password:
-        return 'Unauthorized', 401
-
-    response_data = {'username': username, 'v1': credentials[username]['v1'], 'v2': credentials[username]['v2']}
-    response = make_response(jsonify(response_data), 200)
-    response.headers['Content-Type'] = 'application/json'
-    return response
-
-
-# Route pour l'analyse de sentiment avec le modèle v1
-@app.route('/v1/sentiment', methods=['POST'])
-def sentiment_v1():
-    """
-    Sentiment Analysis Route (Model v1)
-    ---
-    parameters:
-      - in: header
-        name: Authorization
-        type: string
-        required: true
-        description: The user's credentials in the format "username=password"
-      - in: formData  # Modification ici pour spécifier le type de données du formulaire
-        name: sentence
-        type: string
-        required: true
-        description: The sentence to analyze
-    responses:
-      200:
-        description: The sentiment score
-        examples:
-          score: 0.5
-    """
-    auth = request.headers.get('Authorization')
-    if not auth:
-      return 'Unauthorized', 401
-
-    username, password = auth.split('=')
-    if username not in credentials or credentials[username]['password'] != password:
-      return 'Unauthorized (wrong username and/or password)', 401
-    
-    if credentials[username]['v1']==0:
-      return 'User unauthorized for Sentiment Analysis v1', 401
-    
-    sentence = request.form.get('sentence')
-    if not sentence:
-      return 'Bad Request', 400
-
-    # Implémentation factice de l'analyse de sentiment pour le modèle v1 (nombre aléatoire entre -1 et 1)
-    sentiment_score = random.uniform(-1, 1)
-    return str(sentiment_score)
-
-# Route pour l'analyse de sentiment avec le modèle v2
-@app.route('/v2/sentiment', methods=['POST'])
-def sentiment_v2():
-    """
-    Sentiment Analysis Route (Model v2)
-    ---
-    parameters:
-      - in: header
-        name: Authorization
-        type: string
-        required: true
-        description: The user's credentials in the format "username=password"
-      - in: formData  # Modification ici pour spécifier le type de données du formulaire
-        name: sentence
-        type: string
-        required: true
-        description: The sentence to analyze
-    responses:
-      200:
-        description: The sentiment score
-        examples:
-          score: 0.5
-    """
-    auth = request.headers.get('Authorization')
-    if not auth:
-      return 'Unauthorized', 401
-
-    username, password = auth.split('=')
-    if username not in credentials or credentials[username]['password'] != password:
-      return 'Unauthorized (wrong username and/or password)', 401
-    
-    if credentials[username]['v2']==0:
-      return 'User unauthorized for Sentiment Analysis v2', 401
-    
-    sentence = request.form.get('sentence')
-    if not sentence:
-      return 'Bad Request', 400
-
-    # Implémentation de l'analyse de sentiment avec le modèle v2 (VaderSentiment)
-    analyzer = SentimentIntensityAnalyzer()
-    sentiment_score = analyzer.polarity_scores(sentence)['compound']
-    return str(sentiment_score)
-
-if __name__ == '__main__':
-    app.run(host="0.0.0.0",debug=True)

credentials.csv

@@ -1,95 +0,0 @@
-username,password,v1,v2
-Quinlan,5210,0,1
-Davis,5783,0,0
-Montana,3134,0,0
-Quintessa,8790,0,1
-Camden,4837,0,0
-Megan,6837,1,1
-Liberty,5564,1,1
-Zelda,8610,0,1
-Mara,9820,1,0
-Steven,5998,1,1
-Rhiannon,3545,1,0
-Julian,7520,0,1
-Anika,8944,0,1
-Justine,9156,1,0
-Lionel,4527,0,1
-Yoshi,4237,1,1
-Brian,7263,1,1
-Leila,8308,0,1
-Piper,2914,1,0
-Yen,3932,1,0
-Amber,9274,1,1
-Rhonda,6818,1,0
-Lamar,6478,0,0
-Nolan,4611,1,1
-Ulla,3610,0,1
-Ginger,6723,0,1
-Geraldine,5725,0,1
-Dominic,7914,1,1
-Paula,8403,1,0
-Hashim,7658,1,1
-Demetria,2132,1,1
-Wang,7829,1,0
-Tyler,4453,0,0
-Kim,7134,0,1
-Edward,1871,1,1
-Russell,3039,0,0
-Malachi,5226,1,0
-Barrett,2891,1,0
-Harriet,6877,0,0
-Portia,8105,0,0
-Raya,3006,1,1
-Reed,1745,0,1
-Penelope,4844,1,0
-Whilemina,6551,1,1
-Fay,9208,0,0
-Shad,4903,0,0
-Pandora,2598,1,1
-Abbot,3545,0,0
-Ciaran,2336,0,1
-Nehru,8209,1,0
-Logan,9622,0,1
-Vernon,1422,0,1
-Gavin,9632,0,1
-Dana,5425,1,0
-Ashton,1128,0,0
-Mark,4608,1,1
-Akeem,7908,0,0
-Richard,2816,1,1
-Colby,2427,1,1
-Yasir,9460,1,0
-Octavia,6792,1,1
-Noel,3409,0,1
-Michael,3341,0,0
-Joel,3447,0,1
-Stacy,9140,1,0
-Mason,6588,1,1
-Kelsey,3801,0,1
-Daria,3036,1,1
-Joy,1306,1,1
-Xantha,8532,0,0
-Lael,4088,1,1
-Ursa,5331,1,0
-Hayes,5297,0,1
-Neve,4972,1,0
-Bradley,6463,1,1
-Sonya,7745,0,0
-Adam,5910,0,1
-Alfonso,8611,1,1
-Jin,4199,0,1
-Jared,2126,0,0
-Constance,6624,1,1
-Myra,2262,1,1
-Emerald,5253,0,0
-Remedios,2766,1,1
-Shannon,2704,0,0
-Steel,2034,1,0
-Xena,7153,1,0
-Ann,3068,0,1
-Hadassah,3371,0,1
-Xavier,8313,0,0
-Hall,5494,1,0
-Conan,3708,0,0
-Buffy,5225,1,0
-Chava,2094,0,1

main.py

@@ -0,0 +1,183 @@
+from fastapi import FastAPI, HTTPException, Header, Depends, Request
+from fastapi.responses import JSONResponse
+from fastapi.security import HTTPBasic, HTTPBasicCredentials
+from fastapi.exceptions import RequestValidationError
+from typing import Optional, List
+from pydantic import BaseModel, ValidationError
+import pandas as pd
+import datetime
+
+api = FastAPI()
+
+# Charger les données à partir du fichier CSV
+questions_data = pd.read_csv('questions.csv')
+
+# Dictionnaire des identifiants des utilisateurs
+users_credentials = {
+    "alice": "wonderland",
+    "bob": "builder",
+    "clementine": "mandarine",
+    "admin": "4dm1N"  # Ajout de l'utilisateur admin
+}
+
+# Modèle Pydantic pour représenter une question
+class Question(BaseModel):
+    question: str
+    subject: str
+    correct: Optional[str] = None # Champ optionnel
+    use: str
+    responseA: str
+    responseB: str
+    responseC: Optional[str] = None # Champ optionnel
+    responseD: Optional[str] = None # Champ optionnel
+    # remark: Optional[str]  = None # Champ optionnel
+
+# Modèle pour représenter une exception personnalisée
+class MyException(Exception):
+    def __init__(self,
+                 status_code: int,
+                 name : str,
+                 message : str):
+        self.status_code = status_code
+        self.name = name
+        self.message = message
+        self.date = str(datetime.datetime.now())
+
+# Gestionnaire d'exception personnalisé
+@api.exception_handler(MyException)
+def MyExceptionHandler(
+    request: Request,
+    exception: MyException
+    ):
+    return JSONResponse(
+        status_code=exception.status_code,
+        content={
+            'url': str(request.url),
+            'name': exception.name,
+            'message': exception.message,
+            'date': exception.date
+        }
+    )
+
+# Gestionnaire d'exception pour les erreurs de validation de la requête
+@api.exception_handler(RequestValidationError)
+async def validation_exception_handler(request: Request, exc: RequestValidationError):
+    return JSONResponse(
+        status_code=422,
+        content={
+            'url': str(request.url),
+            'name': "Erreur de validation de la requête (parametre requis)",
+            'message': exc.errors(),
+            'date': str(datetime.datetime.now())
+        },
+    )
+
+# Gestionnaire d'exception pour les erreurs Pydantic
+@api.exception_handler(ValidationError)
+async def validation_exception_handler(request: Request, exc: ValidationError):
+    return JSONResponse(
+        status_code=422,
+        content={
+            'url': str(request.url),
+            'name': "Erreur de validation Pydantic",
+            'message': exc.errors(),
+            'date': str(datetime.datetime.now())
+        },
+    )
+
+
+# Fonction pour vérifier l'authentification de l'utilisateur
+def authenticate(authorization: str = Header(None)):
+    if not authorization:
+        raise HTTPException(status_code=401, detail="Utilisateur non authorisé")
+    try:
+        scheme, credentials = authorization.split()
+        if scheme != 'Basic':
+            raise HTTPException(status_code=401, detail="Utilisateur non authorisé")
+        username, password = credentials.split(":")
+        if username not in users_credentials or users_credentials[username] != password:
+            raise HTTPException(status_code=401, detail="Utilisateur non authorisé")
+    except Exception as e:
+        raise HTTPException(status_code=401, detail="Utilisateur non authorisé")
+    return username, password
+
+# Endpoint pour vérifier que l'API est fonctionnelle
+@api.get('/', name="Vérification que l'API fonctionne")
+def check_api():
+    return {'message': "L'API fonctionne"}
+
+# Endpoint pour récupérer les questions en fonction du type de test (use) et des catégories (subject) spécifiés
+@api.get('/questions', name="Récupération des questions pour un QCM")
+def get_questions(use: str, 
+                  subject: str, 
+                  num_questions: int, 
+                  auth_info: tuple = Depends(authenticate)): 
+    """
+    Récupère les questions en fonction du type de test (use) et des catégories (subject) spécifiés
+    L'application peut produire des QCMs de 5, 10 ou 20 questions (seulement)
+    Les questions sont retournées dans un ordre aléatoire
+    Seuls les utilisateurs se trouvant dans users_credentials peuvent utiliser cette application
+    """
+
+    # Verifier si le nombre de questions demandé correspond au nombre de questions d'un QCM
+    if num_questions not in [5,10,20]:
+        raise MyException(status_code=422, name="num_questions invalide", \
+            message="La requête peut contenir 51,10 ou 20 questions, mais pas "+str(num_questions))
+        
+    # Filtrer les questions en fonction des paramètres spécifiés
+    filtered_questions = questions_data
+    if use:
+        filtered_questions = filtered_questions[filtered_questions['use'] == use]
+    if subject is not None:
+        s = subject.split(',')
+        filtered_questions = filtered_questions[filtered_questions['subject'].isin(s)]
+    print("len(filtered_questions)=",len(filtered_questions))   
+    print("num_questions=",num_questions) 
+    # Vérifier si des questions sont disponibles dans la catégorie spécifiée
+    if len(filtered_questions) == 0:
+        raise MyException(status_code=404, name="Aucune question", \
+            message="Aucune question ne correspond aux critères sélectionnés")
+    # Verifier si le nombre de questions diponibles >= au nombre requis
+    elif (len(filtered_questions) < num_questions):
+        raise MyException(status_code=400, name="Nb insuffisant de questions ", \
+            message="Le nombre de questions correspondantes aux critères sélectionnés est < au nombre requis")
+
+    # Supprimer les valeurs NaN dans les champs correct,responseC, responseD (ils ne sont pas toujours remplis)
+    filtered_questions['correct'] = filtered_questions['correct'].apply(lambda x: None if pd.isna(x) else x)
+    filtered_questions['responseC'] = filtered_questions['responseC'].apply(lambda x: None if pd.isna(x) else x)
+    filtered_questions['responseD'] = filtered_questions['responseD'].apply(lambda x: None if pd.isna(x) else x)
+
+    # Sélectionner un nombre aléatoire de questions
+    selected_questions = filtered_questions.sample(n=min(num_questions, len(filtered_questions)))
+
+    # Convertir les données en liste de dictionnaires
+    questions_list = selected_questions.to_dict(orient='records')
+
+    # Convertir les dictionnaires en objets Pydantic de type Question
+    questions_objects = [Question(**question) for question in questions_list]
+    return questions_objects
+
+
+# Endpoint pour créer une nouvelle question (accessible uniquement par l'utilisateur admin)
+@api.post('/questions/create', name="Création d'une nouvelle question")
+def create_question(question: Question, 
+                    auth_info: tuple = Depends(authenticate)):
+    """
+    Crée une nouvelle question et l'ajoute à questions.csv
+    Seuls l' utilisateur admin a le droit d'utiliser cette fonction
+    """
+    global questions_data
+    
+    username, password = auth_info
+    if username != 'admin':
+        raise HTTPException(status_code=401, detail="Utilisateur non authorisé")
+
+    # Ajouter la nouvelle question au DataFrame
+    new_question = question.model_dump()
+    questions_data = questions_data.append(new_question, ignore_index=True)
+
+    # Sauvegarder les modifications dans le fichier CSV
+    questions_data.to_csv('questions.csv', index=False)
+    
+    return {'message': 'Question créée avec succès'}
+

openapi.json

@@ -0,0 +1 @@
+{"openapi":"3.1.0","info":{"title":"FastAPI","version":"0.1.0"},"paths":{"/":{"get":{"summary":"Vérification Que L'Api Fonctionne","operationId":"Vérification_que_l_API_fonctionne__get","responses":{"200":{"description":"Successful Response","content":{"application/json":{"schema":{}}}}}}},"/questions":{"get":{"summary":"Récupération Des Questions Pour Un Qcm","description":"Récupère les questions en fonction du type de test (use) et des catégories (subject) spécifiés\nL'application peut produire des QCMs de 5, 10 ou 20 questions (seulement)\nLes questions sont retournées dans un ordre aléatoire\nSeuls les utilisateurs se trouvant dans users_credentials peuvent utiliser cette application","operationId":"Récupération_des_questions_pour_un_QCM_questions_get","security":[{"HTTPBasic":[]}],"parameters":[{"name":"use","in":"query","required":true,"schema":{"type":"string","title":"Use"}},{"name":"subject","in":"query","required":true,"schema":{"type":"string","title":"Subject"}},{"name":"num_questions","in":"query","required":true,"schema":{"type":"integer","title":"Num Questions"}}],"responses":{"200":{"description":"Successful Response","content":{"application/json":{"schema":{}}}},"422":{"description":"Validation Error","content":{"application/json":{"schema":{"$ref":"#/components/schemas/HTTPValidationError"}}}}}}},"/questions/create":{"post":{"summary":"Création D'Une Nouvelle Question","description":"Crée une nouvelle question et l'ajoute à questions.csv\nSeuls l' utilisateur admin a le droit d'utiliser cette fonction","operationId":"Création_d_une_nouvelle_question_questions_create_post","requestBody":{"content":{"application/json":{"schema":{"$ref":"#/components/schemas/Question"}}},"required":true},"responses":{"200":{"description":"Successful Response","content":{"application/json":{"schema":{}}}},"422":{"description":"Validation Error","content":{"application/json":{"schema":{"$ref":"#/components/schemas/HTTPValidationError"}}}}},"security":[{"HTTPBasic":[]}]}}},"components":{"schemas":{"HTTPValidationError":{"properties":{"detail":{"items":{"$ref":"#/components/schemas/ValidationError"},"type":"array","title":"Detail"}},"type":"object","title":"HTTPValidationError"},"Question":{"properties":{"question":{"type":"string","title":"Question"},"subject":{"type":"string","title":"Subject"},"correct":{"anyOf":[{"type":"string"},{"type":"null"}],"title":"Correct"},"use":{"type":"string","title":"Use"},"responseA":{"type":"string","title":"Responsea"},"responseB":{"type":"string","title":"Responseb"},"responseC":{"anyOf":[{"type":"string"},{"type":"null"}],"title":"Responsec"},"responseD":{"anyOf":[{"type":"string"},{"type":"null"}],"title":"Responsed"}},"type":"object","required":["question","subject","use","responseA","responseB"],"title":"Question"},"ValidationError":{"properties":{"loc":{"items":{"anyOf":[{"type":"string"},{"type":"integer"}]},"type":"array","title":"Location"},"msg":{"type":"string","title":"Message"},"type":{"type":"string","title":"Error Type"}},"type":"object","required":["loc","msg","type"],"title":"ValidationError"}},"securitySchemes":{"HTTPBasic":{"type":"http","scheme":"basic"}}}}

questions.csv

@@ -0,0 +1,78 @@
+question,subject,use,correct,responseA,responseB,responseC,responseD,remark
+Que signifie le sigle No-SQL ?,BDD,Test de positionnement,A,Pas seulement SQL,Pas de SQL,Pas tout SQL,,
+Cassandra et HBase sont des bases de données,BDD,Test de positionnement,C,relationnelles,orientées objet,orientées colonne,orientées graphe,
+MongoDB et CouchDB sont des bases de données,BDD,Test de positionnement,B,relationnelles,orientées objet,orientées colonne,orientées graphe,
+OrientDB et Neo4J sont des bases de données,BDD,Test de positionnement,D,relationnelles,orientées objet,orientées colonne,orientées graphe,
+"Pour indexer des données textuelles, je peux utiliser",BDD,Test de positionnement,A,ElasticSearch,Neo4J,MySQL,,
+A quoi faire attention lorsqu'on choisit un système de base de données ?,BDD,Test de positionnement,D,La définition d'un schéma,La rapidité de lecture/écriture,La différenciation des accés,Tous ces points,
+Quels sont les trois éléments constitutifs de Hadoop ?,Systèmes distribués,Test de positionnement,A,"HDFS, YARN et Haddoop MapReduce","Hive, LOL et Spark","Spark, Hadoop MapReduce et Hive",,
+"Lors de l'étape de Map d'un wordcount appliqué à la phrase ""cette phrase est une phrase"", les valeurs émises sont:",Systèmes distribués,Test de positionnement,B,"1, 2, 1, 1","1, 1, 1, 1, 1, 1","5, 0, 0, 0, 0",,
+"Dans Hadoop, les combiners permettent",Systèmes distribués,Test de positionnement,C,de combiner les entrées et les sorties,de mieux distribuer la charge lors de la phase de Shuffle,de limiter le nombre de valeurs émises lors de l'étape de Reduce,,
+"Dans Hadoop, les partitioners permettent",Systèmes distribués,Test de positionnement,B,de combiner les entrées et les sorties,de mieux distribuer la charge lors de la phase de Shuffle,de limiter le nombre de valeurs émises lors de l'étape de Reduce,,
+Le théorème CAP oppose,Systèmes distribués,Test de positionnement,B,"Capacité, Vitesse, Distribution","Disponibilité, Cohérence, Distribution","Cohérence, Adaptabilité, Puissance",,
+Hive permet,Systèmes distribués,Test de positionnement,A,d'abstraire une base de données relationnelle,de classer les documents par ordre d'importance,d'orchestrer des clusters de machine,,
+Spark se différencie de Hadoop par,Systèmes distribués,Test de positionnement,D,son absence de système de stockage,ses nombreuses librairies notamment de Machine Learning,l'écriture en mémoire plutôt que sur disque lors de la phase de Shuffle,Tous ces points,
+Un système de messagerie asynchrone permet de décorréler les consommateurs et les producteurs,Streaming de données,Test de positionnement,A,Vrai,Faux,,,
+Kafka est système de messagerie,Streaming de données,Test de positionnement,D,distribué,asynchrone,publication/abonnement,Tous ces points,
+L'architecture lambda présente les couches,Streaming de données,Test de positionnement,D,batch,temps réel,service,Tous ces points,
+Docker est utilisé,Docker,Test de positionnement,A,pour développer rapidement et mettre en production facilement,pour améliorer les capacités d'une base de données,pour améliorer la puissance de calcul,,
+Docker permet de persister des changements,Docker,Test de positionnement,C,Oui,Non,Oui à condition d'utiliser des volumes,,
+Des containers Docker peuvent communiquer entre eux grâce à,Docker,Test de positionnement,B,des volumes,des networks,des communications ,,
+DockerHub est,Docker,Test de positionnement,C,un système qui permet de lancer plusieurs containers d'un coup,un système d'orchestration de containers,un répertoire d'images Docker,,
+Docker-compose est ,Docker,Test de positionnement,A,un système qui permet de lancer plusieurs containers d'un coup,un système d'orchestration de containers,un répertoire d'images Docker,,
+Lequel de ces problème est un problème de classification:,Classification,Test de validation,C,Segmentation clients,Calcul de prix optimal,Prédiction du caractère bénin d’une tumeur,,
+Lequel de ces problème est un problème de classification,Classification,Test de validation,B,Estimation du prix d’une oeuvre d’art,Prédiction du départ d’un client,Modélisation des flux d’air autour d’un réacteur,,
+Lequel de ces problème est un problème de classification,Classification,Test de validation,"B,C",Labellisation d’une image,Reconnaissance d’objet,Génération automatique de mots,,
+Est-ce que les algorithmes de classification permettent de donner une probabilité d’appartenance à une classe plutôt que simplement l’étiquette?,Classification,Test de validation,A,"Oui, c’est en général la base de tous les algorithmes de classification","Non, ce problème est un problème de régression",,,
+Quelle métrique est utilisée en classification ?,Classification,Test de validation,A,Le F1-score,Le RMSE,La perplexité,,
+Quel algorithme est mieux adapté à un jeu de données majoritairement composé de variables qualitatives?,Classification,Test de validation,C,SVM,Régression Logistique,Arbre de décision,,
+"Dans un problème de fraude bancaire, la précision est-elle une métrique adaptée?
+",Classification,Test de validation,B,Oui puisque c’est un problème de classification.,Non car le déséquilibre des deux classes ne permet pas une amélioration significative de cette métrique,,,
+De donner une meilleure métrique dans toutes les situations,Classification,Test de validation,C,De donner une meilleure métrique dans toutes les situations,D’être plus facilement interprétable ,D’identifier facilement des proportions d’observations en fonction de leur probabilité,,
+"La spécificité est définie par (V: vrai, F: faux, P: positif, N: négatif) : ",Classification,Test de validation,B,(VP + VN) / (VP + VN + FN + FP),VN / (VN + FP),VP / (VP + FN),,
+"La sensibilité est définie par (V: vrai, F: faux, P: positif, N: négatif) : ",Classification,Test de validation,C,(VP + VN) / (VP + VN + FN + FP),VN / (VN + FP),VP / (VP + FN),,
+Hadoop permet de: ,Systèmes distribués,Test de validation,D,Stocker des données,Faire des calculs,Orchestrer des jobs MapReduce,Tous ces points,
+"Dans le paradigme MapReduce, les combiners servent à: ",Systèmes distribués,Test de validation,B,Équilibrer la charge de travail des reducers,Diminuer le nombre de valeurs à émettre des mappers aux reducers,Accélérer les calculs,Tous ces points,
+"Dans le paradigme MapReduce, les partitioners servent à: ",Systèmes distribués,Test de validation,A,Équilibrer la charge de travail des reducers,Diminuer le nombre de valeurs à émettre des mappers aux reducers,Accélérer les calculs,Tous ces points,
+L'utilisation de systèmes distrubués permet,Systèmes distribués,Test de validation,D,D'accélérer les calculs ,De sécuriser l'accés aux données,D'augmenter facilement la capacité de stockage,Tous ces points,
+Hadoop streaming est un outil qui permet,Systèmes distribués,Test de validation,A,De faire des jobs MapReduce avec n'importe quel langage de programmation,De faire du traitement de données en temps réel ,De stocker plusieurs copies d'un jeu de données,De stocker des vidéos sur un système distribué,
+"Dans le cas d'une architecture distribuée, le théorème CAP nous oblige à choisir entre:",Systèmes distribués,Test de validation,A,Cohérence et Disponibilité,Partition et Cohérence,Partition et Disponibilité,,
+Hive est ,Sytèmes distribués,Test de validation,B,Un système de gestion de bases de données relationnelles,Une abstraction de SGDB relationnelles,Une librairie de Hadoop,,
+"Pour Hive, partitioner consiste à ",Systèmes distribués,Test de validation,C,Découper les tables en block de taille pré-définie,Découper les tables par colonnes,Découper les tables selon les valeurs d'une variable,,
+Pig permet,Systèmes distribués,Test de validation,A,De rendre l'écriture de jobs MapReduce plus simple et plus intuitive,D'accélérer les calculs effectués sur Hadoop ,D'orchestrer Hive,Tous ces points,
+Sqoop est utilisé,Systèmes distribués,Test de validation,A,Pour transférer des données depuis des SGDBR vers HDFS et inversement,De faire des calculs en temps réel ,D'automatiser des jobs Map Reduce,Tous ces points,
+Data science is ...,Data Science,Total Bootcamp,A,A set of techniques and tools used to get value out of data.,A scientific approach of data acquisition.,A set of empirical approachs used to define theoretical formulas and /or equations thanks to data.,,
+Its applications are ...,Data Science,Total Bootcamp,A,Limited to a small amount of fields and use cases.,Close to unlimited and find use cases in almost every known fields where data can be collected.,,,
+What are the first things you want to do when you start a Data Science project ?,Data Science,Total Bootcamp,A C,Define the problem.,Choose the model you want to implement.,Obtain the data and check if it fits our standard.,Ask Paul what to do next.,
+Are every datasets worth a Data Science project ?,Data Science,Total Bootcamp,A,No.,"If it's big enough, yes.",Yes.,,
+"When the dataset is all set and obtained, what do you need to do ?",Data Science,Total Bootcamp,B C,Run a model on it and then  do a series of statistical tests on it.,Explore it and do a series of statistical tests on it.,Pre-process it by cleaning it of missing values or irrelevant data.,,
+What are the best tools you can use when starting a project?,Data Science,Total Bootcamp,A B C D ,Data Visualization.,Statistical tests.,Expert intuitions. ,Correlation matrix ,Gut feelings. 
+"When building a model, you have to",Data Science,Total Bootcamp,B,Look out for parameters that can be optimized and optimze them.,Train it on all the data available.,,,
+"Your model is all done and working, what's next?",Data Science,Total Bootcamp,B,My project is done ! ,Analyze the results and tune the existing model to fit best the problem defined initially.,,,
+What is Machine learning ?,Machine Learning,Total Bootcamp,B,The phenomenon in which an algorithm realizes it is not paid enough and puts itself on a strike.,An application of artificial intelligence that provides systems the ability to automatically learn and improve from experience without being explicitly programmed.,Exactly what Datascientest offers : a way to learn through machines.,When an algorithm is programmed to adapt itself to a given situation.,
+Supervised learning ...,Machine Learning,Total Bootcamp,A C,Is when the data we use to fit the model on is labeled.,Is when the algorithm includes steps to check the progression of the computation process.,Allows to predict the value or the class of a new element.,"Allows data partitioning according to the features,distribution density estimation and dimension reduction.",
+Unsupervised learning ...,Machine Learning,Total Bootcamp,A C ,Is when the data we feed to our model is not labeled.,Allows to predict the value or the class of a new element.,"Allows data partitioning according to the features,distribution density estimation and dimension reduction.",,
+Classification,Machine Learning,Total Bootcamp,B,Is used when the target we aim to predict is continuous.,Is used when the target we aim to work on is discrete.,Is not a method needing artificial intelligence techniques.,,
+Regression,Machine Learning,Total Bootcamp,A,Is used when the target we aim to predict is continuous.,Is used when the target we aim to predict is discrete.,Gives the same results with two points or a thousand.,,
+Overfitting is,Machine Learning,Total Bootcamp,A,When the model fits too much the training data and don’t generalize enough.,When the model takes too much time to train on the data.,When the algorithm can't store anymore the results of the fitting process.,,
+A way to handle imbalanced datasets is,Machine Learning,Total Bootcamp,"B,C",Filtering,Under sampling,Over sampling,,
+Pourquoi utiliser des APIs?,Automation,Test de validation,D,Pour isoler les services de l'utilisateur final,Pour normaliser les communications entre services,Pour permettre une évolution facile des services,Tous ces points,
+"En utilisant Flask, on permet à un utilisateur ou à une machine d'utiliser un service avec ",Automation,Test de validation,C,SQL,Python,HTTP,Java,
+Pourquoi utiliser Docker?,Automation,Test de validation,D,Pour déployer facilement et rapidement des processus,Pour isoler des processus de la machine hôte,Pour tester des services rapidement,Tous ces points,
+"Si on fait un parallèle avec la programmation orientée objet, les images de containers Docker sont l'équivalent des",Automation,Test de validation,A,Classes,Instances de classes,Méthodes,Objets,
+"Pour faciliter le passage de fichiers entre la machine hôte et un container Docker, on peut utiliser les",Automation,Test de validation,C,Images,Networks,Volumes,Containers,
+"Pour faciliter la communication entre la machine hôte et un container Docker, on peut utiliser les",Automation,Test de validation,B,Images,Networks,Volumes,Containers,
+Quelle commande permet de lancer un container Docker ?,Automation,Test de validation,B,docker image run nom_de_l_image,docker container run nom_de_l_image,docker image pull nom_de_l_image,docker container pull nom_de_l_image,
+A quoi sert Docker-Compose ?,Automation,Test de validation,A,A répertorier les images publiques de containers,A déployer plusieurs containers en même temps,A créer sa propre image Docker,Tous ces points,
+A quoi sert Docker-Compose ?,Automation,Test de validation,B,A répertorier les images publiques de containers,A déployer plusieurs containers en même temps,A créer sa propre image Docker,Tous ces points,
+"Dans Airflow, le DAG répertorie",Automation,Test de validation,D,Les tâches à effectuer,Les actions à prendre en cas d'échecs,L'enchaînement des tâches à effectuer,Tous ces points,
+Quelle est la différence entre le processing time et le event time ?,Streaming de données,Test de validation,B,L’un correspond au temps de début de calcul alors que l’autre correspond à la durée nécessaire pour le calcul,L’un correspond à l’entrée de la donnée dans le système alors que l’autre correspond à la date de création de la donnée,Ce sont en fait la même chose,,
+Kafka est un système de messagerie,Streaming de données,Test de validation,A,Publication/Abonnement + Asynchrone,Publication/Abonnement + Synchrone,Orienté queue + Asynchrone,Orienté queue+ Synchrone,
+"Dans Kafka, les brokers permettent de",Streaming de données,Test de validation,,distribuer le stockage intermédiaire des données,répartir la charge du flux des données,prévenir les pannes du système,tous ces points,
+"Dans Kafka, dans un consumer group, les consommateurs accédent",Streaming de données,Test de validation,,chacun à toutes les données disponibles,chacun à une partie des données relativement à sa capacité de consommation,"chacun à une partie des données, réparti de manière uniforme",,
+Quelle est la différence entre Hadoop et Spark?,Streaming de données,Test de validation,,Hadoop est un système de calcul et de stockage alors que Spark n’est qu’un système de calcul,Spark est écrit en Scala alors que Hadoop est écrit en Java,Spark écrit les valeurs en mémoire alors que Hadoop les écrit sur disque,Tous ces points,
+Quelle librairie de Spark n’existe pas ?,Streaming de données,Test de validation,,SparkSQL,SparkML,Spark Streaming,Spark IO,
+Que signigie RDD ?,Streaming de données,Test de validation,,Raw distributed dataset,Redundant Distributed Dataset,Resilient Distributed DataSet,,
+Qu’est-ce que le DAG ?,Streaming de données,Test de validation,,Une représentation des tâches à exécuter,Un dispositif qui permet d’optimiser les claculs,,,
+Les Dstreams sont définis par,Streaming de données,Test de validation,,Une limite de temps,Une limite d’espace,Une limite déterminée aléatoirement,Tous ces points,
+"Dans HBase, les données sont stockées par",Streaming de données,Test de validation,,Lignes,Familles de colonnes,Clefs,,

requirements.txt

@@ -1,4 +1,21 @@
-uvicorn
-flask
-vaderSentiment
-flasgger
+annotated-types==0.6.0
+anyio==4.2.0
+click==8.1.7
+exceptiongroup==1.2.0
+fastapi==0.109.2
+h11==0.14.0
+httptools==0.1.2
+idna==3.6
+numpy==1.24.4
+pandas==1.5.3
+pydantic==2.6.1
+pydantic-core==2.16.2
+python-dateutil==2.8.2
+pytz==2024.1
+requests==2.7.0
+six==1.16.0
+sniffio==1.3.0
+starlette==0.36.3
+typing-extensions==4.9.0
+uvicorn==0.27.1
+uvloop==0.19.0