Rachid Merabtene

I. Evaluation et finetuning de reranker Contexte : Conception et développement d'un pipeline/framework de fine-tuning d'un re-ranker pour un système RAG juridique, en couvrant l'ensemble de la chaîne de valeur : qualification des labels, préparation des datasets, fine-tuning LoRA/QLoRA et évaluation orientée ranking. Qualification et enrichissement des données :

• • Mise en place et automatisation des workflows d'annotation via Label Studio.

• • Développement de scripts d'export et de préparation des datasets directement intégrés à la bibliothèque.

• • Analyse de la couverture des labels positifs à l'échelle requête, document et passage afin d'évaluer la qualité réelle du signal supervisé.

• • Mise en place d'un workflow de filtrage / reranking des positifs via LLM.

• • Transformation d'un signal initialement plutôt document-level en supervision passage-level, mieux alignée avec l'objectif métier du re-ranking. Préparation des données :

• • Génération de datasets pointwise et pairwise enrichis à partir des search results et des positifs filtrés.

• • Implémentation d'un split strict train / validation / test par identifiant de requête afin d'éviter toute fuite de données entre ensembles.

• • Construction de négatifs au niveau passage_id et conservation des métadonnées utiles à l'analyse.

• • Conception de plusieurs pistes de hard negative mining pour les itérations futures (random, reranker-based, bi-encoder + FAISS, FlagEmbedding). Entraînement et évaluation des

Context: On assignment at the Crédit Agricole SA Group DataLab, within the NLP and Documentary AI SQUAD, main projects

• - Internal AI Projects & Prototypes

• - Participation in the development and organization of the onepoint Data Factory

• - Project Management / Organization

• - Internship Supervision / Team Management

• - Team Management / Coaching

• - Proposals & Tender Responses

• - Continuous Monitoring