01 / BTS-SIO / Dev_Ops

MarketSpider

Bot de scraping avancé permettant d'être notifié instantanément de bonnes affaires se trouvant sur des sites de vente en ligne tel que Vinted ou Leboncoin

Statut : Private beta Stack : python/sqlite/docker Année : 2024-2026

Le Défi

Construire un outil permettant de trouver des annonces de lego en ligne ayant un prix avantageux avec un pourcentage de succès de plus de 70%.

psychology

Pourquoi Lego ?

Ces jouets ont la particularité de fortement gagner en valeur dans le temps, de plus, ils sont souvent sous évalués par les particuliers.

front_hand

Vérification d'authenticité

Toute annonce détectée est vérifiée par une IA basé sur l'embedding d'image, puis, par un LLM, ce qui permet de minimiser la charge de l'utilisateur.

devices

Notifications

L'utilisation d'un bot discord a été choisi car cet application peut notifier l'utilisateur où qu'il soit.

Architecture Technique

Extrait de code principal illustrant le modèle d'implémentation clé de ce projet.

Python Docker MariaDB Curl OVH

                                main_sc.py
                                v1.1.2-beta
                            

for filtre in Filtres: 
    #scrap the page
    scraper.scrap(filtre['url'])
    #parse the page
    scraper.Parse(filtre['plateforme'])
    #append the listings to the queue for parallel processing
    scraper.Append_to_Queue(condition=filtre['condition'], platform=filtre['plateforme'])

Ce projet, qui j'ai développé durant 2 ans, m'a permis d'apprendre la création d'un code durable et lisible, tout en me permettant d'apprendre de nombreux concepts.