Scraping & Automatisation

Hello bande de Growth !

Je me forme sur Automa.site depuis cette semaine, c’est un outil pour automatiser son navigateur en open source.

J’ai déjà plusieurs idées d’automatisations et de scrapers que je veux réaliser, mais si vous avez des idées (quelque chose de pas trop compliqué) car je débute, je suis preneur.

Je veux bien tester et vous partager le workflow gratuitement pour celui qui aura le plus de votes.

De mon côté, j’ai déjà plusieurs idées pour me faire la main :

  1. Scraper Indeed et WTTJ
  2. Scraper pour analyser les SERP et remonter tous les sites créés par Solocal (j’ai un cas d’usage que je veux tester pour un client)
  3. Scraper des annuaires, par exemple : https://www.artisans-du-batiment.com/
  4. Un bot qui accepte les demandes de connexion LinkedIn, aime, commente le dernier post et envoie le premier message, par exemple. (l’idéal qu’il analyse s’il est dans mon icp avant)

Puis, des trucs qui n’ont rien à voir avec la lead gen pour le fun :

  1. Automatisation pour scraper Amazon et envoyer les photos en masse sur Pinterest (à l’époque, j’avais monté un compte à 3 millions de trafic mensuel avec 15K de photos comme ça en 3 mois) pour faire de l’e-commerce mais avec Amazon, ça serait de l’affiliation.
  2. Remonter des annonces 2 fois par jours sur des sites de parrainage pour gagner de l’argent

Bref, les possibilités sont infinies. J’ai fait hier mon premier scraper (très basique) et ça me donne plein d’idées.

Je ne suis pas du tout expert en automatisation et scraping, mais je compte bien saigner le sujet qui pourra m’aider pour l’outbound :slight_smile:

J’attends vos meilleures idées :slight_smile:

Belle journée !

6 Likes

Salut Jerome :v:t2:

Je ne connaissais pas Automa mais effectivement ça a l’air super sympa !

Quelque chose qui pourrait éventuellement être intéressant, et qui m’a posé problème dans le passé, serait de réussir à scrapper des DDB « protégées » où les variables du type {prénom} {nom} {entreprise} ne sont pas directement dans le code source et/ou ne sont pas des sélecteurs CSS/html. J’ai pas d’exemple là tout de suite mais l’idée serait de réussir à automatiser l’interception des requêtes entre le front et le serveur pour récupérer les datas que tu veux.

Je pose ça là comme ça, je suis loin d’être un bon codeur et si ça se trouve c’est impossible à automatiser MAIS ça mérite d’être creusé.

A l’époque j’avais réussi à récupérer les datas grâce à un dev qui avait intercepté les requêtes serveur et à partir de là j’ai converti mon json to csv et hop magie : DDB de plus de 4000 personnes avec toutes les infos des leads !

1 Like

Yes c’est vraiment le feu Automa.

Tu peux faire tout ce que tu fais à la mano, donc aucune limite.

Il faut juste trouver comment le faire et ça c’est autre chose, vu que j’ai attaqué cette semaine.

1 Like

Je n’ai jamais essayé Automa, mais suis assez fan de Bardeen pour ca. Tu as essayé ?

1 Like

Franchement test, tu verras c’est vraiment le feu.

Yes, je suis justement dessus pour monter un scraper pour Indeed et WTTJ :wink:

1 Like

Normalement les SERP avec les google dorks « keyword » + instant data scrapper ça te récupère tout.
Mais il faut bien faire ses dorks.

C’est comme ça que j’avais récupéré un max de site d’artisans en IDF à l’époque.

Pour automa sur SERP tu veux faire quoi exactement ?

1 Like

@Jason , j’utilise souvent Instant Data Scraper, c’est bien pour des tâches basiques, mais c’est très limité.

Si tu veux récupérer des URL de sites puis des infos sur chaque site, tu ne peux pas…

Je vais mettre en place pas mal d’automatisations et de scrapers, tu verras.

(Il n’y a pas de limite, tu peux faire tout ce que tu ferais manuellement dans ton navigateur, mais de manière automatisé)

1 Like

Pour déjà savoir ce que tu es en train de nous bricoler en coulisses…

Je sais d’avance que tu vas en faire saliver plus d’un @jerome.Rossat :wink:

1 Like

Héhé toi tu sais tout @Guillaume.Albisetti :facepunch:

1 Like

Et pour appuyer ce que tu dis :

:arrow_right: Instant Data Scraper pour le scrap de base

:arrow_right: Bardeen pour aller un cran au dessus

:arrow_right: Automa (découvert grâce à toi) pour aller beaucoup plus loin en no-code.

Bien sûr, pour les puristes et les furieux du code
Python, etc.

1 Like

Exactement @Guillaume.Albisetti tu as tout dis !

Le truck cool avec Automa c’est que c’est du no code, et tu peux ajouter du javascript du coup tu n’as pas de limite sauf ton imagination :slight_smile:

Et aujourd’hui avec avec Automa, un cerveau et chat GPT pour te faire du JS tu fais ce que tu veux.

1 Like

A l’époque instant data scraper prenait les URL des sites web sur une requête avec les booléènes

Peut-être que les choses ont changé en 1 an :slight_smile:

J’utilise IDS depuis plusieurs années et je ne me souviens pas de cette feature :thinking:

1 Like

Hey, je connaissais pas automa.site

Perso, j’utilise ZennoPoster, l’outil ultime :slightly_smiling_face:

3 Likes

@Fabien tu viens du seo non ?

J’ai commencé par la, et zenno est très répandu pour ça mais il faut être chaud pour l’utiliser par contre zéro limite avec !

Yeeeeah Zennoposter ! Y a Browser Automation Studio en gratos pour s’essayer à ce type d’outil,

Car Zennoposter force à prendre leur plan à 37$/mo maintenant :sob:

J’ai aussi bcp entendu parler de Uipath (@Mehdi18000) mais jamais pris le temps de tester

1 Like

@Kevin-Zimmermann Browser Automation Studio c’est vraiment lourd, j’ai acheté une formation, mais quand on débute pas facile il faut plusieurs mois pour prendre le tool en main.

Je trouve que Automa (pour le moment) c’est le top pour un noub comme moi qui ne dev pas.

1 Like

C’est la formation de « Devenirentrepreneurweb » que t’as acheté ? Elle est bien ?

1 Like

Oui j’ai démarré par le SEO aussi :slightly_smiling_face:

1 Like

Exacte c’est celle ci @Kevin-Zimmermann

Yes c’est pas mal, il donne même des scriptes qu’il a déjà fait :wink:

1 Like