Scraper toutes les pages URL d'un site web à partir de son URL

Playground 🇫🇷 Discussions
,
1

Hello à toutes et tous :slight_smile:

C’est encore moi avec une petite problématique un peu bizarre. :smile:

Connaissez-vous un tool qui permette de scraper toutes les url d’un site web en fournissant en input l’url de base que l’on a ?

Exemple : si je fournis adidas.com, j’aimerais qu’il me retourne toutes les pages donc adidas.com/chaussures, adidas.com/pantalons...ect

Mon cas d’usage c’est pour un client qui aide les ETI à diffuser leurs communiqués de presse. Et je me suis dit qu’à partir du moment où j’arrivais à identifier une URL du style adidas.com/medias ou adidas.com/communique-de-presse, ça fait un super déclencheur. :slight_smile:

Merci d’avance !

2 Likes
2

Edit : Je n’avais pas bien compris ta demande :sweat_smile:

Hello @nathanguillaumin,

Souvent y a un sitemap (c’est long à charger y a bcp d’URLs)

Screenshot_2024-02-15-14-40-42-245_com.android.chrome-edit
Screenshot_2024-02-15-14-40-42-245_com.android.chrome-edit1220×1243 223 KB

Ou t’as ce genre d’outils qui fait un peu peur comme Xenu (que j’ai connu grâce à Camille du forum Growthhacking)

3

Hey @nathanguillaumin tu aurais besoin d’un outil qui le fait en masse ou sur une petite quantité?
La première chose à laquelle je pense c’est de checker le sitemap du site web

4

Oui il me faudrait un tool qui le fait en masse. Compliqué avec le sitemap parce que du coup c’est du manuel

5

Si c’est en masse et une tache récurrente j’irais checker du coté de fiverr, pour 200-300 dollars tu as un script personnalisé

6

Il me faudrait un outil (je suis sûr qu’il y en a qui existent). Pas envie d’embaucher quelqu’un et ce sera probablement sur 500 à 1000 sites par mois, c’est pas non plus énorme.

7

Peut être screaming frog?

8

site:adidas.com inurl:presse

2 Likes
9

Hello Nathan,

Tu as essayé avec Clay + IA ?

10

Non @Florian_Rosotte l’outil permet ça ?

11

De mémoire il y a des plugins ChatGpt qui font ça.
J’en avais testé Il y a quelques mois.

Après je suis à peu près sur qu’avec Bardeen ou Automa tu dois pouvoir faire ça sans trop de difficulté.

12

Je t’ai fait un loom pour t’expliquer comment faire avec Clay :slight_smile:

10 Likes
13

De mon côté, impossible de lire ta vidéo @alexis

Update : C’est good. Top ton petit tuto :gem:

2 Likes
14

Ah bah voilà @alexis t’as donné exactement ce que j’avais en tête, congrats !

1 Like
15

Génial Alexis. Merci beaucoup pour ta vidéo tuto et ton aide.

Je vais essayer et je te dirai !

Pour le « matches this keyword », je peux ajouter un OR et ajouter d’autres mots-clés j’imagine ?

16

Avec plaisir ! Oui tu peux, il faut juste jouer un peu avec le prompt :slight_smile:

1 Like
17

Salut Alexis, impossible de lancer la vidéo de mon côté !

18

5 messages ont été fusionnés à un sujet existant : Scrap les entreprises qui ont un site web fait par solocal et les enrichirs

19

J’ai uploadé la vidéo en dur, ça devrait fonctionner :wink:

1 Like
21

@nathanguillaumin : la solution de @alexis sur Clay est canon ! Tu as aussi une autre possibilité notamment si tu sais gérer API + Make :

Tu peux aussi utiliser SerpAPI pour récupérer facilement tous les résultats de recherche sur Google, à partir d’une requête booléenne optimisée incluant : « {nom du client} media » OR « {nom du client} communique de presse »

L’outil est ultra puissant pour récupérer n’importe quel type de contenu sur Google (search, map, actualités local, ads, etc), et assez peu cher

1 Like