Crawler pour trouver des noms de domaines expirés

Lukket Opslået 6 år siden Betalt ved levering
Lukket Betalt ved levering

J'ai que quelqu'un me développe un outil pour trouver des noms de domaines expirés.

Ce qui me faudrait :

Je donne un mot-clé à l'outil, par exemple "annuaire travaux".

1) L'outil va récupérer les 100 premiers résultats de Google.

2) Pour chaque site, il crawle l'ensemble des pages (comme Xenu).

3) Il checke chaque URL sortante pour savoir si elle est KO (c'est à dire qu'il n'y a pas de code retour de 4xx, 5xx, 2xx).

4) Chaque URL sortante KO est listée dans un fichier.

5) L'outil retourne la liste des NDD sous forme de fichier.

Je suis moi-même développeur est j'ai déjà créé cet outil sous PHP. Le seul souci c'est qu'il est très lent. Je pourrais donc vous donner l'algorithme que j'ai créé et des pistes pour optimiser l'outil

HTML Scrapy SEO Web Crawling Web Skrabning

Projekt ID: #15811118

Om projektet

14 bud Remote projekt Aktiv 6 år siden

14 freelancere byder i gennemsnit €469 timen for dette job

ukroficer

Bonjour, vous avez besoin de créer un outil pour trouver des noms de domaines expirés ou juste besoin du coup de main sur le travail.? Merci

€555 EUR in 10 dage
(245 bedømmelser)
8.6
pointlogic

Tengo un conocimiento profundo de php, mysql, javascript, jquery, integraciones de paypal, API, css, html, html5, wordpress. Esperaré hablar con usted. Gracias.

€500 EUR in 10 dage
(193 bedømmelser)
7.7
pvsysgroupinc

We are Expert Team of Making Crawler I give a keyword to the tool, for example "job directory". 1) The tool will recover the first 100 results from Google. answer : we can 2) For each site, it crawl all Flere

€750 EUR in 30 dage
(21 bedømmelser)
6.2
technoweb7

A proposal has not yet been provided

€555 EUR in 10 dage
(21 bedømmelser)
6.1
Harun1986

Hello, I will provide you active and expire domain and following details. Please let me know if you want a sample? Waiting for your reply. Thank you

€250 EUR in 10 dage
(70 bedømmelser)
6.0
justdotweaks

Hello Sir/mam, As a Web & App development company we have investigate your project and find that we can do this but first i would like to show u my exp. Our specialities: - iOS/Android development - PHP Develope Flere

€555 EUR in 10 dage
(18 bedømmelser)
5.1
pankajsaini1989

Hi, I understand that what you exactly want in these 5 points. And I have 7 plus years of experience in all the skills that this job require. I will make that tool fast. As, I am a PHP expert so will definitely Flere

€555 EUR in 10 dage
(1 bedømmelse)
4.2
benet6

Sir i understand your requirement, will complete it ASAP. Kindly give a proper brief. where in we can move forward

€333 EUR in 10 dage
(0 bedømmelser)
0.0
AnthonyBstd

Une petite application développé sous Node.js (Javascript) devrait faire le travail correctement et rapidement.

€555 EUR in 10 dage
(0 bedømmelser)
0.0