Sites scannen

Mantlet · 14-01-2005, 17:36

Sinds kort ben ik werkzaam bij een makelaar. Dit kantoor houdt ook het aanbod van andere makelaars bij op zijn website. Een deel wordt automatisch doorgegeven via het NVM systeem, maar voor niet aangesloten makelaars moet het actuele aanbod op hun sites gecheckt worden. Dit gebeurt momenteel handmatig, wat natuurlijk veel werk is. Tevens is een deel overbodig, aangezien een groot deel van het aanbod niet wijzigt.

Nu vroeg mijn baas mij of het mogelijk zou zijn om dit website checken deels geautomatiseerd te laten gebeuren. Het gaat dan dus om het opslaan van verschillende data op moment A en op moment B checken welke gegevens veranderd zijn t.o.v. moment A. Daarna moeten de gegevens van moment B worden opgeslagen om op moment C vergeleken te kunnen worden.

Aangezien ik mij niet echt verdiept heb ik websites en achterliggende databases vroeg ik mij af wat volgens jullie daarin de mogelijkheden zouden kunnen zijn.

Gezien eventuele problemen met eigendomsrecht wil mijn baas liever niet direct in de database van anderen wroeten en ik weet niet of dat uberhaubt mogelijk is. Ik zelf zat te denken aan het schrijven van een soort macro dat automatisch een website enkele levels diep opslaat en een ander macro om het locale bestand te vergelijken met het online bestand.

Ik hoop dat jullie eventueel wat verhelderende ideeen hebben.

Strakke-Wappie · 14-01-2005, 17:42

Wat natuurlijk al vrij makkelijk kan, is gewoon controleren of een site verandert is. Dus gewoon de source-file opslaan op moment A en moment B, en die vergelijken. Dan kun je iig de onveranderde sites al uitsluiten. Dat zou - als ik jou verhaal goed begrijp - al een hoop werk uit handen nemen. Het zou een hele klus zijn om echt de prijsen e.d. te gaan vergelijken, omdat natuurlijk ook andere dingen op een website veranderen. Directe toegang tot een database waar de prijzen mooi geordend in opgeslagen staan heb je - als het goed is - zowieso niet.

tongue_of_colicab · 14-01-2005, 18:23

Wat je misschien zou kunnen doen is een prog maken wat bv iedere week een lijst met url's afgaat die jij heb ingevoerd. Die slaat ie dan vanzelf op. Dan moet je alleen nog iets maken wat zeg maar bv alle getallen met euro tekens met elkaar gaat vergelijken en als er verschillen zijn dat dan opslaan. Opzich zou zoiets wel redelijk kunnen werken alleen moeten er natuurlijk geen prijzen bijkomen of weggaan of verplaatst worden want dat werkt het niet meer goed natuurlijk.

Mantlet · 15-01-2005, 01:12

Dat laatste probleem zat ik idd ook mee. Stel hij scant gewoon de content en er verandert iets halverwege, dan verandert voor het idee van de computer de hele site, aangezien alles opschuift. Het gaat er namelijk niet alleen om prijswijzigingen te checken, maar ook veranderingen in het totale aanbod.

Maar wat denken jullie van de vatbaarheid van een uitgebreid macro? Iets zoals Hitman Pro spyware scanner, volgens mij start die ook via een soort macro allemaal programma's. Zolang er niets veranderd aan de link structuur moet dat kunnen, in mijn beperkte inlevingswereld in programmeren.

MasterYoda · 15-01-2005, 14:25

Hitmangebruikt auto-it. idd een macro achtig programmatje. Je zou er eens naar kunnen kijken of het daar mee kan.

14-01-2005, 17:36	#1 (permalink)
Mantlet Geregistreerd: 3 april 2003 Locatie: Haarlem Berichten: 185	Sites scannen Sinds kort ben ik werkzaam bij een makelaar. Dit kantoor houdt ook het aanbod van andere makelaars bij op zijn website. Een deel wordt automatisch doorgegeven via het NVM systeem, maar voor niet aangesloten makelaars moet het actuele aanbod op hun sites gecheckt worden. Dit gebeurt momenteel handmatig, wat natuurlijk veel werk is. Tevens is een deel overbodig, aangezien een groot deel van het aanbod niet wijzigt. Nu vroeg mijn baas mij of het mogelijk zou zijn om dit website checken deels geautomatiseerd te laten gebeuren. Het gaat dan dus om het opslaan van verschillende data op moment A en op moment B checken welke gegevens veranderd zijn t.o.v. moment A. Daarna moeten de gegevens van moment B worden opgeslagen om op moment C vergeleken te kunnen worden. Aangezien ik mij niet echt verdiept heb ik websites en achterliggende databases vroeg ik mij af wat volgens jullie daarin de mogelijkheden zouden kunnen zijn. Gezien eventuele problemen met eigendomsrecht wil mijn baas liever niet direct in de database van anderen wroeten en ik weet niet of dat uberhaubt mogelijk is. Ik zelf zat te denken aan het schrijven van een soort macro dat automatisch een website enkele levels diep opslaat en een ander macro om het locale bestand te vergelijken met het online bestand. Ik hoop dat jullie eventueel wat verhelderende ideeen hebben. __________________ AMD Athlon 2100+ @ 1900 mHz \| 1024 MB DDR \| Nvidia GF 4600 Ti \| 5.1 surround \| 200 GB 7200 RPM 8 MB \| Levicom 550 watt \| Lian-Li PC 61 black

14-01-2005, 17:42	#2 (permalink)
Strakke-Wappie Geregistreerd: 16 maart 2003 Locatie: Lemiers Berichten: 1.148	Wat natuurlijk al vrij makkelijk kan, is gewoon controleren of een site verandert is. Dus gewoon de source-file opslaan op moment A en moment B, en die vergelijken. Dan kun je iig de onveranderde sites al uitsluiten. Dat zou - als ik jou verhaal goed begrijp - al een hoop werk uit handen nemen. Het zou een hele klus zijn om echt de prijsen e.d. te gaan vergelijken, omdat natuurlijk ook andere dingen op een website veranderen. Directe toegang tot een database waar de prijzen mooi geordend in opgeslagen staan heb je - als het goed is - zowieso niet. __________________ 't Beste van 't Beste @ PinkPop 2k5 Plat

14-01-2005, 18:23	#3 (permalink)
tongue_of_colicab Geregistreerd: 26 mei 2003 Locatie: Sassenheim Berichten: 1.905	Wat je misschien zou kunnen doen is een prog maken wat bv iedere week een lijst met url's afgaat die jij heb ingevoerd. Die slaat ie dan vanzelf op. Dan moet je alleen nog iets maken wat zeg maar bv alle getallen met euro tekens met elkaar gaat vergelijken en als er verschillen zijn dat dan opslaan. Opzich zou zoiets wel redelijk kunnen werken alleen moeten er natuurlijk geen prijzen bijkomen of weggaan of verplaatst worden want dat werkt het niet meer goed natuurlijk. __________________ [CiP] Project: Half-Life: 98%

15-01-2005, 01:12	#4 (permalink)
Mantlet Geregistreerd: 3 april 2003 Locatie: Haarlem Berichten: 185	Dat laatste probleem zat ik idd ook mee. Stel hij scant gewoon de content en er verandert iets halverwege, dan verandert voor het idee van de computer de hele site, aangezien alles opschuift. Het gaat er namelijk niet alleen om prijswijzigingen te checken, maar ook veranderingen in het totale aanbod. Maar wat denken jullie van de vatbaarheid van een uitgebreid macro? Iets zoals Hitman Pro spyware scanner, volgens mij start die ook via een soort macro allemaal programma's. Zolang er niets veranderd aan de link structuur moet dat kunnen, in mijn beperkte inlevingswereld in programmeren. __________________ AMD Athlon 2100+ @ 1900 mHz \| 1024 MB DDR \| Nvidia GF 4600 Ti \| 5.1 surround \| 200 GB 7200 RPM 8 MB \| Levicom 550 watt \| Lian-Li PC 61 black

Soortgelijke discussies
Discussie	Auteur	Forum	Reacties	Laatste bericht
sites	dafido	Software Junkies	2	14-09-2006 20:41
internet: sommige sites wel, anderen niet??	Mr. Neo	Software Junkies	2	6-10-2003 19:55
casemod sites	shure-fan	Casemod Junkies	3	22-05-2003 18:01
dualhead levert problemen op met sites	the widow maker	Software Junkies	6	19-05-2003 18:24

15-01-2005, 14:25	#5 (permalink)
MasterYoda Geregistreerd: 5 december 2004 Locatie: Vlijmen Berichten: 28	Hitmangebruikt auto-it. idd een macro achtig programmatje. Je zou er eens naar kunnen kijken of het daar mee kan.