Grafiek Instructable weergaven met Python scherm schrapen (6 / 6 stap)

Stap 6: Nota's en commentaren

• Lees de bestanden zorgvuldig voor meer informatie heb ik veel moeite in hen. Dit geldt voor de .py-bestanden het bestand urllist.txt en de bat -bestanden.

• Veel die meer kan worden gedaan met de grafische en andere mogelijke manieren voor het analyseren van de gegevens, als u iets interessants te doen (of een bug vindt) laat het me weten.

• De programma's begon als vrij eenvoudig, maar zijn geëvolueerd. Als er belangstelling ik levert eenvoudiger, maar minder veelzijdig versies voor beginners, laat het me weten.

• U kunt de bestanden uitvoeren zonder gebruik te maken van uw ontwikkelomgeving. Op mijn systeem doen het .bat dossiers dat. Deze laat me van een dubbele klik in een file manager, of een pictogram op het bureaublad uitgevoerd. Andere OS's hebben soortgelijke faciliteiten, maar u zult moeten uitzoeken de details, wenst u publiceren hier als commentaar.

• Het datumsysteem gebruikt hier is een beetje vreemd, het maakt gebruik van ts = time.time() die is een timestamp: instants in tijd uitgedrukt in seconden vanaf 12:00 am, 1 januari, 1970(epoch). Ik omzetten dit in dagen voor graphing. Conversie naar waarden die lijken op datums zou een mooie verbetering.

• Instructable weergave graven zijn een beetje vreemd. Ik heb gemerkt dat wanneer ik verschillende browsers tegen Instructables, zelfs op hetzelfde moment uitvoert, ik zal het krijgen van een lichtjes verschillend aantal weergaven. Zodat u kunt ook telt vinden dat scrape_views.py wellicht ietwat andere mening dan uw browser.

• Alle scherm schrapers zijn heel gevoelig voor de indeling van de web-pagina die zij zijn schrapen. Als instructables hun formaat verandert kan het goed breken het programma, meestal maar u kunt het meestal tweak weer in vorm met veel werk.

• Aanpassing voor andere sites: de meeste van deze is gedaan in de subroutine: ( scrape_views.py ) parseit (apage) , die slechts ongeveer 20 lijnen van uitvoerbare code heeft, dit moet een gemakkelijk herschrijven.

• Mijn Python-stijl is een beetje willekeurig, ik nog niet geleerd/gemaakt van mijn geest op welke verdragen die ik zal gebruiken, kan hierdoor een beetje verwarring. Ik heb geprobeerd te houden aan vrij eenvoudig Python.

• Er is een module met de naam "Mooi Soup" dat doet op een heleboel web manipulatie, voor krachtige methodes er naar kijken, ik heb vast aan een eenvoudigere manier van schrapen.

• Er zijn een aantal ideeën over de verbeteringen die zijn ingebed in de code, ze lezen.

• Grafiek van een andere manier wilt: er zijn hier vele opties behoort:

• Er zijn ook een paar instructables rond dit onderwerp of soortgelijke projecten. Je kan ze van belang vinden: