Unter einem Crawler oder Webcrawler (auch Spider oder Robot) versteht man ein programmiertes Script, das Websites in regelmäßigen Abstand besucht, durchsucht und analysiert. Suchmaschinen wie Google, Bing und Co. nutzen Crawler zur Indexierung der Inhalte für den späteren Aufbau der Suchergebnisse zu bestimmten Anfragen.
Als Website Betreiber hat man die Möglichkeit, Crawler (sofern sie sich an den Robots Exclusion Standard halten) zu steuern. Mithilfe einer Textdatei (robots.txt) lässt sich so für verschiedene Seiten oder Ressourcen festlegen, ob ein Crawler erwünscht oder verboten ist. So kann man auch beeinflussen, welche Seiten für eine etwaige Indexierung zur Verfügung stehen.
itweb kümmert sich seit 2011 im Zeitalter der Digitalisierung stets persönlich und mit viel Engagement um seine Kunden, damit diese sich auf ihr Business konzentrieren können. Wir sind Webdesigner, Programmierer, SEO-Consultants, Grafikdesigner und Kundenberater in einem. Wir helfen bei der Konzeptionierung, Erstellung und Optimierung Ihrer neuen Homepage. Wir bestellen auch beliebig viele Domains für Sie und hosten das komplette System. Grafikdesign inklusive Logoerstellung, Webdesign, Suchmaschinenoptimierung (SEO), Verwaltung von Email-Konten, Bereitstellung von Druck- bzw. Werbematerialien, Social Media Marketing und andere Leistungen runden das Angebot von itweb ab.
