Im Jahr 2016 verarbeitete Google über 3,2 Billionen Suchanfragen, doch die Ergebnisse der Suchmaschine machten nur einen Bruchteil der online verfügbaren Inhalte aus. Viele der online verfügbaren Informationen sind für Suchmaschinen nicht zugänglich. Sie müssen daher spezielle Tools verwenden oder Websites selbst durchsuchen, um diese versteckten Seiten zu finden. Diese versteckten Informationen, die als Deep Web bekannt sind, machen bis zu 5.000 Mal aus, was mit typischen Suchtechniken verfügbar ist.
Arten von versteckten Inhalten
Die versteckten Seiten von Websites fallen in Kategorien, die beschreiben, warum sie für Suchmaschinen unsichtbar bleiben.
Einige stellen dynamische Inhalte dar, die nur bereitgestellt werden, wenn ein Besucher eine bestimmte Anfrage auf einer Website stellt, die datenbankgesteuerten Code verwendet, um gezielte Ergebnisse zu präsentieren. Diese Seiten könnten beispielsweise Einkaufsergebnisse enthalten, die auf bestimmten Kombinationen von Produktkriterien basieren. Suchmaschinen sind nicht dafür ausgelegt, in diesen Datenbanken gespeicherte Informationen zu verfolgen und zu speichern. Um diese Seiten zu finden, müssen Sie auf die Website gehen und nach den spezifischen Informationen suchen, nach denen Sie suchen, oder einen datenbankorientierten Suchdienst wie Bright Planet verwenden.
Einige Seiten haben keine Links, die sie mit durchsuchbaren Quellen verbinden. Temporäre Ressourcen, wie z. B. mehrere Versionen von Websites, die sich in der Entwicklung befinden, können ebenso in diese Kategorie fallen wie schlecht gestaltete Websites. Wenn beispielsweise jemand eine Webseite erstellt und auf den Server der Website hochgeladen hat, aber keinen Link dazu auf den aktuellen Seiten der Website hinzugefügt hat, würde niemand wissen, dass sie dort war, einschließlich der Suchmaschinen.
Noch mehr Seiten erfordern Anmeldeinformationen, um sie anzuzeigen oder zu erreichen, wie z. B. Abonnementseiten. Webdesigner weisen Seiten und Bereiche von Sites als tabu für Suchmaschinen ein und verhindern so effektiv, dass sie mit herkömmlichen Mitteln gefunden werden. Um auf diese Seiten zuzugreifen, müssen Sie normalerweise ein Konto erstellen, bevor Sie die Berechtigung zum Zugriff darauf erhalten.
Verwenden von Robots.txt-Dateien
Suchmaschinen durchsuchen die Seiten einer Website und indizieren ihren Inhalt, damit er als Reaktion auf Anfragen angezeigt werden kann. Wenn ein Websitebesitzer einige Teile seiner Domain von diesen Indizierungsverfahren ausschließen möchte, fügt er die Adressen dieser Verzeichnisse oder Seiten zu einer speziellen Textdatei namens robots.txt hinzu, die im Stammverzeichnis seiner Website gespeichert ist. Da die meisten Websites eine Robots-Datei enthalten, unabhängig davon, ob sie Ausschlüsse hinzugefügt haben, können Sie den vorhersehbaren Namen des Dokuments verwenden, um seinen Inhalt anzuzeigen.
Wenn Sie "[Domainname]/robots.txt" ohne Anführungszeichen in die Adresszeile Ihres Browsers eingeben und dabei "[Domainname]" durch die Site-Adresse ersetzen, erscheint der Inhalt der Roboterdatei oft im Browserfenster danach Sie drücken die "Enter"-Taste. Einträge, denen "disallow" oder "nofollow" vorangestellt sind, stellen Teile der Site dar, die für eine Suchmaschine nicht zugänglich sind.
Website-Hacking zum Selbermachen
Zusätzlich zu robot.txt-Dateien können Sie oft anderweitig versteckte Inhalte finden, indem Sie Webadressen für bestimmte Seiten und Ordner in Ihren Webbrowser eingeben. Wenn Sie sich beispielsweise die Website eines Künstlers ansehen und feststellen, dass jede Seite dieselbe Namenskonvention verwendet – wie gallery1.html, gallery2.html, gallery4.html – dann können Sie möglicherweise eine versteckte Galerie finden, indem Sie die Seite " galerie3.html." in Ihrem Webbrowser.
Wenn Sie sehen, dass die Website Ordner zum Organisieren von Seiten verwendet – wie example.com/content/page1.html, wobei „/content“ der Ordner ist – können Sie den Ordner selbst möglicherweise anzeigen, indem Sie die Website und den Ordner eingeben , ohne eine Seite wie "example.com/content/" in Ihrem Webbrowser. Wenn der Zugriff auf den Ordner nicht deaktiviert wurde, können Sie möglicherweise durch die darin enthaltenen Seiten sowie durch die Seiten in allen Unterordnern navigieren, um versteckte Inhalte zu finden.
