Глава 9 Поиск «скрытого» контента

Глава 9

Поиск «скрытого» контента

Контент глобальных сетей никогда не ограничивался общедоступными сайтами и ресурсами. Значительное количество ресурсов были и остаются в большей или меньшей степени закрытыми. Причины такого ограничения доступа могут быть самыми разными. Современные универсальные поисковики не отличаются выдающимися способностями в плане индексирования и поиска такой информации, поэтому ресурсы, скрытые от интернет-поисковиков, автоматически становятся невидимы пользователям. Для поиска скрытого контента требуются специализированные инструменты, речь о которых и идет в данной главе. Ее начало посвящено поиску FTP-ресурсов, которые изначально являлись скрытыми от поисковиков ресурсами в Сети и которые продолжают сохранять свое значение в наше время. Поиск необходимых файлов через FTP-поисковики в общем случае реализуется проще поиска веб-документов в Сети, однако имеет свои особенности, о которых и идет речь. При этом основное внимание уделено общим для всех таких ресурсов инструментам и приемам работы.

Крупным источником скрытого для обычных поисковиков контента являются различные торрент-ресурсы. О лучших представителях метапоисковиков, работающих одновременно со многими торрент-трекерами, также рассказывается в этой главе. Еще один источник скрытого контента – многочисленные сервисы хранения файлов. Как правило, непосредственный поиск в их архивах запрещен, однако существует ряд поисковых инструментов, позволяющих обойти это ограничение.

Кроме подобных ресурсов к скрытому контенту можно отнести данные, представленные в ряде современных форматов, с которыми популярные универсальные поисковики напрямую не работают или работают в ограниченном объеме. Сюда, в частности, можно отнести данные, представленные в форматах «семантического веба», приложения которого часто относят к поколению Web 3.0. Не забыты и специализированные инструменты поиска информации в более привычном современному пользователю формате RSS.