quinta-feira, 23 de julho de 2015

Deep Web - Motores de Busca



Motores de busca

Atualizado em 02-Jun-2017


        Pois é, depois desse tempo que o blog ficou na "geladeira", novos motores surgiram e outros já existentes ou mudaram de visual ou modificaram suas respostas de pesquisas. Na verdade não há tantas mudanças significativas, já que a finalidade de um motor de pesquisas é a de propor ao internauta a possibilidade de ampliar os seus horizontes na DW. Enfim, a lista de motores de pesquisa está bacana e ainda com boas opções, contudo não estranhe se os motores de pesquisa exibirem resultados que encontram-se na superfície! Isto deve-se ao fato de que a maioria faz uma pesquisa limpa ou focada em assuntos digitados por você,  e que é a característica do então motor de busca.

    Caso queira entender melhor o que é a DW, como acessá-la e o que deve-se fazer ou não, além de deixar a tua máquina melhor configurada e segura, sugiro começar por (aqui).

    Embora as páginas da DW não sejam indexadas, existem bons motores de pesquisas que podem encontrar as páginas através da DW e não apenas listas de links. A maioria dos motores de pesquisas são nativos da superfície, outros só existem na DW - embora exibam resultados da superfície e já há alguns que possuem duas URL, uma para a superfície e a outra para a DW. Alguns destes mostrados aqui, já vinham na barra de pesquisa do Iceweasel, o antigo navegador da distro GNU/Linux Tails, que agora é o Firefox.

 Aviso

     Esse aviso fica mais para quem chega aqui pela primeira vez ou costuma sofrer de amnésia. Existem outros motores de pesquisas além dos mostrados aqui? É claro que existem, mas também existem alguns que são falsos (não necessariamente um clone de outro verdadeiro) Na verdade, são páginas web que não pesquisam nada, apenas geram um resultado aleatório tirado de um banco de dados de links. Alguns links eram armadilhas, outros a página web demorava carregar (na verdade esta não ia carregar nunca, era um malware tentando se instalar). É por isso que eu faço questão de testar link a link. O recado está dado.


https://www.startpage.com/
    O Start Page é um excelente motor de pesquisa, tanto na superfície  quanto na DW. O bacana deste é que na superfície a tua pesquisa é repassada para o Google de forma anônima e o resultado desta este repassa de volta para você sem que o Google saiba que a pesquisa foi feita por você. Ou seja, este praticamente faz uma "pesquisa limpa e anônima".

    Start Page já foi o motor de pesquisa padrão do navegador Iceweasel enquanto este era o navegador padrão da distro Tails, embora ainda seja uma das opções de motores de busca. Há algum tempo o Start Page adicionou uma série de configurações muito legais que podem deixar o teu navegador com visual bem atraente e funcionalidades do jeito que você gosta. Para quem gosta de fazer uma pesquisa bem específica, eliminando resultados que não tem nada a ver, há a opção avançada (clique na 2ª figura para ampliar) que vai te poupar tempo e trabalho olhando links que não estejam dentro do teu critério de pesquisa. Ou seja, você continua a usar o Google para encontrar o que deseja e sem propagandas. Top mesmo!


 
    O Duck Duck Go é muito usado por quem não quer ser rastreado ou ter as suas pesquisas usadas para engenharia social. Este é tanto nativo da DW como da superfície (aqui) e tem sido muito usado para pesquisas "limpas", ou seja, sem interferências comerciais. O Duck Duck Go também é uma das opções de motores de busca do Tails, além de ser o motor de busca do Projeto Tor pois muita gente gosta dele.



http://hss3uro2hsxfogfq.onion/    Not Evil (ex-TorSearch) agora com um visual bem simplista, é um motor de busca nativo da DW e as suas respostas são rápidas e mesmo escrevendo em português - ou outro idioma além do inglês - este pega os resultados nos metadados de alguma página web. Quando era conhecido como TorSearch, já era o motor de busca que havia sido chamado de o próximo "Google" da DW e é um dos resultados de busca pelo Google na superfície (ainda como TorSearch) que mais aparece, entretanto, este não possui um sistema de busca por imagens como você costuma usar nos motores de busca da superfície. Contudo, este é um motor de pesquisa muito usado, mesmo simples do jeito que está.

    Diferente do Google, o agora Not Evil não tem (ainda) nenhum tipo de filtro para ajudar a dividir e categorizar os resultados encontrados. E pelo que deu para entender, a equipe do Not Evil resolveu incluir alguns fóruns para quem gosta de ficar debatendo. Dei olhada muito rápida mas é aquele tipo de fórum cujo papo é sempre o mesmo (pedofilia, carding, wonar o Facebook, celular, etc...), com muitas perguntas e poucas respostas.

    Na Wikipédia ainda consta a página do TorSearch com o link para o Not Evil sem fazer nenhuma menção de mudança no seu visual.

    Eu testei perguntas como: "sites em língua portuguesa", "livros em português", "livros em pdf", etc e os resultados foram excelentes. É claro que surgem muitos resultados em sites de outros idiomas, mas que contém algo relativo ao texto da caixa de pesquisas.


    Curiosamente também aparecem vários links em espanhol - não sei se é uma falha de pesquisa ou devido a "similaridade" latina do idioma, mas os resultados surgem como uma opção mais próxima do português o que particularmente, não é de todo mal. Eu não testei se o mesmo acontece entre o inglês e o alemão, mas você pode experimentar...

    O legal do Not Evil, é que este também serve para pesquisas "limpas", ou seja, sem interferências comerciais, tanto na DW quanto na superfície.


 http://library.ucr.edu/    O InfoMine foi descontinuado mas ainda pode-se conseguir bons materiais para estudo e pesquisa através da UC Riverside Library.



   
                                     O Deep Web Technologies dá-te cinco motores de busca (e plugins do navegador) para temas específicos. Os motores de busca cobrem ciência, medicina e negócios. Usando estes motores de busca de tópicos específicos, você pode consultar os bancos de dados subjacentes na DW. Atualmente usando o Tor (devido as restrições configuradas) você pode bater numa página em branco, dizendo que o teu IP faz parte de uma "Lista Negra" e o teu acesso foi negado por abuso!! Mas acessando da superfície está tudo "normal".



    O IncyWincy já com um novo visual, é um motor de pesquisa Invisível e comporta-se como um mecanismo de meta-pesquisa batendo em outros motores de busca em filtrar os resultados. Este procura na WEB, diretórios, formas e imagens. Com um registro gratuito, você pode acompanhar os resultados de busca com alertas. Talvez você somente o acesse na rede Tor (embora este esteja na superfície), é provável que acessando-o da superfície simplesmente a página carregue totalmente em branco, talvez por ser necessário o JavaScript.


   
http://msydqstlz2kzerdg.onion/   AHMIA.FI é o motor de pesquisa para os serviços ocultos da rede Tor. É largamente usado pelos navegantes da DW.

Sempre mudando de visual, este motor de pesquisa tem duas URLs, sendo uma nativa da DW e outra da superfície (aqui). Talvez seja assim, para evitar que usuários tenham que acessar a superfície para fazer pesquisas sobre as páginas web da rede Tor. De tempos em tempos o link nativo da DW muda, ou deixa de ser funcional. Agora este está com um visual bem estiloso, diferente do visual que há no link da superfície. Embora nas duas formas, este consegue dar uma ampla resposta nas pesquisas, aparentemente o link da superfície parece não estar operacional . Mesmo assim, é muito bacana mesmo!





https://www.jisc.ac.uk/   O Intuite foi descontinuado mas ainda pode-se conseguir bons materiais para estudo e pesquisa relacionados a redes e tecnologia através do Jisc.  O que parece é que o Jisc incorporou o Intuite pois não há mais um link para o Arquivo da Web, que é digamos, um dentre vários backups de milhares de páginas web afora. Só que agora ficou bem chato para acessar o Intuite pois este exige 3 etapas para você entrar: 1º) clicar que tu não és um robô; 2º) clicar em imagens de acordo com a pergunta e 3º) copiar um link e colá-lo em outra caixa. eu já estou cogitando em tirar este link daqui por tanta burocracia... A propósito  faz uso do CloudFlare.





http://www.infoplease.com/    O Infoplease (agora com um novo visual) é um portal de informação com uma série de funcionalidades. A utilização do site, você pode ter acesso a um bom número de enciclopédias, almanaques, um atlas e biografias. Infoplease também tem alguns desdobramentos interessantes como Factmonster para as crianças (vale conferir) e Bio search tips, um motor de busca só para as biografias.

    Apesar do Infoplease não acessar a DW, este fornece um excelente serviço on-line que pode te poupar tempo em pesquisas na DW.


     O Torch já é bem conhecido. É mais um (dos poucos) motor de pesquisa nativo da DW. Faz um bom trabalho, e talvez faltasse um financiamento extra para continuar - dá logo para perceber pela publicidade na sua página principal. Às vezes o carregamento total da página demora finalizar devido as propagandas, independente disso você já pode ir logo digitando a tua pesquisa, teclar Enter e livrar-se desta espera (é o que eu faço).




https://disconnect.me/freeprotection
    Outro novo "jogador" apareceu na área e já é o motor de pesquisa principal do Firefox no Tails. Eu falo do Disconnect, embora o Start Page e o Duck Duck Go ainda estejam no navegador como outras opções para os fãs que não os querem largar. O Disconnet também serve para pesquisas "limpas", ou seja, sem interferências comerciais. O Disconnet passou a oferecer serviços pagos mas continua com o serviço básico que apresentou-se, para ver estas opções clique no link do Disconnet (em amarelo), a "versão básica" já está com o link atualizado (se clicar na imagem). O Disconnet possui um app para o teu smartphone (um navegador) com mais segurança e navegação criptografada, algo muito útil para quem usa redes Wi-Fi públicas. Vale conferir.




 Também há o News File Search que é um motor de pesquisa nativo da DW. Por já está na DW é mais uma opção para encontrar o que se deseja. Diferente da superfície os resultados das pesquisas podem ser completamente variados e muitos links neste motor podem não encontrarem-se nas pesquisas feitas por outros motores, e do jeito que a DW é meio caótica, toda ajuda é indispensável.


 Este é o Secureroot, um motor de pesquisa diferenciado pois é voltado para pesquisas relacionadas ao universo hacker. Pode-se dizer que o Secureroot é um misto de motor de pesquisa e catálogo de links, pois você escolhe se a tua pesquisa será feita através da WEB ou apenas do próprio Secureroot.

Então se a tua procura é por documentação, programas, dicas, fóruns, serviços, etc... (a lista é longa), o Secureroot é parada obrigatória! Além de ser um motor de busca, a página principal já é formada por uma infinidade de links bem organizados e classificados.

    No menu Top 100 sites do Secureroot  você pode pesquisar por mais outros 100 sites do gênero, ou seja, este já te entrega de bandeja uma enorme possibilidade de você poder encontrar o que quer na superfície.

    De repente o que você procura está na superfície (mais seguro) mas de forma não tão clara. Muita gente vai à DW à procura de material hacker específico, e com o fechamento de várias páginas do gênero na DW o Secureroot é uma opção mais rápida e prática.


http://lqdnpadpys4snom2.onion/    Um outro motor de pesquisa devotado a dar uma mão aos internautas é o SearX, nativo da DW e possui um mecanismo de meta-pesquisa, agregando os resultados de outros motores de busca enquanto não armazenar informações sobre seus usuários.

O SearX tem uma página com vasta documentação e detalhes sobre este motor de pesquisa (aqui).

    Pode-se dizer que o SearX é um motor de pesquisa híbrido, pois este utiliza vários outros motores de pesquisa específicos para cada tipo de arquivo procurado. Você pode habilitar ou desabilitar que conjunto de motores de pesquisa o SearX use: Para isso você deve clicar em Advanced settings, logo abaixo da caixa de pesquisa. Além de poder definir em que idioma você pretende pesquisar, o que pode evitar resultados em um idioma que não seja do teu interesse (o padrão é  Automático). É só ir em preferences.



    O diferencial do SearX é que este te dá opções de pesquisa com filtros prontos na sua página principal, incluindo imagens, notícias, redes sociais, etc. Basta marcar (ou desmarcar) os botões para filtrar a tua pesquisa. Infelizmente o SearX não aceita caracteres acentuados na caixa de pesquisa ¹, mas mostra os resultados acentuados, assim como aceita pesquisas como: " Livros em portugues", mesmo sem acento, o Searx te dá ótimos resultados. Vale conferir

    ¹ Se a configuração do idioma de pesquisa não for a de um idioma que use acentos ou Automático. Caso contrário, os acentos serão liberados e corresponderão ao idioma em questão.



  
   
    Sobre o Memex Deep Web Search Engine, um buscador sinistro do Departamento de Defesa dos EUA, eu transferi e incluí novas informações (aqui).



    A cada mês eu vou dar uma conferida para ver se os links ainda são válidos. Caso algum link não esteja funcionando, avise-me, e caso você conheça algum link legal (mesmo que esteja no meio de um catálogo de links ou lista de links), envie-me para poder ajudar o maior número de internautas que gostam da DW.


    Espero que este conteúdo possa ajudá-lo a conhecer melhor o que tem de bom na DW!
  
    Existem é claro outros motores de buscas, mas não prometo dar uma de louco e tentar colocar todos aqui, mas sempre que um destes se destacar será adicionado, ou algum que aqui esteja passe a ser descontinuado eu o troco por outro.

(continuo pesquisando,,,)