Sejarah Search engine atau Mesin pencari pertama adalah "Wandex", yang sekarang index

yang tidak berfungsi dari World Wide Web Wanderer, suatu web crawler dibangun oleh
Matthew Gray di MIT pada 1993. Mesin pencari lain yang lama, Aliweb, juga muncul di
1993 dan masih berjalan hingga saat ini. Salah satu mesin pencari pertama yang sekarang
berkembang menjadi usaha komersial yang cukup besar adalah Lycos, yang dimulai di
Carnegie Mellon University sebagai proyek riset di tahun 1994.
Segera sesudah itu, banyak mesin pencari yang bermunculan dan bersaing memperebutkan
popularitas. Termasuk di antaranya adalah WebCrawler, Hotbot, Excite, Infoseek, Inktomi,
dan AltaVista. Mereka bersaing dengan direktori-direktori populer seperti misalnya Yahoo.
Belakangan direktori-direktori ini menggabungkan atau menambahkan teknologi mesin
pencari agar fungsinya semakin meningkat.
Pada tahun 2002, Yahoo! mengakuisisi Inktomi dan pada 2003, mengakuisisi Overture yang
memiliki AlltheWeb dan Altavista. Tahun 2004, Yahoo! meluncurkan mesin pencarinya
sndiri yang didasarkan pada teknologi gabungan dari mesin-mesin yang telah diakuisisinya
dan memberikan pelayanan yang mengutamakan mesin pencari Web daripada direktorinya.
Pada Desember 2003, Orase menerbitkan versi pertama dari teknologi pencari waktu-riilnya.
Mesin ini memiliki banyak fungsi baru dan performancenya meningkat sangat hebat.
Mesin pencari juga dikenal sebagai bintang-bintang yang paling cemerlang dalam
perlombaan investasi Internet yang terjadi pada akhir tahun 1990-an. Beberapa perusahaan
masuk ke dalam pasar dengan hebat, mencatat keuntungan besar pada penawaran publik
pertamanya. Sebagian lagi sama sekali menyingkirkan mesin pencari publiknya, dan hanya
memasarkan edisi-edisi Enterprise saja, seperti misalnya Northern Light yang dulunya adalah
salah satu dari 8 atau 9 mesin pencari awal setelah Lycos muncul.
Sebelum munculnya Web, ada pula mesin-mesin pencari untuk protokol atau penggunaan
lain, seperti misalnya Archie search engine untuk situs-situs FTP anonim dan Veronica
search engine untuk Gopher protocol.
Buku Osmar R. Zaane From Resource Discovery to Knowledge Discovery on the Internet
menjelaskan secara rinci sejarah teknologi mesin pencari sebelum munculnya Google.
Sejarah hadirnya searchengine berdasarkan tahun bisa dilihat berikut :
Excite 1993
Yahoo! 1994
Web Crawler 1994
Lycos 1994
Infoseek 1995
AltaVista 1995
Inktomi 1996
Ask Jeeves 1997
Google 1997
MSN Search 1998
- See more at: http://www.zainalhakim.web.id/sejarah-search-
engine.html#sthash.81gSInpQ.dpuf
lat yang pertama kali digunakan untuk melakukan pencarian melalui internet
disebut Archie. Diciptakan tahun 1990 oleh Alan Emtage, seorang siswa dari
Universitas Mcgill di Montreal. Program tersebut mendownload daftar direktori dari
semua file dan ditempatkan pada alamat FTP, menciptakan suatu filename
database yang bisa dicari.

Jika program Archie meng-index file komputer, Gopher meng-index teks
dokumen. Gopher diciptakan pada tahun 1991 oleh Mark Mccahill di Universitas
Minnesota. Karena berbentuk file teks, hampir semua situs gopher menjadi website
setelah terciptanya World Wide Web.

Program yang lainnya yaitu Veronica dan Jughead, yang berfungsi untuk
mencari file yang disimpan di dalam sistem index Gopher. Veronica (Very Easy
Rodent-Oriented Net-wide Index to Computerized Archives) menyediakan
pencarian dengan menggunakan kata kunci di menu judul dalam seluruh daftar
Gopher. Jughead ( Jonzys Universal Gopher Hierarchy Excavation And Display )
adalah suatu alat untuk memperoleh menu informasi dari beberapa jenis Gopher
server.

Search engine pada web yang pertama adalah Wandex, suatu nowdefunct index
yang dikumpulkan oleh World Wide Web Wanderer, suatu Web Crawler yang
dikembangkan oleh Matthew Gray lulusan MIT tahun 1993. Pada tahun yang sama,
sebuah search engine lainnya keluar yaitu Aliweb, yang saat ini masih ada. Search
engine pertama kalinya yang full text atau search engine yang hampir semuanya
tulisan adalah Web Crawler yang muncul pada tahun 1994. tidak seperti search
engine sebelumnya, web crawler yang muncul pada tahun 1994. Tidak seperti
search engine sebelumnya, web crawler mengijinkan para pemakai mencari
informasi dengan menggunakan kata apa saja pada halaman web mana saja. Inilah
yang menjadi standarisasi dari semua search engine yang ada sekarang ini.

Setelah itu, banyak search engine yang bermunculan dan saling berlomba untuk
mendapatkan ketenaran. Diantaranya Excite, Infosee, Inktomi, Northern Light, dan
AltaVista. Dalam beberapa hal, mereka bersaing dengan direktori terkenal seperti
Yahoo!.

Sebelum web muncul, terdapat search engine untuk protokol atau pengguna lain,
seperti Archie untuk situs anonymous FTP dan Veronica untuk protokol Gopher.
Baru-baru ini muncul juga search engine online yang menggunakan XML atau RSS.
Dengan ini search engine menjadi lebih efisien mengindex data pada website tanpa
tuntutan yang rumit. Sehingga website hanya menyediakan suatu timbal balik XML
dengan index-index search engine. Timbal-balik XML secara meningkat disediakan
secara otomatis oleh weblogs atau blogs. Contoh search engine ini adalah feedster,
seperti LjFind Search yang menyediakan jasa pencarian untuk Livejournal blogs.

Definisi Search Engine
Jumat, 15 Januari 2010 10:52
Search Engine adalah aplikasi yang didesain untuk mencari informasi dunia
world wide web/ internet. Internet terdiri dari triliun data dan informasi dalam jutaan
server dan lokasi yang tersebar luas. Search engine menkoleksi data, gambar,
informasi dalam bentuk indeks. Informasi yang disajikan dalam bentuk daftar kepada
pencari berdasarkan info yang diberikan oleh pencari.

Cara kerja search engine berdasarkan urutan berikut ini:
1. Web Crawling
2. Indexing
3. Searching

Web crawler (disebut juga spider) adalah program komputer yang melihat-
lihat/browse halaman web serta mengikuti setiap link di halaman tersebut, dan
kemudian menyimpannya dalam indeks di server search engine. Isi dari halaman
tersebut dianalisa untuk mendapatkan index kata-kata dari judul, header, dan meta
tag. Index memungkinkan hasil query yang sepandan dengan cepat.

Saat pengguna menuliskan pertanyaan/ query ke search engine, maka search
engine akan searching/ mengevaluasi index dan memberikan daftar halaman web
yang paling sesuai dengan pertanyaan/ query, beserta ringkasan singkat yang terdiri
dari judul dokumen dan sebagian dari teks.
Sejarah Search Engine
Sebelum ada web search engine(mesin pencari web), terlebih dahulu ada sebuah
webserver yang memiliki daftar lengkap. Tampilan tersebut diubah oleh Tim
Berners-Lee dan dimana CERN webserver menjadi tuan rumahnya. Sejarah dalam
sebuah foto yang masih tersisa dari 1992. Semakin banyak webserver yang online
tampilan pusat tidak dapat ikuti. Dalam NCSA server baru diumumkan dengan judul
"What's New!" tetapi tidak terdapat tampilan yang lengkap lagi.

Alat yang pertama kali digunakan untuk mencari informasi di internet dinamakan
Archie. Nama itu singkatan dari "archive" tanpa "v". Alat ini diciptakan pada tahun
1990 oleh Alan Emtage, seorang murid di McGill Universitas di Montreal. Program ini
menyalin data dari semua file di komputer yang terletak di FTP (File Transfer
Protocol) tanpa nama, menciptakan kumpulan data yang bisa ditemukan di
komputer; bagaimanapun, Archie tidak memberi petunjuk dalam situs ini.

Gopher meningkat (diciptakan pada tahun 1991 oleh McCahill di Universitas
Minnesota) memimpin 2 program pencari baru, Veronica dan Jughead. Seperti
Archie, mereka mencari nama file dan judul yang disimpan dalam sistem index
(petunjuk) Gopher. Veronica (Very Easy Rodent-Oriented Net-wide Index to
Computerized Archives) menyediakan kata kunci pencarian dari kebanyakan judul
menu Gopher dalam semua tampilan Gopher keseluruhan. Jughead (Jonzy's
Universal Gopher Hierarchy Excavation And Display) adalah sebuah alat untuk
mendapatkan informasi dari server Gopher. Sementara sebuah nama mesin pencari
"Archie" bukan penunjuk untuk berbagai seri buku komik Archie, "Veronica" dan
"Jughead" adalah karakter dalam berbagai seri, jadi mengarah pada pendahulu.

Pada musim panas tahun 1993, tidak ada mesin pencari untuk web saat itu,
walaupun berbagai macam katalog khusus ada di tangan. Oscar Nierstrasz di
Universitas Geneva menuliskan berbagai seri tulisan tangan Perl dimana akan
secara berkala mencermikan halaman ini dan menuliskan kembali ke format standar
yang dibentuk untuk dasar W3Catalog, web sederhana pertama mesin pencari, yang
dilepaskan pada 2 September 1993.

Pada June 1993, Matthew Gray, kemudian di MIT, menghasilkan mungkin robot web
pertama, the Perl -berdasarkan World Wide Web Wanderer, dan menggunakan itu
untuk menghasilkan penunjuk (index) yang dinamakan 'Wandex'. Tujuan dari
Wanderer adalah untuk mengukur suatu ukuran dari World Wide Web, dimana itu
berlangsung sampai akhir 1995. Mesin pencari web yang kedua Aliweb muncul pada
November 1993. Aliweb tidak menggunakan web robot, tetapi bergantung pada
konfirmasi oleh pengelola website dari setiap situs yang ada dalam format tertentu.

JumpStation (dilepaskan pada December 1993) menggunakan web robot untuk
menemukan halaman web dan membangun penunjuknya, dan menggunakan bentuk
web untuk gabungkan dengan program pertanyaan. Itu adalah WWW yang pertama-
penemuan alat untuk menyatukan tiga ciri khas yang penting dari mesin pencari web
(crawling, indexing, dan searching). Oleh karena keterbatasan sumber yang ada dari
platform, jadi (indexing) dan dengan demikian mencari yang terbatas pada judul dan
topiknya yang ditemukan di halaman web bersamaan dengan crawler.

Satu dari "full text" crawler yang pertama-berdasarkan mesin pencaru adalah
WebCrawler, yang keluar pada tahun 1994. Tidak seperti pendahulunya, itu
membiarkan pengguna mencari kata-kata dalam berbagai halaman web, dimana
telah menjadi standar dari semua mesin pencari utama. Itu juga merupakan yang
pertama dikenal/terkenal oleh umum. Pada tahun 1994 Lycos (yang dimulai pada
Universitas Carnegie Mellon) diluncurkan, dan menjadi usaha perdagangan komersil
yang utama.

Segera setelah itu, banyak mesin pencari muncul dan bersaing untuk ketenaran.
Termasuk didalamnya Magellan, Excite, Infoseek, Inktomi, Northern Light, dan
AltaVista. Yahoo! adalah cara yang paling banyak diminati oleh kebanyakan orang
untuk menemukan halaman web, tetapi fungsi pencarian beroperasi pada direktore
web, daripada teks penuh yang disalin dari halaman web. Informasi dari para
pencari dapat juga dilihat direktori daripada melakukan pencarian kata kunci.

Pada tahun 1996, Netscape sedang mencari sesuatu untuk memberikan mesin
pencari single rundingan yang istimwea untuk menjadi ciri khas mesin pencari.
Terdapat begitu banyak minat yang menghantam Netscape oleh 5 mesin pencari
utama, 5 juta dolar per tahun setiap mesin pencari akan diputar pada halaman mesin
pencari Netscape. Lima mesin ini adalah: Yahoo!, Magellan, Lycos, Infoseek dan
Excite.

Mesin pencari juga terkenal sebagai beberapa bintang cemerlang dalam internet
menginvestasikan (frenzy) yang terjadi pada akhir 1990an. Beberapa perusahaan
memasuki pasar, menerima catatan selama persembahan umum mereka. Beberapa
sudah melepas mesin pencari umum mereka dan hanya perusahaan pemasaran,
seperti Northern Light. Beberapa perusahaan pencari ditangkap pada (dot-com
bubble), spekulasi bom yang terjadi pada tahun 1999 dan berakhir pada tahun 2001.

Sekitar tahun 2000, mesin pencari Google bangkit untuk menjadiyang terdepan.
Perusahaan mencapai hasil yang memuaslan untuk beberapa pencarian dengan
penemuan yang disebut PageRank. (iterative algortihm ranks) halaman web
berdasarkan angka dan PageRank dari situs web yang lain dan halaman yang
berhubungan dengan itu, dengan pemisalan bahwa barang atau halaman yang
menarik berhubungan lebih daripada yang lain. Google juga mempertahankan
pemisahan minimal untuk mesin pencarinya. Bertentangan, beberapa pesaing
tertanam pada mesin pencari di portal web.

Tahun 2000, Yahoo menyediakan layanan pencarian berdasarkan mesin pencari
Inktomi. Yahoo! mendapat Inktomi pada tahun 2002 dan Overture (yang dimiliki oleh
AlltheWeb dan AltaVisa) pada tahun 2003. Yahoo! (switched) ke mesin pencari
Google sampai tahun 2004. ketika di luncurkan mesin pencarinya sendiri
berdasarkan penggabungan teknologi dari perolehannya.

Microsoft pertama kali meluncurkan MSN Search (in the fall of) 1998 menggunakan
hasil pencarian dari Inktomi. Pada permulaan 1999 situs tersebut mulai
menampilkan daftarnya dari Looksmart digabung dengan hasil dari Inktomi kecuali
untuk jangka pendek tahun 1999 ketika hasil dari AltaVista digunakan. Pada tahun
2004, Microsoft memulai masa peralihan untuk pencarian teknologinya, didukung
oleh web crawler (dinamakan msnbot).

Microsoft memberikan merk lagi pada mesin pencari, Bing, yang diluncurkan pada 1
Juni 2009. Pada 29 July 2009, Yahoo! dan Microsoft menyelesaikan rundingan
dimana Yahoo! Search didukung oleh teknologi Microsoft Bing.

Berdasarkan Hitbox, ketenaran Google memuncak pada 82.7% bulan Desember
2008. Pada July 2009 prestasi menunjukkan Google berada pada 78.45 kalah dari
Baidu 8.87%, dan Bing 3.17%. Penguasaan pasar dari Yahoo! adalah 7.16% dan
AOL 0.6% juga ditolak.

Di Amerika Serikat, Google memimpin pada 63.2% penguasaan pasar pada May
2009, berdasarkan Nielsen NetRatings. Republik of Cina, Baidu memegang 61.6%
penguasaan pasar untuk pencarian web bulan July 2009.
Web robot yang pertama kali muncul adalah "Wandex" dari World Wide Web
Wanderer, suatu aplikasi indeks yang ditemukan oleh Matthew Gray di MIT pada
1993 sampai 1995 yang digunkan untuk mengetahui seberapa besar world wide
web. Kemudian muncul Aliweb dan sampai sekarang. Kemudian ada mesin lain
yang bernama Lycos, lahir pada tahun 1994, yang telah berkembang pesaat menjadi
usaha yang komersial. Kemudian sudah mulai muncul banyak mesin yang bersaing
diantaranya adalah WebCrawler, Hotbot, Excite, Infoseek, Inktomi, dan AltaVista.

Search Engine sendiri pun terbagi atas dua kelompok yaitu Individual Search Engine
yaitu mengumpulkan data dari web kemudian menampilkan hasilnya berdasarkan
indeks pada basis individu. Contohnya adalah Google (www.google.com), hotbot
(www.hotbot.com), FastSearch (www.fastsearch.com). Sedangkan kelompok yang
lain adalah Meta Search Engine yaitu dengan cara mencari data dari beberapa
individual search engine secara bersama-sama. Contohnya adalah lxquick
(www.ixquick.com), Meta Crawler (www.go2net.com/search.html), QbSearch
(www.qbsearch.com).
Beberapa Search Engine:

* Altavista (http://www.altavista.com)
* Alltheweb (http://www.alltheweb.com)
* Ask (http://www.ask.com)
* AOL (http://www.aol.com)
* Britannica (http://www.britannica.com)
* Dogpile (http://www.dogpile.com)
* Gigablast (http://www.gigablast.com)
* Google (http://www.google.com)
* HotBot (http://www.hotbot.com)
* Live Search (http://www.live.com)
* LookSmart (http://www.looksmart.com)
* Lycos (http://www.lycos.com)
* Mamma (http://www.mamma.com)
* MetaCrawler (http://www.metacrawler.com)
* MSN (http://www.msn.com)
* Netscape (http://www.netscape.com)
* Search (http://www.search.com)
* Snap (http://www.snap.com)
* Yahoo (http://www.yahoo.com)
* WebCrawler (http://www.webcrawler.com)
* Wisenut (http://www.wisenut.com)
Pangsa Pasar Search Engine
Data dari marketshare.hitslink.com market share mesin pencari search engine per
Desember 2009 adalah:
Google 85.34%
Yahoo 6.29%
Bing 3.27%
Baidu (searhc engine China) 2.81



1. GOOGLE

KELEBIHAN (+)

1. Kecepatan dan kemudahan dalam mencari.
2. lebih canggih dengan fitur yang dimilikinya.
3. Tampilan yang sederhana.
4. Google merupakan satu-satunya mesin pencari yang memilki cach. Dengan adanya
cache ini, si pencari dapat menghemat waktu pencarian, karena hasil pencarian
yang akan ditampilkan.
5. Dapat mencari segala informasi seperti gambar, berita artikel, hiburan dll.

KEKURANGAN (-)

1. Dengan kelebihan yang dimilikinya, ternyata mesin pencari ini jadi bidikan para
spamer untuk menampilkan iklan-iklan yang tidak diperlukan. Mereka memanfaatkan
setiap celah yang ada pada sistem algoritma Google untuk memaksa iklan mereka
tampil pada halaman terdepan. Maka, pencarian pun terasa tergangggu.



2. YAHOO

KELEBIHAN (+)

1. Adanya fitur e-mail yang banyak disukai oleh orang-orang.
2. Kecepatan dan kemudahan dalam mencari.
3. Fiturnyanya yang komplit.
4. Yahoo juga menyediakan salah satu fungsi yaitu katalog web. Link ke menu bantuan
(help) juga dapat dikenali dengan baik di halaman login dengan keterangan yang
cukup jelas.

KEKURANGAN (-)

1. loadingnya membutuhkan waktu yang lama


3. MSN (Microsoft)

KELEBIHAN (+)

mampu mencari video, musik, gambar, dan beragam format file spesial.

KEKURANGAN (-)

1. pencarian. Dibutuhkan waktu yang lama sampai hasil ditampilkan di halaman MSN.
2. Pengguna juga sulit membedakan antara iklan dan bukan iklan pada halaman
pencariannya. Penampilan iklan hanya dibedakan dari hasil asli melalui sebuah titik
di depannya.
4. ALTAVISTA

KELEBIHAN (+)

1. keunggulan dalam hal pencarian halaman web, video, gambar, MP3, dan file audio
lainnya. Dalam pencarian berita pun Altavista mampu mencari berita teraktual.
2. Altavista mampu menetapkan berapa umur maksimal yang akan ditampilkan.
KEKURANGAN (-)

1. Dalam hal pencarian data yang kurang bagus. Sering kali mesin pencari ini
menampilkan hasil yang sama sekali tidak ada kaitannya dengan tema yang dicari.

5. ALLTHEWEB

KELEBIHAN (+)

1. Kemudahan dalam mencari.
2. Tampilan yang sederhana seperti Google.
3. Alltheweb langsung menyediakan fungsi untuk pencarian berita, musik, gambar, dan
video.
4. Menu bantuan terlihat jelas, dan di dalamnya tersedia sejumlah opsi bantuan yang
banyak, sehingga sekali lagi kemudahan tampak bagi si pengguna.

KEKURANGAN (-)

1. Pencarian yang lama dibandingkan dengan mesin pencari lainnya.
2. Halaman pencarian hanya dibatasi dengan sebuah garis sehingga membingungkan
si pengguna.
3. Pada link-link yang tidak berguna terkadang masih terlihat dalam beberapa hari,
sehingga terlihat kurang aktual. Hal ini menunjukan tidak cepatnya Allltheweb
melakukan update.


6. ASK.COM

Dulu namanya adalah Ask Jeeves (Jeeves adalah karikatur eksekutif pria yang lihai
menjawab segala pertanyaan). Situs ini bisa menjadi alternative sebab masih bisa
menemukan situs yang terkubur akibat spam di jejaring mesin pencari lainnya.

KELEBIHAN (+)

1. Keunggulan utamanya adalah ia akan mencari situs penyedia jawaban untuk
pertanyaan anda.





7. LYCOS

KELEBIHAN (+)

1. Lycos mampu mencari data dengan cepat dan ini merupakan kelebihannya.
2. Dalam hal pencarian cepat.
3. Lycos menyediakan fungsi Fun Search yang lebih diperuntukkan bagi kalangan
remaja. Ini sangat membantu bagi kalangan yang membutuhkan gosip dan lagu
terbaru dari para selebritis pujaan.
4. Lycos juga menampilkan 50 pencarian terbesar di halaman depannya.

KEKURANGAN (-)

1. Untuk mencari berita-berita aktualnya, pengguna harus masuk ke bagian site map
karena berita-berita tersebut tidak ditampilkan di halaman depan.

2. Sering tidak spesifik karena datanya kebanyakan masih mengambil data dari mesin
pencari Alltheweb yang tergolong paling lamban dalam pencarian data

8. BING

KELEBIHAN (+)

1. Mempunyai fasilitas instant answer. Fasilitas ini merupakan salah satu inovasi
performa yang berhasil dikembangkan dan diintegrasikan ke dalam sistem sehingga
memampukan Bing memberikan jawaban.
2. Hasil pencarian image atau video dapat ditampilkan dan disaring secara detail.
Apabila pengguna melakukan pencarian situs atau halaman web yang berisi konten
image, maka Bing mampu menyajikan daftar hasil pencarian secara spesifik dan
detail.
3. Kotak detail pada link hasil pencarian. Jika pada situs-situs mesin pencari lainnya,
pengguna harus mengklik link yang ditampilkan di halaman tersebut untuk
mengetahui isinya. Namun, pada Bing ini, pengguna tidak perlu mengklik link lagi,
tetapi hanya perlu mengarahkan kursor pada link tersebut untuk menampilkan kotak
detail. Melalui kotak detail inilah pengguna dapat menyimak sekilas informasi
tentang link tersebut.
4. Bing.com ini mesin pencari yang sangat complet, semua yang Anda cari pasti ada.
5. Sistem filternya bisa kita aktif kan ataudi non aktifkan, jadi anda bisa membuka situs
yang diblokir.

KEKURANGAN (-)
1. Tidak dapat berhitung.
2. Fiturnya tidak lengkap.
3. Bing.com kurang di minati oleh pengguna.
4. Bing.com kurang cepat dalam pencariannya.


9. WINDOWS LIVE SEARCH

Pengembangan yang terus dilakukan oleh Microsoft menghasilkan keputusan
untuk memisahkan mesin pencari dengan Windows Live. Pada akhirnya Microsoft
mengubah nama mesin pencarinya menjadi Live Search, yang kemudian
dikonsolidasikan dengan Microsoft adCenter. Reorganisasi yang dilakukan ini,
menimbulkan banyak perubahan dalam kebijakan, misalnya menghentikan beberapa
produk seperti Windows Live Expo, Live Search Macros, dan sebagainya.
Perubahan yang terus dilakukan Microsoft ini ternyata belum membuahkan hasil.
Microsoft menyadari bahwa penggunaan brand name untuk produk mesin pencari
sangatlah penting. Akhirnya untuk menciptakan indentitas baru, Microsoft
menghadirkan suatu mesin pencari baru pada tanggal 3 Juni 2009, yang diberi nama
Bing, kepada seluruh pengguna Internet di dunia.

KELEBIHAN (+)

1. Mampu mencari informasi yang lebih spesifik baik berupa website, berita, gambar,
maupun musik, serta lainnya.

KEKURANGAN (-)

1. Search engine ini tidak begitu populer


10. WEB CRAWLER

Web crawler adalah suatu program atau script otomatis yang relatif simple, yang
menggunakan metode tertentu untuk melakukan scan atau crawl ke semua
halaman-halaman Internet untuk membuat index dari data yang dicarinya.
Sebutan/julukan lain untuk web crawl adalah web spider, web robot, bot, crawl dan
automatic indexer.
Web crawl dapat digunakan untuk beragam tujuan. Penggunaan yang paling umum
adalah yang terkait atau berhubungan langsung dengan search engine. Search
engine menggunakan web crawl untuk mengumpulkan informasi mengenai apa yang
ada di halaman-halaman web publik. Tujuan utamanya adalah mengumpukan data
sehingga ketika pengguna Internet mengetikkan kata pencarian di komputernya,
search engine dapat dengan segera menampilkan web site yang relevan dan sesuai
dengan yang dicari.
Ketika web crawl search engine mengunjungi halaman web, ia membaca teks yang
terlihat, hyperlink, dan konten berbagai tag yang digunakan dalam situs seperti meta
tag yang banyak berisi keyword. Berdasar kaninformasi yang dikumpulkan web
crawl, search engine akan menentukan situs dan mengindex informasinya. Website
tersebut kemudian dimasukkan ke dalam database search engine dan dilakukan
proses penentuan ranking setiap halamannya.
Search engine bukanlah satu-satunya pengguna web crawl. Linguist bisa
menggunakan web crawl untuk melakukan analisis tekstual; yaitu, mereka bisa
menyisir Internet untuk menentukan kata apa yang paling umum digunakan hari ini
(keyword populer). Peneliti pasar dapat menggunakan web crawl untuk menentukan
dan memanipulasi trend pada suatu pasar tertentu. Ini semua merupakan contoh
beragam penggunaan web crawl. Web crawl dapat digunakan oleh siapapun yang
melakukan pencarian informasi di Internet.
Web crawl beroperasi hanya sekali, misalnya untuk suatu projek yang hanya sekali
jalan, atau jika tujuannya untuk jangka panjang seperti pada kasus search engine,
mereka bisa diprogram untuk menyisir Internet secara periodik untuk menentukan
apakah sudah berlangsung perubahan yang signifikan. Jika suatu situs mengalami
trafik sangat padat atau kesulitan teknis, spider atau crawl dapat diprogram untuk
mencatat hal ini dan mengunjunginya kembali setelah kesulitan teknis itu
terselesaikan dan dilakukan pembenahan serta perbaikan.

Kelebihan
1. Suatu program atau script otomatis yang relatif simple
2. Dapat digunakan untuk beragam tujuan. Penggunaan yang paling umum adalah
yang terkait atau berhubungan langsung dengan search engine

Kekurangan
1. Beroperasi hanya sekali, misalnya untuk suatu projek yang hanya sekali jalan

11. LOOKSMART

Looksmart bukanlah search engine, tapi mempunyai pengaruh besar juga dalam
pencarian data di internet. Directori ini berbagi database yang sudah dibuatkan
kategorinya berupa link dengan MSN, Home.net, CNN, dan Time Warner. Situs ini
merupakan yang termasuk berbayar, untuk itu jika anda mempunyai uang,daftarkan
juga ke sini.

Kelebihan
1. Menyediakan produk iklan pencarian dan layanan kepada pengiklan teks

Kekurangan
1. Situs ini merupakan yang termasuk berbayar


12. WISENUT

Kelebihan
1. Situs yang ditampung oleh database ini sekitar 579 juta buah
2. Terdapat 21 bahasa dunia yang berbeda tetapi bahasa Indonesia belum ada
3. Bebas dari banner iklan dan aneka image yang memberatkan
4. Menyediakan form isian untuk mencari database yang diinginkan
5. Adanya pemfilteran terhadap situs-situs pornografi

Kekurangan
1. Situs ini telah ditutup







13. BAIDU SEARCH ENGINE .

Kelebihan
1. Baidu Post Bar menyediakan pengguna dengan permintaan masyarakat berbasis
dicari untuk bertukar pandangan dan berbagi pengetahuan dan pengalaman.
2. Baidu Berita menyediakan link untuk pilihan lokal, berita nasional dan internasional
3. Cari MP3 Baidu menyediakan link yang dihasilkan algoritma untuk lagu dan file
multimedia lainnya yang disediakan oleh penyedia konten Internet.
4. Baidu Ensiklopedi
5. Baidu Internet Tv

Kekurangan
1. Untuk pencarian tdk secepat google /yahoo
2. Bahsa didominan oleh bahasa mandarin
3. Jangkauan artikel/ berita yang dimuat lebih sedikit ditimbang dengan google
4. Penampilan gambar pada baidu kurang jelas
5. Proteksi dalam baidu bisa dibilang jelek

Keterangan ~> Baidu merupanakan searc engine terbesar di cina dan didirikan
pada tanggal 18 Januari 2000.



14. ICEROCKET SEARCH ENGINE .

Kelebihan
1. Dapat mencari gambar
2. Dapat mencari search engine yang susah dicari
3. Dapat digunakan untuk mencari dan membuat blog
4. Ada fasilitas news yang digunakan untuk melihat kabar berita terbaru
5. Serta mudah untuk melihat daftar video yang baru seperti film bioskop yang hot
news

Kekurangan
1. Kurang begitu populer
2. Susah dicari tentang informaasi situs web tersebut
3. Sulit untuk memahami cara memakai web
4. Cara pemakaian dan fasilitas yang kurang memadai


15. ENTIREWEB SEARCH ENGINE .

Kelebihan
1. Memiliki web crawler sendiri,Speedy Spider(penjelajah web otomatis yang digunakan
untuk membuat indeks pencarian)
2. Memiliki satu algoritma merangkak terpandai
3. Terhubung ke banyak web web lain


Kekurangan
1. Kadangkala tidak menampilkan hasil yang diinginkan.
2. Kenndala bahasa

Penemu : Marcus Andersson


16. FINDTOYOU SEARCH ENGINE .

Kelebihan
1. Dapat mengklasifikasikan pencarian , sehingga user dapat mudah memilih jenis file
yang ingin dicari, berbeda dengan search engine sejenisnya yang hanya mampu
mencari 1 atau 2 file saja.

Kekurangan
1. Masih agak lambat , meskipun akses internetnya bagus.


17. BASIGI SEARCH ENGINE .

Kelebihan
1. Pada home-page basigi yang menyediakan link/taut statistik yang gunanya untuk
menunjukan pemakai pada kata kunci (keyword) yang paling populer, kategori
terpopuler, dan juga presentase pencarian.
2. Terdapat informasi real-time yang sekarang sedang menjadi trend di mesin pencari
lain, beserta kata kunci serta konten yang berhubungan dengan yang kita cara
dengan suatu keyword.
3. Menyediakan tempat untuk mengirim alamat URL.

Kekurangan
1. Belum begitu banyak sumber artikel yang bisa digali.
2. Tampil dengan fitur terbatas pada pencarian berita.


18. SOLUSEE.COM

ialah search engine yang dibuat oleh orang indonesia (local),dan Anda dapat
mencari universitas bina nusantara atau memori super besar

Kelebihannya :
anda dapat mencari langsung alamat - alamat universitas yaang ada di indonesia.

kekurangannya :
situs ini cuma bida mencari alamat-alamat universitas, sekolah, dsb.
situs ini juga tidak bisa mencari situs web lainnya.
dan tampilannya pun terlalusederhana.


19. AOL.COM

adalah mesin pencari atau perusahaan jasa search engine yang bekerja
sama dengan google.com
kelebihan :
1. download di aol lebih cepat
2. bisa mwmbuat surat elektronik
kekurangannya :
1. fiturnya sangat kurang
2. dan mesin pencarinya pun kurang akurat


20. ZUULA

Mesin pencari ini cukup cerdik karena ia dapat memanfaatkan beberapa
Search engine terkenal sebagai enginenya, diantanya Google, Yahoo, MSN,
Gigablast, Exalead, Alexa, Accoona dan Mojeek. jadi bisa dikatakan zuula adalah
semacam portal yang berguna dalam memudahkan pencaian.

Kelebihan :
Zuula tentu saja memberikan kita kemudahan cepat dalam melakukan
pencarian, terutama kita hanya melakukan perpindahan tab untuk melakukan
pencarian ke search engine yang lain, kelebihan lainnya pada meta search engine
dimana zuula akan menampilkan pencarian terpisah dalam kategori yang berbeda,
yaitu web, images, video, news, blog, jobs.

Kekurangan
Zuula bukanlah mesin pencari tunggal karena zuula tidak mempunyai index
database sendiri