英語圏ではあるフレーズ、たとえば「Wikipedia」をGoogleで検索することを“google Wikipedia”のように表現するほどになった。また、日本語においても「ウィキペディアをググる、ウィキペディアでググる」という表現が生まれた。この状況に危機感を募らせたYahoo!は、2004年にロボット型検索エンジンを独自技術Yahoo!Search Technology(YST)（Yahoo!が買収したInktomiとAltaVista、Overture等の技術を統合した）に切り替えた。同年、GoogleやYahoo!のエンジンに匹敵すると言われるTeomaを利用した検索エンジン、Ask Jeeves（現・Ask.com）が「Ask.jp」として、2005年、オーストラリアで誕生したMooterが日本に進出し、検索サービスを開始した。
検索エンジンの多様化 [編集]：検索という行為が一般化するにつれて、各種目的別に多様化した検索エンジンが現れるようになった。ブログの情報に特化した検索TechnoratiやblogWatcher、商品情報の検索に特化した商品検索サイト、サイトの見た目で検索するMARSFLAGほか、次々と新しい検索エンジンが生まれている。また、検索エンジンでは判断できない抽象的な条件などでの検索を人手に求めた、OKWaveや人力検索はてななどの「人力検索」「ナレッジコミュニティ」と呼ばれるサービスも登場した。最近では、携帯電話からもサイトを検索する傾向となり、GoogleやYahoo!、froute.jpをはじめとする携帯向けのモバイル検索サイトが登場し活気がでている。
対応端末の多様化 [編集]：ソフトバンク・Yahoo! JAPANがボーダフォンを買収し、KDDIがGoogleと提携するなど、携帯電話の分野で検索エンジンの戦いが激化してきている。モバイル検索の分野は長らく公式サイトと呼ばれる世界がユーザーの囲い込みを行っていたため脚光を浴びることが少なかった。近年携帯型・据置型問わず家庭用ゲーム機にインターネット接続機能が搭載されるようになり、こういった世界でも検索エンジンの戦いがまもなく起こるのではないかとの見方もある。
テレビコマーシャルとの連動 [編集]：2006年頃から日本ではアドレスを表示せず、検索キーワードを表示するテレビコマーシャルなどが急増している。大抵はキーワードが書かれた状態の検索フォームとボタンを表示し、マウスクリックを促す演出がなされている。コマーシャルでURLを表示するのに比べてアクセス数を獲得しやすいことが増加の要因である。しかし検索結果に企業にとって不都合な情報が現れる場合があるため、グーグル八分のような検索結果の操作が行われるケースも考えられる。(本文の出典:フリー百科事典『ウィキペディア（Wikipedia）』)
パコパコママより
このサイトの記事の出典は:SEO検索エンジン最適化（searchengineoptimization.jp）
パコパコママの考察検索エンジンの基礎知識 > スコアリング
スコアリングとは、検索エンジンの運営プロセスの中で、「照合」「判定」の役割を担う作業です。スコアリングでは、ユーザーから要求されたキーワードに対して、インデックスされた個々のWebページと要求されたキーワードの適合度をスコアと呼ばれる数値のかたちで算出します。検索エンジンは様々な要因をもとにスコアを算出し、スコアの高いページのURI順に検索結果をリスト表示します。
スコアリングは、検索エンジンの検索精度を決める重要な作業であるため、各検索エンジンベンダーは様々な方法を複合的に用いています。
パコパコママの考察検索エンジンの基礎知識 > スコアリング > パコパコママの推論TF-IDF法
WWW上でのキーワードの重要性の違いに配慮することで複合語の検索時の精度を高める、TF-IDF法について説明します。
パコパコママの考察検索エンジンの基礎知識 > スコアリング > パコパコママの推論TF-IDF法 > 複数キーワードによる検索の精度を高めるTF-IDF法
TF-IDF法とは、複合語の検索時に、WWW上でのキーワードの重要性の違いに配慮するスコアリングアルゴリズムです。TFーIDF法を用いることで、複数キーワードによる検索の精度を高めることができます。
複数のキーワードをAND検索する場合、検索エンジンはそれぞれと一致する語句を全て含むWebページを抽出し、それぞれの語句への適合度を別々に算出して、集計し、表示の順位を決定します。このとき、単に個々の語句の順位を集計するだけでは、良い結果は得られません。なぜなら、それらの個々の語句の間には重要性の違いがあるからです
例えば、Aという単語とBという単語での検索を行ったとします。仮に、WWW全体のWebページの中で、Aを含むものが100あり、Bを含むものが1000あり、両方を含むものが50あるとします。単に順位だけで判断すると、「Aに対して10位・Bに対して11位」というWebページと、「Aに対して11位・Bに対して10位」というWebページは同列に扱うべきものです。しかし、Aの全体に対する順位と、Bの全体に対する順を相対的に考えると、「AおよびB」という内容についてより詳しく書かれているのは、「Aに対して10位・Bに対して11位」の方であるはずです。
TF-IDF法を用いたアルゴリズムは、AとBそれぞれの単語自身の重要性=順位の重さの違いを考慮して、「Aに対して10位・Bに対して11位」を「Aに対して11位・Bに対して10位」よりも上位に表示します。
パコパコママの考察検索エンジンの基礎知識 > スコアリング > パコパコママの推論TF-IDF法 > キーワードの出現度を示すTFと重要度を示すIDF
TF-IDF法は、文字どおりTF(term frequency)という指標とIDF(inverse document frequency)という指標の2つの指標を用いたアルゴリズムです。TFとIDFの双方の指標を用いることで、キーワードに対する個々のWebページのスコアリングを、キーワードの重要性をふまえた上で行うことができます。
TF(term frequency)
TFとは、Webページ内でキーワードがどれだけ多く使用されているのかを示す指標です。キーワードを多く含むWebページほど、そのキーワードについて詳しく説明しているものと考えるものです。
IDF(inverse document frequency)
IDFとは、そのキーワードがどれだけの数のWebページで使用されているかを示す指標です。多くのWebページで使用されているキーワードより、少ないWebページで使用されているキーワードの方が重要性の高いものと考えるものです。
TF-IDF法の詳しいアルゴリズムについては、他のサイトをご参照ください。
特許庁ホームページの「標準技術集について」における「B5-(1)TF?IDF解析」(http://www.jpo.go.jp/shiryou/s_sonota/hyoujun_gijutsu/search_engine/b/b51.htm)を参照
パコパコママの考察検索エンジンの基礎知識 > スコアリング > パコパコママの推論ページ内適合度解析
ページ内適合度解析とは、ドキュメント内のキーワードの記述状態をスコアリングに用いるための作業です。検索エンジンは、完全に文意を捉えた文章処理を行うことができません。そのため、次のような「文書内でキーワードがこのように記述されている文書は重要である」という法則性を元にドキュメント内の文章を分析することで、ユーザーから求められる検索語句とWebページとの適合度を測るわけです。
パコパコママの考察検索エンジンの基礎知識 > スコアリング > パコパコママの推論ページ内適合度解析 > キーワード配置（パコパコママ）
キーワード配置とは、検索キーワードが記述されているHTMLの要素の種類によって、キーワードとWebページの関連性を判断するものです。
パコパコママの考察検索エンジンの基礎知識 > スコアリング > パコパコママの推論ページ内適合度解析 > キーワード配置（パコパコママ） > キーワードを含む要素の種類で適合度を算出
検索エンジンが検索キーワードとWebページの適合度を測る指標の1つとして、キーワード配置があります。検索キーワードが記述されているHTMLの要素の種類によって、Webページの重要性を判断するものです。HTMLは文書の構造を構造要素ごとにマークアップする言語であるため、語句がどのような要素内で扱われているかによって、Webページ上でのその語句の重要度を測ることができるわけです。
パコパコママの考察検索エンジンの基礎知識 > スコアリング > パコパコママの推論ページ内適合度解析 > キーワード配置（パコパコママ） > キーワード配置で重視されるHTMLの要素
一般的にWebページの表題を表すtitle要素や、第一レベル見出しであるh1要素の内容として記述されている文字列には、そのWebページの内容を象徴するような重要な語句が含まれているものです。検索エンジンは、そのようなWebページの主題に近いと思われる要素内に記述された語句を重要度の高い語句とみなし、スコアリングを行う際に、他の部分に記述された語句よりも強く重み付けます
パコパコママの考察検索エンジンの基礎知識 > スコアリング > パコパコママの推論ページ内適合度解析 > キーワード出現頻度（パコパコママ）
キーワード出現頻度とは、検索キーワードがどれだけ含まれるかの割合によって、キーワードとWebページの関連性を判断するものです。
パコパコママの考察検索エンジンの基礎知識 > スコアリング > パコパコママの推論ページ内適合度解析 > キーワード出現頻度（パコパコママ） > キーワードが占める割合によって適合度を算出
検索エンジンが検索キーワードとWebページの適合度を測る指標の1つとして、キーワード出現頻度があります。検索キーワードがどれだけ含まれるかの割合によって、Webページの重要性を判断するものです。特定の語句が高い割合で含まれる文書は、割合の低い文書に比べて、その語句との関連の深い文書であるといえます。そのことから、検索エンジンは、基本的にはキーワード出現頻度の高いWebページに対して強い重みを付けを行います。(ただし、同じキーワードを多数詰め込むことで検索エンジンの評価を高めようとしたスパム行為が行われた歴史への反省から、あまりに高いキーワード出現頻度に対しては、スパム行為によるものだとして評価を落とします。)