Googleよりも優れた検索エンジンを構築する方法

David Pierce 氏、編集者兼 Vergecast の共同司会者であり、消費者向けテクノロジーを 10 年以上カバーした経験があります。 以前は、Protocol、The Wall Street Journal、Wired に勤務していました。

Sridhar Ramaswamy は、別の検索エンジンを構築するために Google を辞めたわけではありません。 少なくとも最初はそうではありません。 Google での 15 年間の在職期間の終わりに、ラマスワミーは会社の広告部門全体を指揮し、10,000 人以上の従業員を監督していました。彼は検索を適切に行うためにどれだけの労力が必要かを誰よりも正確に知っていました。

Google が検索においていかに支配的な存在であるかは、いくら強調してもしすぎることはありません。 ほとんどの調査では、Google は世界の検索市場の約 90% を占めており、その数字は 20 年間着実に上昇しています。 Google は、ほぼすべてのブラウザ、ほぼすべてのデバイスのデフォルトの検索エンジンです。 私たちはインターネットを検索しません。 Googleで調べます。 Bing と Yahoo は 2 番目と 3 番目に大きなプレーヤーです。最後に Bing または Yahoo で何かをしたのはいつですか? Googleはその状態を維持するために、莫大な政治的、技術的、財政的資本を費やしてきた。

しかし、ラマスワミ氏は、Google がその検索エンジンに対してできないこと、あるいはやろうとしないことすべてを他の人よりもよく知っていた。 数十億人のユーザーと数千億ドルを保護する必要がある Google が、検索結果ページの大きな変更、新しいビジネス モデル、またはユーザーの検索を減らす可能性のあるあらゆる種類の製品を検討する可能性は低いです。 （ラマスワミー氏は実際に、一部のサイトで広告なしのエクスペリエンスに対して料金を支払うことができる Google Contributor と呼ばれる機能をテストしていましたが、うまくいきませんでした。）ここには、Google には単純にできない、あるいは作ろうとしないものを作るチャンスがありました。 そこで、ラマスワミー氏が 2018 年に退社したとき、Google と YouTube の重役を長年務めた Vivek Raghunathan 氏は、未来の検索エンジンを構築するために Neeva という会社を共同設立しました。

今年、The Verge は、Google 検索がウェブをロボットの場所にどのように再構築したか、そして AI の出現が Google 自体をどのように脅かしているかを調査しています。

道のりは険しいものでしたが、Neeva のチームは最終的に、自慢の検索エンジン、つまり Neeva の内部指標とユーザー調査の両方で Google に迫る検索エンジンを構築することができました。 試した人は好評で、Neeva は検索をさらに改善するためのアイデアが詰まった長いロードマップを用意していました。 もう少し時間があれば、彼らは検索の未来を構築できるかもしれません。 しかし、わずか 4 年で Neeva は閉鎖されました。

ある意味、Neeva の存在の一瞬のちらつきは、検索エンジンの過去 20 年間の優位性について知るべきすべてを物語っています。 検索エンジンを構築するのは難しいです。 Google よりも優れたものを構築するのはさらに困難です。 しかし、Google に勝ちたいのであれば、より優れた検索エンジンを開発することはほんの始まりにすぎません。 そして、そこからはさらに難しくなります。

検索エンジンは非常に複雑なものであると同時に、非常に単純なアイデアでもあります。

検索エンジンが実際に行っていることは、「検索インデックス」として知られる Web ページのデータベースをコンパイルし、クエリを発行するたびにそのデータベースを調べて、それらのページの最適かつ最も関連性の高いセットを提供することだけです。 それがすべての仕事です。

ただし、その旅の小さなステップごとに、重大かつ複雑なトレードオフを必要とする大きな複雑さが存在します。 それらのほとんどは、時間とお金という 2 つのことに要約されます。

仮に、インターネット上の数え切れないほどの数十億のページすべてを収録した常に更新​​されるデータベースを構築できたとしても、ストレージと帯域幅のコストだけで、地球上のほぼすべての企業が破産してしまうでしょう。 それには、1 日に何百万回も何十億回もデータベースを検索するコストさえ考慮されていません。 さらに、すべてのミリ秒が重要であるという事実を加えてください。Google は今でも検索結果の上部にすべてのクエリにかかった時間を宣伝しています。そして、とにかくデータベース全体を調べる時間はありません。

したがって、独自の検索エンジンを構築することは、Web ページを優れたものにするものは何か?という驚くほど哲学的な質問から始まります。 何が合理的な意見の相違とみなされ、何が単なる誤った情報であるかを判断する必要があります。 どのくらいの広告が多すぎるのかを把握する必要があります。 明らかに AI によって書かれ、SEO ゴミが溢れているサイト: 悪い。 個人が書いた、SEO ゴミだらけのレシピ ブログ: ほとんど問題ありません。 ポルノ？ 大丈夫な場合もあれば、そうでない場合もあります。