Блог о бизнесе в интернете

Роботс txt

Я не буду писать зачем он и что в нем писать , многие об этом пишут , но мне кажется, что Яндекс сам давным давно, хорошо и внятно описал всю его работу.

http://cashoffice.ru/go/help.yandex/

Сегодня рассмотрим файлы robots.txt поисковых машин Google и Yandex.

Yandex Robots.txt .

В роботсе яндекса всего 5 строчек, в которых он закрыл все от индексации, кроме поисков с расширенными требованиями.

http://yandex.ru/search/advanced/

Google Robots.txt

А вот в роботсе Googla аж 222 строчки , вот что значит мировая ПС. Не теряя времени я полез на каждый из предлагаемых разделов .Что бы определить что именно он закрывает и открывает для индексации.

1.
google.com/cse/
google.com/univ/

Создание свое поисковой системы , по ряду сайтов.
Известно , что можно установить поиск по своему сайту себе на сайт. Заплатить 100 долларов за месяц или показывать паралельно рекламу от гугл.

Но эти функции помогают , создать свою систему поиска , вообще без сайта , из возможностями поиска , по многим заданным сайтам, которые можно со временем дополнять.

Как это можно использовать : например собрать в эту систему некое количество лучших и посещаемых форумов , например на тему Дайджест блогосферы.
Тоесть те , на которых есть раздел, куда мы можем добавить анонсы наших постов.

Теперь при написании какой небудь записи на блоге , ищем в этой системе похожие сообщения , что бы не повторится, ибо заминусуют , как всегда.

Пример: один из пользователей толка обьявил конкурс на лучший бизнес план, хотя совсем недавно Чеснок обьявил аналогичный конкурс, кстати в котором , я тоже хочу принять участие .

В общем, придумать или найти возможности для использования сервиса можно.

2.

google.com/bsd

Поиск BSD ПО в исходных кодах

3.

google.com/linux

Поиcк по linux , любителям системы linux посвящается.

4.
google.com/mac

Аналогичное для Mac (англоязычное)

5.

google.com/microsoft

Поиск по продукции Microsoft

6.
google.com/unclesam

Правительственный поиск США (зачем он нужен не понятно , но наверно нужен, если есть).Нужно будет плотней изучить.

7.
answers.google.com/answers/

Ответы от гугла , ответы уже не принимают , но можно пользоваться результатами прошлых вопрос – ответов.
Ну мы знаем что прекрасно работает otvety.google.

8.
google.com/products
google.com/froogle
froogle.com

Покупка товаров в интернете, тоже правда пока только в англоязычных магазинах.

Смысл в том , что этот сервис ищет заданные товары(запросы) по интернет магазинам, выдает среднюю цену , и количество магазинов которые предлагают данную продукцию.

Считаю, что очень скоро такое появится и у нас , домен froogle.ru тоже у гугла.

Думаю пора обзавестись личным Интернет-магазином, не обязательно бытовой техники, но что бы попробовать стать первым из участников froogle russia.

9.
google.com/books
google.com/print

Поиск печатных книг в отсканированном виде.
Не все можно перевести в электронный вид , поэтому гугл формирует базу всей возможной информации.(кстати, чем не контент для сателлита)

10.
google.com/patents

Больше 7 миллионов патентов, не смотря на то что, это кажется нудным, можно найти много интересного.

11.
google.com/scholar

Академия , поиск для школьников и студентов

12.
google.com/ie

Оптимизированный под гугл ИЕ .
Если гугл не может вас заставить перейти на хром, то он
пытается настроить експлорер так как ему нужно.

13.
google.com/sms
google.com/sms/demo

Довольно интересная штука , но пока не понятна ее суть.

14.

http://www.google.com/intl/ru_ALL/mobile/

Google для мобильных устройств.
Можно отправить смску.

15.
google.com/transit

Планировка пути для транспорта , правда работает только Европа и Америка. (для путешественников)

16.

google.com/trends

Вот по запросу SEO (Россия на 9 месте, на первом Индия)
http://www.google.com/trends?q=SEO
И в России он вводится чаще всего в Томске та области .

После запроса выводится график , по регионам и странам, где чаще всего вводится этот запрос, тот есть, теперь и так можно определять гео зависимость запросов.

17.
google.com/trends/hottrends

Горячие Тренды
Определяет чаще всего вводимые запросы.
Вот пример по запросу germany vs. Argentina , как самого горячего тренда после победы, Германии над Аргентиной.
http://www.google.com/trends/hottrends?q=germany+vs.+argentina&date=2010-7-3&sa=X

18.
google.com/base/

Google база продукции

19.
google.com/urchin

Анализ маркентига сайта.(платный аналог Google Analytics )
Предлагается специальная система для анализа сайта urchin , которая , как пишет Google , намного лучше бесплатной Google analytics . Cтоит эта программам всего 3000 долларов в год.

20.
google.com/codesearch

Поиск кодов в открытом виде.

21.
google.com/safebrowsing/report_error/

Сообщить , о том что Google не верно определил, что данный сайт наполнен фишинговой ссылкой.

22.
google.com/safebrowsing/report_phish/

Сообщить о сайте который имеет фишинговою ссылку.

23.
google.com/archive

Поиск по архивам Google , тоже можно найти много интересного , сканы газет , книг за прошлые столетия.

Вот, то что я нашел для себя нового в системе Google .
Что то нужно из списка продолжить изучать , ибо потом обязательно пригодится в будущем.

Вы, что то новое для себе узнали?