Не так давно стал замечать особенно в вечернее время (20-23:00 мск) нестабильную работу сервера. Сначала думал кто-то досит, посмотрел в логах, вроде ничего подозрительного не было. Начал смотреть подробную статистику переходов по сайту, трафик в основном кушал в больших количествах агент mail.ru, не знаю, паук ли это либо кто-то заделался, в общем, начал искать по ip, нашел – все-таки это mail.
За пару минут после рестарта сервера забожил трафика, сейчас точно не вспомню, но где-то 100 -120 Мб, после чего сервер начал глючить. Конечно, кажется что такое 120мб, но на самом деле, если посчитать 1 страница грубо 13кб – получится 9000-10000 страниц и в 2-4 раза больше запросов к базе, что и дало большую нагрузку на оперативную память.
После этих ночных кошмаров на сервере из яндекса вылетело 54 сайта, пока запретил индексацию поисковиков mail, yahoo, … только на сателлитах + поставил ngnix для снижения нагрузки при обработке статики. Если не уляжется, придется еще оперативки прикупить. Для тех, кто тоже решил заняться оптимизацией, дабы не ждать пока все отвалится – мануалы: установка ngnix оптимизация сервера MySQL настройка freebsd
Почти все сайты в интернете по-своему индивидуальны, что сильно затрудняет парсинг контента. Конечно, карта сайта, архивы намного упрощают ситуацию, но не всегда это удобно и доступно. Остается только грабить большие ресурсы, что по временным затратам на мой взгляд оптимальный вариант. Но и тут сталкиваешься с кучей проблем:
1. Таких ресурсов не так много,
2. Грабить новую информацию достаточно проблематично,
3. Контент с таких ресурсов используют многие, что затрудняет индексацию.
Поэтому заюзаные до дыр пресс-релизы, сервисы ответов и т.п. отпадают сразу, необходимо искать что-то другое. Думаю, вы все знаете FeedBurner. Для тех, кто не в курсе – это сервис управления RSS подписками. FeedBurner вообще идеальный вариант, его используют многие блогеры, так что контента хватит на всех. Но есть 1 нюанс, отображаются только первые 10 статей, поэтому весь блог за раз сграбить не получится. Но можно ведь поставить обход ленты каждый месяц, и таким образом получать постоянно новую информацию.
Введение:
Продолжаем с темой автоматизации, но на этот раз выкладывать скриптов не буду, кому нужно тот сам себе сделает. Скрипт выполняющий похожие функции уже лежит в соседней теме, конечно не совсем конфетка, но для начала сойдет. Он парсит выдачу Яндекса и выводит самую релевантную страницу вашего сайта по ключевику.
Использовать будем свои сателлиты для размещения ссылок, собственно для чего они и предназначены в первую очередь. Конечно, можно покупать ссылки и через биржи, только при условии, что url открыт, и возможно поставить ссылку на необходимую нам страницу.
Поехали:
Есть у вас сайт, например по пластиковым окнам ПВХ. Вы хотите продвинуть по запросу «Процесс изготовления стеклопакетов».
Ваши действия:
Ищите скриптом наиболее релевантную страницу на вашем сайте по запросу «Процесс изготовления стеклопакетов». На эту страницу мы и будем ссылаться.
Затем ищите на всех своих сателлитах такие же релевантные страницы по этому запросу.
Далее размещаете ссылки на сателлитах на найденных страницах, я делаю это все специальным скриптом, на автомате. Если нужен скрипт, свяжитесь со мной – продам.
Получается:
В глазах Яндекса данная страница (p.php?id=1) становится более значимой.
Введение:
Эх, не выдержала моя душонка, просто не мог не написать про то, что сейчас творится в интернете. Все пытаются заработать, заработать много и быстро, любыми средствами и способами. Поэтому нужно быть очень …очень осторожным, особенно когда совершаете денежные операции. Сам много раз натыкался на мошенников, и через аську вымогали, и волшебные письма приходили, чего только не было, как вспомню – смешно становится, хоть и смешного тут мало.
Развитие сюжета:
Недавно на форуме написал, нужно было программу с одной среды перенести в другую за деньги, разумеется. Через пару минут пишет, такое чувство, что они уже мониторят все это дело. Пишет, сделаю, причем назвал сумму, которая ни в какие рамки не лезет. Контрольный вопрос и уже ясно с кем имеешь дело. Человек в программировании полный ноль. Хотя если посидел с недельку, выучил, заказ был бы его, денежек заработал, и совесть бы чиста осталось. Ведь смысл жизни не заработать много денег, а прожить достойно. Настоящая любовь, друзья, эмоции ведь это так здорово… Обидно за народ, губят свою жизнь понапрасну, ведь она так коротка, и моргнуть не успеете, как состаритесь. Кажется, еще совсем недавно водила мама за ручку в детский сад, а теперь вы уже как вымохали. А сколько времени то прошло?
Хостинг компании, например, друг друга досят, ломают сервера, уничтожают ценную информацию конкурентов, что бы переманить к себе клиента. Зачем это делать?
Эти же деньги можно вложить в развитие, или благотворительность, я уверен на 100% что пользователи это оценят.
И таких примеров привести могу кучу, но не в этом суть…
Заключение:
Еще на бывшей работе, мне там очень нравилось, повидал много хороших людей. И все говорили одно, как время быстро течет, из их уст узнал много интересного, смешного и не очень, за что спасибо им огромное. Рассказывали, что вот если да кабы… все было бы иначе. Так вот не повторяйте чужих ошибок, поступайте правильно, если что-то не получается, анализируйте почему так, почему не наоборот, и тогда у вас все обязательно получится. По крайней мере, мне хочется в это верить. Эх… пойду выпью бокал холодного пивца за все хорошое что с нами было и будет…
А по поводу названия темы, задумайтесь… И прочитайте притчу «Бизнесмен и рыбак».
Введение:
Для облегчения без того трудной жизни оптимизатора, решил написать (когда-то оч. давно) скрипт который поможет вам в продвижении сайта по низкочастотным запросам. Что вы, не надо благодарностей… Я настаиваю. Лан вернемся к скрипту. Тут все очень… очень просто. Запускаем и задаем список низкочастотников, нажимаем «вперед» и скрипт парсит и выводит релевантные запросам страницы, затем копируем ссылки и идем в биржу за покупками.
Теперь немножко подробнее:
Дабы вас не забанил Яндекс за парсинг, сделал работу через xml, от вас требуется только зарегистрировать ip, для чего идем по ссылке http://xml.yandex.ru/ip.xml. Зарегили? Отлично. Не сомневался. Предлагаю ознакомимся с интерфейсом, по работе уже было в самом начале.
Скрин 1:
На скрине видно водим необходимые запросы, можно нагенерить алсабом / синонимайзером или другим софтом похожие запросы и сгенерить релевантные урлы, не обязательно разные.
Пример:
1. Скрипт генерации анкоров.
2. Генерация анкоров скриптом.
3. Авто генерация релевантных анкоров. И Если НЧ запрос будет релевантым странице сайта – яша выдаст ссылку.
Грамотно оформленный текст, броские заголовки, и прочие прелести всегда привлекали внимание, как пользователей, так и поисковых систем. Поэтому по оформлению текстов уже немало сказано, проведено исследований и прочее, но все же, решил поделиться своим опытом, наработками. Сам вообще редко пишу тексты, но зато оформляю и другим советую. Даа, за собой тоже нужно следить… Я конечно не надеюсь что вы прям станете использовать эти правила, потому что человек ленивое существо, и если сам того не захочет то ничего тут не поделаешь, но подчеркнуть некоторые пункты для себя стоит.
1. Делайте броские заголовки.
Броский, интересный заголовок привлечет к себе больше внимания. Берите пример с рекламных объявлений в том же AdSense или Яндекс.Директ.
2.Разбивайте тексты на смысловые абзацы.
Большие массивы текста плохо воспринимаются читателем. В них трудно ориентироваться, находить нужную информацию. Параграфы и предложения для лучшего восприятия должны быть короткими, и в тоже время нести определенную смысловую нагрузку.
3. Присваивайте абзацам подзаголовки.
По статистике 79% пользователей, не читают, а просматривают тексты. Эффективные подзаголовки помогут зацепить/сфокусировать внимание на отдельных участках текста, а также определить релевантность текста.
4. Используйте читабельный шрифт.
Экзотические шрифты у многих не установлены, поэтому следует использовать наиболее популярные и читабельные: Arial, Tahoma, Vardana, Sans-Serif. Рекомендуемый размер от 9 до 14 px в зависимости от того, какого восприятие текста вы хотите добиться. Мелкий шрифт способствует сосредоточиванию, крупный быстрее воспринимается.
5. Пишите числа словами, а не цифрами.
Сложные числа, написанные словами, трудно читаются и плохо воспринимаются.
6. Следите за ошибками.
Грамматические и пунктуационные ошибки вызывают недовольство, как среди пользователей, так и поисковых систем. Пунктуационные ошибки кроме изменения восприятия текста (Казнить нельзя, помиловать), влияют также и на ранжирование.
6. Используйте bb-коды.
Для форматирования текста используйте бб-коды, не нужно заниматься самодеятельностью, выравнивать тексты пробелами и т.д., поисковые системы просто могут вас не понять.
8. Выделяйте списки.
Грамотно оформленные списки притягивают внимания пользователей не хуже заголовка. Нечетное число строк в списке лучше воспринимается.
Список с пояснениями вы собственно и читаете. И как удобно?
9. Добавляйте больше ключевых слов в сложные предложения.
Плотность ключевых слов в сложных (длинных) предложениях больше, поэтому большее соответствие комбинированным запросам.
10. Размещайте ключевики ближе к началу страницы.
Чем ближе к началу страницы расположены ключевые слова, тем более релевантной считает ее поисковая система.
11. Объем ключевых слов на странице.
Используйте на странице порядка 8-15% ключевых слов от общего текста.
Длина написанного текста должна быть в пределах от 2 до 10 тыс. символов.
Пожалуй, один из самых качественных источников контента для сателлитов является Википедия. Казалось бы, что еще нужно, база в открытом доступе, что называется бери не хочу, информации просто навалам, разных тематик, причем на 265 языках.
Еще в начале года количество записей в русскоязычном разделе превысило 350 тысяч, представьте сколько сателлитов получится только с одного раздела если учесть что среднестатистический сателлит 50-100 записей. Много, 3500-7000 сателлитов с качественным контентом.
Осталось дело за малым, синонимизация контента и перестроение предложений. С первым проблем я думаю быть не должно, синонимайзеров хватает как впрочем, и баз синонимов.
По перестроению предложений тоже – точку заменить на запятую, а заглавную букву на прописную и сложное предложение готово. Пропуск пробела после точки (и других знаков конца) также послужит объединению предложения, для Яндекса оно теперь уникально, с синонимизацией, разумеется. Читать полностью »
28 мая 2009 года на конференции в штате Калифорния был презентован новый проект Google Wave.
Пару слов от разработчиков:
Сервис Google Wave предлагает посмотреть на то, как могла бы выглядеть единая коммуникационная платформа, если бы она была создана с нуля с учётом того, как люди могут взаимодействовать в сети наиболее эффективно. С помощью Wave множество пользователей сможет в режиме реального времени общаться, обмениваться фотографиями и видеороликами, картами, документами и другими видами информации, используя одно общее коммуникационное пространство, так называемую «волну».
На днях, на Хабрхабр выложили PHP скрипт способный распознавать капчу Яндекса.
Пока процент определения очень маленький в пределах 20-30, но его можно обучить.
Скрипт сделан с применением генетических алгоритмов и нейросети (FANN). Обучает довольно шустро, что есть гуд. Автор пишет, что на 50 капчах за 5 мин удалось обучить до 30% распознавание. Думаю скрипт до 50% довести не составит труда.
Интересный дизайн, удобно расположенная красная кнопочка с уже знакомой надписью “заказать”, даже большой приток постоянных посетителей, далеко еще не залог успешных продаж. Анализ аудитории и дальнейшее проведение маркетинговых мероприятий – вот что действительно необходимо.
Поэтому, сегодня мы поговорим о базовом – основных полезных фишках (для интернет-магазинов) систем сбора статистики. Помогать нам в этом будут следующие сервисы: liveinternet, metrika и webvisor. Они смогут полноценно обеспечить нужные нам функции для ведения статистики и анализа интернет-магазина.
Итак, для начала выделим необходимое:
1. Видеть по каким поисковым запросам переходят пользователи, глубина/время просмотров.
2. Статистика передвижений пользователей по сайту.
3. География по странам.
4. Половозрастная структура. Пожалуй этого будет достаточно, чтобы уже можно было делать какие-то выводы.
На таблице видно, что только “Метрика” смог обеспечить все функций, однако их качество оставляет желать лучшего. В этой системе мне крайне не понравился учет поисковых запросов и отсутствие общей статистики запросов. В этом плане liveinternet.ru, показал гораздо лучший результат.
Статистику передвижения пользователей по сайту, “Метрика” обеспечивает также не на должном уровне, в отличии от webvisor.ru, где можно просмотреть в записи поведения пользователей на страницах сайта, тут к гадалке не ходи. К сожалению “Вебвизор” больше ничего нам предоставить не может. Читать полностью »
