AutoBot Douglas 1.0.38 Terminator [fix!] =все функции рабочие!= (полностью автоматизированный серверный генератор сайтов и дорвеев в промышленных масштабах)
Просмотров: 20181Тема: «AutoBot Douglas 1.0.38 Terminator [fix!] =все функции рабочие!= (полностью автоматизированный серверный генератор сайтов и дорвеев в промышленных масштабах)» в форуме: Обсуждение контента клуба
Опишу более подробно проблемку.
Прикрутил Весту к серваку, подключил домены.
Вроде после парсинга сайт загружается на хостинг и домен тоже
Появляется 2 проблемы при открытии сайта ERR_NAME_NOT_RESOLVED или DNS_PROBE_FINISHED_BAD_CONFIG
НУ и еще вопрос, сайт сохраняется на моем сервере, читал переписку выше он должен отображаться в папке sites но он пустой.
blogowed роман пишет:
Опишу более подробно проблемку.
Прикрутил Весту к серваку, подключил домены.
Вроде после парсинга сайт загружается на хостинг и домен тоже
Дружище, помогай )
Можешь процесс подключения доменов описать подробнее? Ты сначала зарегился на одном из предложенных в скрипте регистраторов, там заказал домен, подождал? После чего добавил этот домен в скрипт?
Далее указал доступы к серверу и после запуска увидел в vesta свой дорвей?
Вообщем залился первый сайт почему-то 3 статьи пока (как заливаются они дальше пока не знаю). Тестирую дальше.
Цитата
Дружище, помогай )
Можешь процесс подключения доменов описать подробнее? Ты сначала зарегился на одном из предложенных в скрипте регистраторов, там заказал домен, подождал? После чего добавил этот домен в скрипт?
Далее указал доступы к серверу и после запуска увидел в vesta свой дорвей?
Домены у меня так автоматом и не идут Я их пока регую на reghouse.ru прописываю IP сервака и заливаю на AutoBot.
Далее запустил скрипт, дорвеи получился вот как он будет выглядеть:
blogowed роман пишет:
Появляется 2 проблемы при открытии сайта ERR_NAME_NOT_RESOLVED или DNS_PROBE_FINISHED_BAD_CONFIG
blogowed роман, это означает ошибку ДНС записей домена. Проверил - так и есть, скрипт автоматически не прописывает ДНС для заливаемых сайтов. Пока что это придется делать на сервере самостоятельно, т.е. вручную. Попытаюсь побороть эту проблему. Если получится - отпишусь.
Цитата
blogowed роман пишет:
НУ и еще вопрос, сайт сохраняется на моем сервере, читал переписку выше он должен отображаться в папке sites но он пустой.
В админке скрипта, вкладка "Хостинг" - "Настройки" есть опция "удалять загруженные сайты из папки sites". По умолчанию она отмечена. Если ее деактивировать - сайты после заливки на хостинг остаются в данной папке.
Встречайте обновление AutoBot Douglas 1.0.38 Terminator [fix!]
Это стабильная версия со множеством багфиксов. Вот некоторые из них:
- исправлена проблема с заливкой сгенерированных доров на хостинг;
- исправлена опция "Добавить конфигурацию" в меню "Сайты" - "Конфигурации";
- немного подправлены шаблоны для генерирования доров: теперь они корректно отображаются в браузере;
- исправлена проблема с прописыванием DNS-записей для залитых на сервер сайтов.
Уверен, теперь с ним работать будет намного комфортней
Администратор пишет:
Встречайте обновление AutoBot Douglas 1.0.38 Terminator [fix!]
Это стабильная версия со множеством багфиксов. Вот некоторые из них:
- исправлена проблема с заливкой сгенерированных доров на хостинг;
- исправлена опция "Добавить конфигурацию" в меню "Сайты" - "Конфигурации";
- немного подправлены шаблоны для генерирования доров: теперь они корректно отображаются в браузере;
- исправлена проблема с прописыванием DNS-записей для залитых на сервер сайтов.
Уверен, теперь с ним работать будет намного комфортней
P.S.: На клубном сервере для всех версию обновил.
У меня по-прежнему после заливки на хостинг, выдает ошибку сервера или "Произошла ошибка при обработке вашего запроса к базе данных!". Что делать?
Дмитрий Филатов пишет:
У меня по-прежнему после заливки на хостинг, выдает ошибку сервера или "Произошла ошибка при обработке вашего запроса к базе данных!". Что делать?
Все, разобрался, в чем была проблема. Дмитрий Филатов, у Вас некорректно обновился скрипт. Также у Вас есть незадействованные сайты, сгенерированные прежней версией скрипта. Думаю, во избежание ошибок их лучше удалить (админка скрипта - меню "Сайты" - "Конфигурации" - напротив Вашей конфигурации колонка "Действия" - предпоследняя кнопка "Удалить свободные сайты этой конфигурации").
Ура! Наконец-то все заработало как надо. Действительно мощный скрипт. только вопросы все же еще есть:
1. После генерации сайтов возникает необходимость править шаблоны - вставлять рекламные баннеры, кнопки и пр. Дуглас говорит, что нужно чуть ли не 10000 таких доров создать. Неужели он подразумевает ручную правку такого количества страниц (вставку туда баннеров)? или я не нашел правку шаблона перед генерацией сайтов? То же самое касается ситуации, если мне не нужен раздел Музыка в принципе. Можно ли его не брать до создания сайтов? А оставить только Видео?
2. При создании доров, как я понимаю, необходимо сначала создать сайт на 1500-2000 страниц, затем в течение 3-6 месяцев добавлять туда страницы еще. т.е. не сразу 5000-10000 страниц. Такая опция в скрипте, вижу, есть в поле Дата публикации в Конфигурации, например: (+5|+7|+15|+30|+45|+60) Так вот, вопрос: сколько изначально создается страниц, сколько нужно закидывать ключей и каким образом их добавлять (эти ключи), чтобы автоматом продолжало генерить страницы?
3. Никак не могу разобраться с токенами в Яндекс вебмастере и Google в Статистика - Настойки. Как их получить? и главное вставить в скрипт?
Спасибо!
Дмитрий Филатов пишет:
1. После генерации сайтов возникает необходимость править шаблоны - вставлять рекламные баннеры, кнопки и пр. Дуглас говорит, что нужно чуть ли не 10000 таких доров создать. Неужели он подразумевает ручную правку такого количества страниц (вставку туда баннеров)? или я не нашел правку шаблона перед генерацией сайтов? То же самое касается ситуации, если мне не нужен раздел Музыка в принципе. Можно ли его не брать до создания сайтов? А оставить только Видео?
Дмитрий Филатов, в админке скрипта такой опции нет. Но редактировать каждый из 10000 доров не обязательно. Можно 1 раз изменить под себя шаблон(-ы), и все доры будут генерироваться так, как Вам нужно: с рекламой, кнопками, без музыки и т.д. Шаблоны находятся в папке templates скрипта. Найти ее можно, подключившись к клубному серверу по FTP. Она доступна для записи, так что залить измененный шаблон не составит труда.
Цитата
Дмитрий Филатов пишет:
2. При создании доров, как я понимаю, необходимо сначала создать сайт на 1500-2000 страниц, затем в течение 3-6 месяцев добавлять туда страницы еще. т.е. не сразу 5000-10000 страниц. Такая опция в скрипте, вижу, есть в поле Дата публикации в Конфигурации, например: (+5|+7|+15|+30|+45|+60) Так вот, вопрос: сколько изначально создается страниц, сколько нужно закидывать ключей и каким образом их добавлять (эти ключи), чтобы автоматом продолжало генерить страницы?
Здесь, честно говоря, Вам не подскажу. Нужно попробовать на тестовом сайте, чтобы понять весь этот механизм работы скрипта. Только я не уверен, что он генерирует динамические доры. Вы где-то на сайте Дугласа об этом прочитали?
Цитата
Дмитрий Филатов пишет:
3. Никак не могу разобраться с токенами в Яндекс вебмастере и Google в Статистика - Настойки. Как их получить? и главное вставить в скрипт?
Попробую сам и постараюсь ближайшим временем написать по этому пункту мини-инструкцию со скринами.
Доброго времени суток. Начинаю разбираться, вроде многое понял, НО... Мне кажется что автор на себя пуха накидал изрядно, или я туплю. Загрузил >800, поставил парсить на них контент, парсит 68 новостей и все... Т.е. почти на все ключи нет контента. что делать то с этим?
В статье, где он кейс разбирает рекомендации по дропам даны, скрипт позиционируется как кнопку нажал - все готово. Дропы в ру с критериями какими нибудь собрать у кого то удавалось?
Никита Коба пишет:
Загрузил >800, поставил парсить на них контент, парсит 68 новостей и все... Т.е. почти на все ключи нет контента. что делать то с этим?
Никита Коба, Вы попробуйте сделать так: загрузите запросы, а в настройках укажите количество запросов за один запуск, например 30. Так как у Вас парсится 68 новостей, то максимум используемых за один проход парсера запросов для Вас равен 34 (если параметр "Кол-во сниппетов по каждому запросу" = 2 в настройках). Парсинг ставите на крон (создаете заявку согласно инструкции). Теоретически у каждого источника новостей могут быть свои ограничения выдачи на поступающие с одного IP запросы за определенный период времени. Либо используйте прокси.
Загрузил >800, поставил парсить на них контент, парсит 68 новостей и все... Т.е. почти на все ключи нет контента. что делать то с этим?
Никита Коба, Вы попробуйте сделать так: загрузите запросы, а в настройках укажите количество запросов за один запуск, например 30. Так как у Вас парсится 68 новостей, то максимум используемых за один проход парсера запросов для Вас равен 34 (если параметр "Кол-во сниппетов по каждому запросу" = 2 в настройках). Парсинг ставите на крон (создаете заявку согласно инструкции ). Теоретически у каждого источника новостей могут быть свои ограничения выдачи на поступающие с одного IP запросы за определенный период времени. Либо используйте прокси.
Администратор, так не, проблема то не в том что меня банят или что-то подобное, парсер не находит источников под ключи, я задал следующие лайтовые условия:
Кол-во сниппетов по каждому запросу: 2
Минимальная количество символов в новости: 200
с таким контентом дор и не факт, что даст что то, но Бот мне на это выдает следующий лог
Я бы сам мог насобирать контента на такие, проблемные запросы. Осталось бы сделать его перемешивание и вставить под запросы - проблема была бы решена, но.... Бот не поддерживает импорта контента.
Постоянно такое выдает? По логам скрипта вижу, что новости у Вас парсятся нормально, а со сниппетами только на отдельных запросах такое пишет. Возможно, с источника по ним и на самом деле нулевая выдача? Либо (что более вероятно) какой-то из прокси не срабатывает.
Администратор, по большому количеству запросов, единственное что тут я ограничил парсинг сниппетов с Яндекса.
по новостям вышло
Новостей в базе: 77
прокси взял 70шт. по поиску Яндекса и Гугла все работают - чекал, думаю по источникам новостей они тем более в бане быть не могут.
За новости так понимаю забыть можно.
Не смог понять еще различий в настройках Новостей и Сниппетов касаемо Категорий. В новостях их нет, а в Сниппетах зачем? Это как то будет учитываться при генерации дора с теми категориями которые задаются в конфигурации дора?
Никита Коба пишет:
по большому количеству запросов, единственное что тут я ограничил парсинг сниппетов с Яндекса.
Попробуйте по тем запросам, с которых напарсилось 0 сниппетов, вручную в браузере выдачу посмотреть (желательно через те самые прокси).
Цитата
Никита Коба пишет:
Новостей в базе: 77
прокси взял 70шт. по поиску Яндекса и Гугла все работают - чекал, думаю по источникам новостей они тем более в бане быть не могут.
За новости так понимаю забыть можно.
Ну так новости же парсятся. Иначе их 0 было бы. А насчет бана - там источников новостей может быть много. Х-з, возможно, где-то прокси и забанено. А еще смотрю, у Вас в настройках парсера стоит "картинка + заголовок + сниппет". Наверное поэтому парсится так мало, из-за картинки.
Цитата
Никита Коба пишет:
Не смог понять еще различий в настройках Новостей и Сниппетов касаемо Категорий. В новостях их нет, а в Сниппетах зачем? Это как то будет учитываться при генерации дора с теми категориями которые задаются в конфигурации дора?
Да. Это прописано в шаблоне дора и сниппеты в нем будут распределяться по заданных в настройках категориях.