Вернуться к списку форумов Вернуться

Платные Услуги

Здесь Вы можете заказать разнообразные услуги, по дизайну, программированию и техподдержке

Хочется программный модуль

Сообщение: #4-4-1
11.05.2012 17:36
Это называется парсер вебстраниц.
Грабить надо товары?

есть стандартные механизмы обмена данными между системами
один из стандартов - XML
у меня есть парсер XML и Yandex-Маркетных файлов - причем он сграбит и картинки
если сайт работает с ЯНдекс маркетом - значит они ему подсовывают такой файл - это значит я смогу его запарсить и внедрить в импорт для сайта.

также был опыт парсинга целого сайта с занесением в товары.
киньте ссылку на сайт , который надо запарсить и я рассмотрю ваше предложение. Я работаю только с теми случаями, которые смогу довести до конца и не берусь за то, чего не смогу.

Не могу если не найду закономерностей при выводе страниц.
НАпример товарные страницы открываются как index.php?id=1,index.php?id=2, ... index.php?id=10000 - это наилучший вариант, так как программно можно составить карту сайта и потом запускать робота-парсера. В ином случае требуется писать робота (или воспользоваться тем же телепортом-про для составления карты), который составит карту сайта, затем убрать ненужные страницы - и парсить только их, но это плохой вариант для ежедневной работы. Поэтому закономерности найти - это главное.

свой движок я защитил от простого парсинга с занесением товаров в БД, он конечно не защищен от teleport-pro - но это будет просто не рабочая копия сайта, а не БД с товарами, то что вам надо.
дело в том, что я убрал закономерности и кто захочет сграбить на моем движке - тому следует попотеть.

Еще можно запарсить RSS и многое чего. Если движок известный, то есть закономерности. Так что наработки есть