28.02.2017

Как совместить каталог сайта с 1С без потерь. Парсинг данных

 
Рассказываем что делать, если менеджеры годами наполняли два отдельных каталога: на сайте и в 1С.
Вывод в начале: делаем парсинг и синхронизацию сайта с учетной программой.

О ком эта статья

Представьте торговую компанию, дилера или официального дистрибьютора, на рынке с начала двухтысячных. В 8 из 10 случаев сайтом занимался IT-директор или сисадмин. Систему управления сайтом выбирали с понятным интерфейсом. Планировали развитие так: прочитали в описании CMS о покупке модулей интернет-магазина и забыли.

Менеджеры тщательно наполняют каталог сайта материалами, добавляют продуктовые страницы, загружают документацию и фотографии.

Клиенты качают прайс-листы и ищут товар в списке, чтобы узнать цену.

Заказ на таком сайте-каталоге менеджеры обрабатывают вручную в учетной программе.

Что происходит дальше

Проходят годы, компания начинает серьезно интересоваться интернетом. Отдел маркетинга думает о контекстной рекламе, продвижении и размещении в маркетах. Сайт к этому не готов.

За время простоя развились продукты 1С.

Руководство принимает решение: разработать новый сайт и настроить синхронизацию с 1С.

Андрей Шишкин,
технический директор:

«К нам часто обращаются с такими задачами. Мы заметили, что многие клиенты не подозревают — связать сайт с учетной программой намного сложнее, чем разработать сайт с нуля.»

1C+web и что в этом сложного

Когда мы разрабатываем новый сайт и планируем полную синхронизацию с учетной программой, мы объединяем два независимых каталога таким образом, чтобы менеджеры работали только в 1С, а клиенты оформляли заказы на сайте.

Сайт в таком случае — витрина, через которую клиент получает информацию о товарах, ценах, остатках и оформляет заказ. Обратную связь от менеджеров клиент также получает через интерфейс сайта.

Проблема в том, что на большинстве старых сайтов каталог не связан с 1С. На сайте хранят названия, описания, фотографии и свойства. В 1С только учетная информация: цены, остатки, сделки и заказы. В итоге это две независимые базы, часто с ошибками.

Проблему можно решить по-разному:

  • Перенести вручную информации о товарных позициях с сайта в базу 1С
  • Парсинг данных
Парсинг — последовательный синтаксический анализ информации. В данном случае — анализ информации на страницах в интернете.

Представьте ситуацию: каталог из тысячи товаров на старом сайте. У каждого товара по пять десятков свойств. Человек переносит одну позицию в новый каталог за 7-8 минут вручную. За процессом следуют ошибки, искажения и неконтролируемая потеря информации.
Перенести информацию вручную сможет только надежный исполнитель и не менее надежный проверяющий. В итоге процесс займет не меньше полугода.

Парсер мы пишем две-три недели. Потом проверяем, ищем и исправляем ошибки, делаем десяток загрузок в 1С и добиваемся результата. Речь идет о 1-2 месяцах работы.

Кейс из нашей практики

Перед нами стояла задача: перенести каталог с 6000 товаров с сайта в рабочую 1С. Вручную это сделать практически невозможно.

Как строилась работа:

  1.  Анализ сайта
  2. Выявление ошибок
  3. Написание программы-парсера
  4. Разбор типового файла обмена с 1С
  5. Формирование файла для прямой загрузки данных в 1С на основе файла обмена
  6. Анализ потерь
  7. Программное устранение ошибок в «старой» базе
  8. Загрузка готовой базы в рабочую 1С

Главная ошибка из тех, что мы исправили — не уникальные свойства. Для разных групп товаров одинаковые свойства заводились заново и с разными наименованиями.

Вместе с клиентом мы объединили полезные свойства и удалили лишние, устранили синтаксические ошибки в названиях свойств и значений.

Метр был записан как «м.», «метр» и «м».

Сформировали «правильный» файл с данными, загрузили файл в «чистую» 1С, провели проверку записи и потерь.

Устранили все ошибки и выгрузили данные в рабочую 1С.

До начала работ в 1С были названия товаров, цены, остатки и артикулы.

К этим данным добавили:

  • Полное и краткое наименование
  • Фотографии
  • Файлы и документы
  • Значения свойств
  • Вид номенклатуры, благодаря которому свойства разложили по группам и значения отобразили в карточке номенклатуры 1С

Дмитрий Кивенко,
руководитель проекта:

«Мы существуем не в вакууме и понимаем, что пока идет работа — клиент торгует, ведет каталог в 1С и на сайте. Нельзя просто попросить клиента ничего не делать недельку-другую. Мы повторно выгрузили новые данные с сайта и занесли их в рабочую 1С.»

Теперь клиент обладает актуальной и полной информацией о шести тысячах товаров в единой базе 1С.

Главное — с такой базой можно работать дальше.

Синхронизация с сайтом

Параллельно мы разработали сайт для нашего клиента. Сайт синхронизируется с 1С: номенклатура, фильтр в каталоге, цены, остатки и заказы.

Менеджеры работают с заказами и номенклатурой только в 1С.

Подведем итог

Парсингом мы переносим любой объем данных за понятные сроки, с минимальными потерями и устранением ошибок «на месте». Ни при каких обстоятельствах работа руками не заменит программу.

Что делать дальше

Как только каталог полностью оказался в учетной программе и новый сайт готов — приступайте к автоматизации.
Взаимодействуйте с клиентами в приложении и доставляйте заказы дронами :-)
Об этом расскажем в следующий раз.

Ответ в течение 1-го дня
Поле заполнено неверно
Поле заполнено неверно
Ответ в течение 1-го дня
Поле заполнено неверно
Ответ в течение 1-го дня

Все кейсы

Разработка интернет-магазина MOXA

Интернет-магазин Ниеншанц-Автоматика

Crosslife — студийный стартап

Приложение для обучения ортодонтов

Личный кабинет интернет магазина

Приложение для Сбербанк

Мобильное приложение для форума

Сайт компании SeaData

ECA Service

Концерн «Питер»

Transit Media Group

Интернет-магазин Hamilton

ClubTurbo — tuning shop

Приложение для конференции

Ответ в течение 1-го дня
Поле заполнено неверно
Ответ в течение 1-го дня
Поле заполнено неверно