Система распределенного вычисления и синхронизации данных



Скачать 192.44 Kb.
Дата03.05.2018
Размер192.44 Kb.



UpIt-Systems

Система распределенного вычисления и синхронизации данных.

TraffPro (Traffic & Protection).








Оглавление


Система распределённого вычисления и резервирования данных, с централизованным управлением всей структурой предприятия (провайдера). 2

Управление несколькими серверами внутри локальной сети центральной базой данных, расположенной на одном из серверов контроля. 3

Управление несколькими серверами внутри локальной сети с использованием 3х серверов контроля и сервером центральной базы данных. 7

Управление несколькими серверами, разнесёнными в глобальной сети интернет. 10

Использование системы в качестве резервирующей на случай отказа одной или более баз данных. 13

Установка системы синхронизации и распределённого вычисления. 16

Общие шаги по настройке и установке для любых конфигураций сети: 16

Установка traffpro на подчинённые сервера. 19

Установка системы синхронизации на подчинённые сервера. 19

Описание конфигурационного файла traffpro.sync.cfg: 27

Случаи выхода из строя отдельных сегментов сети, а также выходы из строя центральной базы данных системы. 30

Отказы отдельных подчинённых серверов и действия по восстановления работоспособности. 30









Система распределённого вычисления и резервирования данных, с централизованным управлением всей структурой предприятия (провайдера).




Цели и задачи разработки:

Упрощение работы с несколькими серверами за счёт внедрения централизованного управления.

Повышение отказоустойчивости системы.

Уменьшение трудозатрат и критического времени на восстановление работы отдельных сегментов сети и сети в целом.

Повышение производительности системы за счёт распределённого вычисления и управления сетью.
Основные функции компонента synchroniser:

* Управление несколькими серверами внутри локальной сети;


* Управление несколькими серверами, разнесёнными в глобальной сети интернет;
* Синхронизация клиентов с центральной базой;
* Синхронизация тарифных планов с тарифными планами центральной базы;
* Синхронизация групп с группами центральной базы;
* Синхронизация потреблённого трафика с центральной базой;
* Использование системы в качестве резервирующей, на случай отказа одной из баз данных;
* Переход в режим автономной работы в случае недоступности центральной базы данных
* Возможность редактирования и изменения данных клиента в случае отказа центральной базы;
* Возможность восстановления центральной базы данных из подчинённых баз данных, в случае отказа центральной базы данных;
* Возможность быстрого восстановления подчинённой базы данных из центральной базы данных, в случае отказа подчинённой базы данных.

Управление несколькими серверами внутри локальной сети центральной базой данных, расположенной на одном из серверов контроля.




Задача:


Организация имеет 3 физических сервера для выхода в интернет, расположенных в разных зданиях (корпусах) учреждения. Здания между собой связаны локальной высокоскоростной сетью. Организовать единое управление тремя физическими шлюзами, без дополнительных серверов, используя только имеющиеся ресурсы.

  1. На сервер (находящийся в корпусе 1) устанавливается система TraffPro.

  2. При настройке в файле traffpro.cfg или через административную консоль устанавливается номер сети для данного сервера № 1.

  3. Устанавливается лицензия для WEB административной консоли.

  4. Устанавливаются права доступа к базе MYSQL TraffPro для хостов локальной сети, так же вводится пользователь, который имеет права доступа к базе данных на запись и чтение.

  5. В справочнике номеров сетей добавляются сети с номерами 1 — «Корпус 1» и 2 - «Корпус 2» и 3 - «Корпус 3»

  6. Добавляются офис (тарифные) планы для данного корпуса и в настройках указывается номер сети «Корпус 1»

  7. Добавляются группы для пользователей данного корпуса, в настройках указывается номер сети «Корпус 1»

  8. Добавляются пользователи сети данного корпуса, в настройках указывается номер сети «Корпус 1»

  9. Устанавливается TraffPro в корпусе 2.

  10. При настройке в файле traffpro.cfg, или через административную консоль, устанавливается номер сети для данного сервера № 2.

  11. Лицензию для WEB административной консоли устанавливать не требуется, лицензирование пользователей данного сервера будет производиться из расчета количества пользователей на центральном сервере.

  12. Устанавливается система синхронизации с центральной базой данной, компонент traffpro.synchroniser-x.x.x-xx

  13. Устанавливается TraffPro в корпусе 3.

  14. При настройке в файле traffpro.cfg, или через административную консоль, устанавливается номер сети для данного сервера № 3.

  15. Лицензию для WEB административной консоли устанавливать не требуется, лицензирование пользователей данного сервера будет производиться из расчета количества пользователей на центральном сервере.

  16. Устанавливается система синхронизации с центральной базой данной, компонент traffpro.synchroniser-x.x.x-xx.

  17. В центральной базе в корпусе 1 производятся добавление офисных (тарифных) планов, групп и пользователей сети, но с номером сети 2 (для 2го корпуса), и номером сети 3 (для третьего корпуса).

  18. Проверяются log-файлы на всех трёх серверах на наличие аномалий или ошибок.

  19. Проверяется реакция систем на редактирование тарифных планов, групп и пользователей в разных сетях (после редактирования записи, по умолчанию через 30 сек, запись должна перейти из статуса «редактирование» в статус «в работе»).



Плюсы и минусы данной схемы:

минусы:


  1. Центральная база данных расположена на одном из серверов, поэтому в случае краха данного сервера нет возможности восстановить базу данных для данного сегмента.

  2. Повышенная нагрузка на ресурсы сервера.

Плюсы:

  1. Не требуется установки отдельного сервера для центральной базы данных.

  2. В случае падения сервера с центральной базой данных, оставшиеся 2 сегмента продолжат работу в автономном режиме.


Управление несколькими серверами внутри локальной сети с использованием 3х серверов контроля и сервером центральной базы данных.



Задача:

Организация имеет 3 физических сервера для выхода в интернет, расположенных в разных зданиях (корпусах) учреждения и центральный сервер, на котором планируется установить центральную базу данных для хранения информации всех трёх серверов. Здания между собой связаны локальной высокоскоростной сетью. Организовать единое управление 3мя физическими шлюзами и резервирование данных центральной базы данных и подчинённых БД, для быстрого восстановления системы после сбоя.




  1. На центральный сервер устанавливается система TraffPro, без запуска служб учёта трафика и контроля сети.

  2. Устанавливается лицензия для WEB административной консоли.

  3. Устанавливаются права доступа к базе MYSQL traffpro для хостов локальной сети, так же вводится пользователь, который имеет права доступа к базе данных на запись и чтение.

  4. В справочнике номеров сетей добавляются сети с номерами 1 — «Корпус 1» и 2 - «Корпус 2» и 3 - «Корпус 3».

  5. В центральной базе производится добавление офисных (тарифных) планов, групп и пользователей сети, с номером сети 1 (для 1го корпуса), с номером сети 2 (для 2го корпуса), и номером сети 3 (для третьего корпуса).

  6. Устанавливается TraffPro в корпусе 1.

  7. При настройке в файле traffpro.cfg или через административную консоль устанавливается номер сети для данного сервера № 1.

  8. Лицензию для WEB административной консоли устанавливать не требуется, лицензирование пользователей данного сервера будет производиться из расчета количества пользователей на центральном сервере.

  9. Устанавливается система синхронизации с центральной базой данной, компонент traffpro.synchroniser-x.x.x-xx

  10. Устанавливается TraffPro в корпусе 2.

  11. При настройке в файле traffpro.cfg, или через административную консоль, устанавливается номер сети для данного сервера № 2.

  12. Лицензию для WEB административной консоли устанавливать не требуется, лицензирование пользователей данного сервера будет производиться из расчета количества пользователей на центральном сервере.

  13. Устанавливается система синхронизации с центральной базой данной, компонент traffpro.synchroniser-x.x.x-xx

  14. Устанавливается TraffPro в корпусе 3.

  15. При настройке в файле traffpro.cfg, или через административную консоль, устанавливается номер сети для данного сервера № 3.

  16. Лицензию для WEB административной консоли устанавливать не требуется, лицензирование пользователей данного сервера будет производиться из расчета количества пользователей на центральном сервере.

  17. Устанавливается система синхронизации с центральной базой данной, компонент traffpro.synchroniser-x.x.x-xx.




  1. Проверяются log-файлы на всех трёх серверах на наличие аномалий или ошибок.

  2. Проверяется реакция систем на редактирование тарифных планов, групп и пользователей в разных сетях (после редактирования записи, по умолчанию через 30 сек, запись должна перейти из статуса «редактирование» в статус «в работе»).

Плюсы и минусы данной схемы:

Минусы:


Для центральной базы данных требуется отдельный сервер.

Плюсы:


  1. Резервирование данных 3х сегментов сети, в случае падения центральной базы возможность восстановления из подчинённых сегментов сети.

  2. Быстрое восстановление данных любого сегмента сети в случае краха.

  3. В случае падения центральной базы данных все 3 сегмента продолжат работу в автономном режиме.


Управление несколькими серверами, разнесёнными в глобальной сети интернет.





Задача:

Организация имеет 3 филиала в Калининграде, Ростове-на-Дону и Владивостоке. Центральный сервер, на котором планируется установить центральную базу данных для хранения информации всех трёх филиалах, расположен в Москве. Организовать единое управление 3-мя филиалами и резервирование данных, как центральной базы данных, так и подчинённых БД, для быстрого восстановления системы после сбоя.




  1. На центральный сервер устанавливается система TraffPro без запуска служб учёта трафика и контроля сети.

  2. Устанавливается лицензия для WEB административной консоли.

  3. Устанавливаются права доступа к базе MYSQL traffpro для хостов филиалов сети, так же вводится пользователи (для каждого из филиалов), которые имеет права доступа к базе данных на запись и чтение.

  4. В справочнике номеров сетей добавляются сети с номерами 1 — «Филиал 1» и 2 - «Филиал 2» и 3 - «Филиал 3»

  1. В центральной базе производится добавление офисных (тарифных) планов, групп и пользователей сети, с номером сети 1 (для 1го Филиала), с номером сети 2 (для 2го Филиала), и номером сети 3 (для третьего Филиала).

  2. Устанавливается TraffPro в Филиале 1.

  3. При настройке в файле traffpro.cfg или через административную консоль устанавливается номер сети для данного сервера № 1.

  4. Лицензию для WEB административной консоли устанавливать не требуется, лицензирование пользователей данного сервера будет производиться из расчета количества пользователей на центральном сервере.

  5. Устанавливается система синхронизации с центральной базой данной, компонент traffpro.synchroniser-x.x.x-xx

  6. Устанавливается TraffPro в Филиале 2.

  7. При настройке в файле traffpro.cfg или через административную консоль устанавливается номер сети для данного сервера № 2.

  8. Лицензию для WEB административной консоли устанавливать не требуется, лицензирование пользователей данного сервера будет производиться из расчета количества пользователей на центральном сервере.

  9. Устанавливается система синхронизации с центральной базой данной, компонент traffpro.synchroniser-x.x.x-xx

  10. Устанавливается TraffPro в Филиале 3.

  11. При настройке в файле traffpro.cfg или через административную консоль устанавливается номер сети для данного сервера № 3.

  12. Лицензию для WEB административной консоли устанавливать не требуется, лицензирование пользователей данного сервера будет производиться из расчета количества пользователей на центральном сервере.

  13. Устанавливается система синхронизации с центральной базой данной, компонент traffpro.synchroniser-x.x.x-xx.




  1. Проверяются log-файлы на всех трёх серверах на наличие аномалий или ошибок.

  2. Проверяется реакция систем на редактирование тарифных планов, групп и пользователей в разных сетях (после редактирования записи, по умолчанию через 30 сек, запись должна перейти из статуса «редактирование» в статус «в работе»).


Плюсы и минусы данной схемы:

Минусы:


  1. Для центральной базы данных требуется отдельный сервер.

Плюсы:

  1. Резервирование данных 3х сегментов сети, в случае падения центральной базы возможность восстановления из подчинённых сегментов сети.

  2. Быстрое восстановление данных любого сегмента сети в случае краха.

  3. В случае падения центральной базы данных все 3 сегмента продолжат работу в автономном режиме.


Использование системы в качестве резервирующей на случай отказа одной или более баз данных.





Задача:

Организация имеет 2 физических сервера, для выхода в интернет используется gateway 1 и центральный сервер для хранения и резервирования базы данных клиентов.

Организовать резервирование.


  1. На центральный сервер устанавливается система TraffPro без запуска служб учёта трафика и контроля сети.

  2. Устанавливается лицензия для WEB административной консоли.

  3. Устанавливаются права доступа к базе MYSQL traffpro для хостов локальной сети, так же вводится пользователь, который имеет права доступа к базе данных на запись и чтение.

  4. Добавляются офис (тарифные) планы, группы и пользователи сети.




  1. Устанавливается TraffPro на сервере контроля.

  2. Лицензию для WEB административной консоли устанавливать не требуется, лицензирование пользователей данного сервера будет производиться из расчета количества пользователей на центральном сервере.

  3. Устанавливается система синхронизации с центральной базой данной, компонент traffpro.synchroniser-x.x.x-xx.




  1. Проверяются log-файлы на сервере контроля на наличие аномалий или ошибок.

  2. Проверяется реакция систем на редактирование тарифных планов, групп и пользователей (после редактирования записи, по умолчанию через 30 сек, запись должна перейти из статуса «редактирование» в статус «в работе»).


Плюсы и минусы данной схемы:

Минусы:


    1. Для центральной базы данных требуется отдельный сервер.

Плюсы:

  1. Резервирование данных сегмента сети, в случае падения центральной базы возможность восстановления из подчинённого сегмента сети.

  2. Быстрое восстановление данных сегмента сети в случае краха.

  3. В случае падения центральной базы сегмент сети продолжит работу в автономном режиме.

Установка системы синхронизации и распределённого вычисления.



Общие шаги по настройке и установке для любых конфигураций сети:
Установка TraffPro на сервер, который планируется использовать в качестве центрального узла управления.

Производится, так же как и обычная установка traffpro, за исключением того, что требуется дать доступ к mysql и сети, а не только локально с самого сервера, для этого требуется выполнить команду:

mysql -u root -p
ввести пароль для mysql для пользователя root и после приглашения mysql на ввод запросов:

mysql>


Ввести команду:

GRANT ALL PRIVILEGES ON data_base.* TO user@server.ip IDENTIFIED BY 'password';


Где:

data_base — имя базы данных, для traffpro соответственно имя по умолчанию будет traffpro.

user - имя пользователя для подключения к базе данных, c учётом того, что база данных может быть видна извне, не создавайте ни в коем случае пользователя со стандартным именем, например, adm, admin,root и так далее, создайте длинное уникальное имя пользователя для каждого подчинённого сервера.



server.ip — адрес сервера с которого будет подключаться пользователь, в случае если подчинённые серверы будут находиться в серых подсетях требуется указать '%', но это будет менее безопасно, так как откроется доступ из других сетей, а не только с единственного ip адреса.

password — пароль пользователя для подключения к базе данных, c учётом того, что база данных может быть видна извне, требуется создать взломостойкий пароль, ни в коем случае не задавайте коротких и простых паролей!
Например:

GRANT ALL PRIVILEGES ON traffpro.* TO ririkums@'%' IDENTIFIED BY 'Yu65DfNrEpm6734E.7YH';


Так же в случае если центральный сервер используется просто как хранилище центральной базы данных и не выполняет действий шлюза интернет, при установке traffpro, на вопрос запускать ли traffpro, при запуске системы ответьте - НЕТ, либо после установки отключите службы traffpro.
На сервере с центральной базой данных должен быть открыт (не заблокирован файрволом) порт 3306 в сторону подчинённых серверов для возможности подключения к базе данных mysql.

Следующим шагом (обязательным) будет внесение необходимого количества номеров шлюзов распределённого вычисления, которыми будут являться подчинённые серверы.

Для этого требуется в WEB административной консоли TraffPro пройти в меню:


«справочники» -> «коммерческие» -> «номера серверов распределённого вычисления»





Внести номера серверов распределённого вычисления, присвоить им имена (имя может быть любым удобочитаемым, например «Филиал-Ростов-на-Дону») и по необходимости внести комментарии:





После внесения необходимого количества номеров серверов распределённого вычисления требуется записать выданные системой номера, отображённые в таблице в крайней левой колонке с названием «Номер п/п», данные номера потребуются при установке основного модуля traffpro и модуля синхронизации на подчинённые серверы.

На этом установка центральной базы данных окончена.

Установка traffpro на подчинённые сервера.
Установка traffpro на подчинённые сервера,

производится в штатном режиме, за исключением:


Не требуется установка ioncube и ключа для запуска административной консоли.

После установки отредактировать файл /etc/traffpro/traffpro.cfg, а именно изменить параметр:

net_number=

на

net_number=1



Где 1 это номер, полученный в ходе внесения номеров серверов распределённого вычисления в центральную базу данных (каждый из номеров соответствует своему подчинённому серверу).
Установка системы синхронизации на подчинённые сервера.

Скачать дистрибутив traffpro.synchronizer-x.x.x-xx.tar.gz в любую директорию на подчинённом сервере, например /tmp/.

Распакуйте архив с дистрибутивом.

В папке с дистрибутивом расположен скрипт установки install.sh, запустите его.


Первый вопрос при установке - это выбор языка установки, наберите russian и нажмите Enter для продолжения.



Вопрос об установке в графическом режиме или текстовом (для установки в графическом режиме для как основного модуля traffpro так и для синхронизатора требуется установленный пакет dialog, в случае если он не установлен Вы можете установить его командой yum install dialog ):




Выполним установку в графическом режиме, для этого нажмём клавишу 'y' и Enter.

Появятся стандартные окна объясняющие поведение клавиш, текст лицензии и объяснение работы скрипта, предупреждение об установке на OS Linux, отличной от рекомендованных ОС.







Далее следует диалог выбора версии OS Linux, клавишами вверх, вниз требуется выбрать ту систему, которая установлена у вас на сервере, куда устанавливается синхронизатор.



Следующим шагом будет проверка установленных пакетов, соответствует ли конфигурация системы для дальнейшей установки, если ни один пакет не помечен как not installed, то установки дополнительных пакетов не требуется, и мы можем продолжать, нажав клавишу 'n' и Enter. В случае если не все пакеты установлены, то нажмите клавишу 'y' и Enter для установки требуемых пакетов:



Следующим диалогом будет диалог выбора способа установки демона синхронизатора,

1 — собрать демон синхронизации (рекомендуется!)

2 — использовать уже собранный бинарный файл

(данный файл собран на OS Linux Fedora 14, 32 битной платформе, рекомендуется использовать режим сборки, а не использование готового демона).


После выбора начнётся сборка демона синхронизации, при успешной сборке Вы увидите данный текст:



В конце текста вопрос о продолжении установки или отмене в связи с ошибками,

(в случае ошибки сборки в последних строках текста будет описание ошибки, требуется обратиться к разработчику).

Далее потребуется указать данные для подключения к центральной базе данных, данные вносятся последовательно:


host сервера (ip адрес или доменное имя сервера, на котором расположена центральная база данных).


имя пользователя для подключения базе данных (имя пользователя, которое ранее было внесено для доступа к центральной базе данных, в нашем случае это ririkums).






Далее следует вопрос о внесении пароля пользователя (в нашем случае, это Yu65DfNrEpm6734E.7YH).



Имя базы данных на центральном сервере, к которой будет подключаться для синхронизации подчинённый сервер (по умолчанию, а так же и в нашем случае это traffpro).



Следующим диалогом будет диалоговое окно, с вопросом о запуске службы синхронизации при старте системы, ответим утвердительно, так как каждый раз запускать систему синхронизации утомительно и не целесообразно.




Далее следует вопрос о запуске системы синхронизации прямо сейчас, если у вас сервер с центральной базой уже подготовлен, то можно произвести запуск, в противном случае лучше отложить запуск до полной готовности:




Последним окном будет информативное окно об окончании установки и адресом сайта проекта http://www.traffpro.ru




На остальные подчинённые сервера установка производится аналогичным способом за исключением того, что серверам присваиваются свои номера, согласно выданным при занесении номеров серверов распределённого вычисления.

Описание конфигурационного файла traffpro.sync.cfg:


#Systems

#Директория установки синхронизатора

to_install_dir=/opt/traffpro
# Запуск в режиме сервиса (демона)

daemon=true
# Время паузы между проверками изменения оперативных данных (клиенты, группы, тарифные планы и прочие)

time_in=30
# Время паузы между отправкой данных о трафике в центральную базу данных

time_out=240
# Время паузы между опросом изменений данных в центральной базе, таких как справочники и прочие.

time_out_other=720
# Номер сервера распределённого вычисления

net_number=1
# Сколько записей за один раз будут обработаны

max_count_record=1000
# Включает отключает синхронизацию трафика

traff_sync=true
# Включает синхронизацию прочих данных (справочники и прочие)

other_sync=false
# Включает синхронизацию посещений пользователей

serfing_sync=false

Посещения загружаются в центральную базу с задержкой в 24 часа, в связи с техническими особенностями агрегации данных о посещениях. Внимание! Повышается нагрузка на канал.


# Local database

# Данные для подключения к базе данных подчинённого сервера

db_in_url=localhost

db_in_port=

db_in_usr=root

db_in_passwd=

db_in_name=traffpro
# General database

# Данные для подключения к центральной базе данных

db_out_url=192.168.0.237

db_out_usr=ririkums

db_out_passwd=jflsfjlsakljfa

db_out_name=traffpro
После выполнения всех действий по установке синхронизаторов на подчинённые сервера, перейдём к внесению клиентов групп и тарифных планов.
Внесение данных не отличается от стандартного добавления клиентов, групп и тарифных (офисных) планов, за исключением указания номера сервера распределённого вычисления для них.
На скринах показано поле, которое определяет, каким из подчинённых серверов будет обрабатываться данный клиент, группа или тарифный (офисный) план:

Например:

Для тарифных планов:


Для офис планов:


Для групп:

Для каждого из подчинённых серверов должны быть внесены свои клиенты, группы, тарифные (офис) планы.


Случаи выхода из строя отдельных сегментов сети, а также выходы из строя центральной базы данных системы.



Отказы отдельных подчинённых серверов и действия по восстановления работоспособности.

Вышел из строя один из подчинённых серверов (сгорел жёсткий диск сервера).


Задача:

Восстановить работоспособность сервера в кратчайшие сроки.


Порядок действий:
1 – меняем накопитель.

2 – устанавливаем операционную систему.

3 – устанавливаем основной модуль traffpro.

4 – устанавливаем синхронизатор.

5 – Запускаем сервер.

6 – выполняем команду killall synchronizer -s 10



Синхронизатор по команде SIGUSR1 загрузит все оперативные данные с центрального сервера в подчинённую базу данных.
Результат:

Сервер через несколько секунд готов к работе.


Поделитесь с Вашими друзьями:


База данных защищена авторским правом ©vossta.ru 2019
обратиться к администрации

    Главная страница