Задача
Изначально задача была разработать аналог уже существующему сайту, но по мере работ я настолько вдохновился идеями, о которых расскажу ниже. Цель - собрать различные источники данных апи воедино и выдавать потенциальному клиенту информацию о клиенте, в "каком-то удобном виде".
Решение
По началу я понял, что тут огромный потенциал, чтобы реализовать различные мои фантазии, и мной был предложен клиенту не только функционал сбора апи, но и целый функциональный личный кабинет.
Авторизовавшись, клиент получает всю статистики по своим запросам за месяц, возможности настройки личного кабинета, поиск по отчетам. После чего, мы приступили к самому сложному - это удобный вид отчета, так как источники были разные, которые предоставляли данные, по некоторым параметрам их можно было объединять, и получать уже совершенно новую информацию. Так как у нас уже была старая версия сайта, мы собрали некую обратную связь существующих клиентов, и смогли закрыть все их потребности уже в новом дизайне, не похожем на конкурентов. Получился некий сервис, где я на php уже обрабатываю и раскладываю по удобствам информацию для клиентов.
Конечно же не без ИИ, мы смогли написать парсеры и с других источников, для получения более детализированной информации по судам, можно запросить с оф сайта решение суда и сохранить его к себе. Так же я написал скрипт, который асинхронно получает все данные по решению судов, обрабатываем их и сохраняет к нам в базу. Сразу же я столкнулся с проблемой - большая база, и получение решений стало заметно дольше для клиентов из-за этого. Понятно было что нужно что-то изменить, и тут я начал думать над стуктурой сохранения этих решений в БД, решение оказалось простое, делить в базе их по регионам/годам/месяцам, тем самым я смогу спокойно хранить в базе 1 миллиард решений, без особой нагрузки при обращении к ним.
Итого, когда мы получаем 100 судов по клиенту, мы без проблем вытягиваем из нашей базы 100 решений, при условии что они есть конечно.
Так же мы ввели систему авто удаления отчетов, если они не добавлены в избранные, тем самым сократили ту же нагрузку на бд, так как у нас более не болтаются старые отчеты.
Все было приведено к виду, полностью с соблюдениям всех законов РФ о персональных данных, были скрыты все личные данные, и остались только общие, из открытых источников.
Результат
На текущий момент совершается более 1000 проверок в сутки клиентами моего заказчика, в старой версии это было 150-200 в сутки, что позволило быстро и качественно получать информацию, например об новом сотруднике, желающем устроится в компанию. Сервис активно используется руководителями компанию, службами безопасности и агентами по найму. Сервис продолжает активно развиваться не только в привлечении клиентов, но и в функционале, так как мы продолжаем разработку нового функционала по сей день.