[2025-12] task_id=mofid در حال اجرا
مهندس داده @ کارگزاری مفید
آذر ۱۴۰۴ – اکنون
- ساخت اولین پلتفرم یکپارچهی دادههای متنی شرکت روی Elasticsearch و Kibana؛ تجمیع چهار منبع (متن تماسها و چتها از MongoDB، پیامکهای مشتریان و جستوجوهای بازار سهام) در یک اسکیمای دینرمال که با اطلاعات مشتری و معاملات غنی شده است.
- طراحی پایپلاینهای ETL در Airflow که متادیتای هر جلسه را به متن آن وصل میکنند، هر مکالمه را بهصورت گفتوگوی زمانی کارشناس و مشتری بازسازی میکنند و اسناد تخت و آمادهی جستوجو بارگذاری میکنند؛ بههمراه بارگذاری تاریخچهی یک سال کامل.
- جایگزینی جستوجوهای تکرکوردی (N+1) در ClickHouse با یک bulk-fetch و نگاشت درونحافظهای و کاهش زمان یک batch از ۷۰ دقیقه به کمتر از ۵ دقیقه (بیش از ۹۲٪ سریعتر).
- امنسازی Elasticsearch و Kibana با ورود از طریق Active Directory (LDAP)، کنترل دسترسی نقشمحور و Field-Level Security برای ماسک اطلاعات شخصی مثل کد ملی، بههمراه لاگ ممیزی با Filebeat.
- استقرار کلاستر سهنودی Elasticsearch با Ansible و Docker و سپس تنظیم دوبارهی shard و ایندکسها بر اساس بررسی ظرفیت محیط عملیاتی، برای کاهش مصرف حافظه و ترافیک بین نودها.
- بازنویسی کتابخانهی مشترک ETL در DAGهای Airflow، رفع نشت اتصال پایگاه داده و ساخت تکراری engine، و افزودن انواع تراکنش جدید به پایپلاین جریان نقدی مشتریان.