اسکرپر و تله‌متری دیوار
سامانه قدرتمند استخراج بلادرنگ آگهی‌های دیوار با تفکیک محله‌ای تهران، فیلتر آگهی‌های شخصی در برابر فروشگاهی، دانلود موازی تصاویر و ذخیره‌سازی داده‌های ساختاریافته با سرعت ۱۲۴ مگابایت بر ثانیه.
چه مانع یا چالشی نیاز به حل داشت؟
۱. حجم عظیم آگهی‌های ورودی: روزانه صدها هزار آگهی در دسته‌بندی‌های املاک، خودرو و کالای دیجیتال ثبت می‌شوند که دسته‌بندی و تحلیل روند آنها نیازمند زیرساخت با توان عملیاتی بالاست. ۲. محدودیت نرخ و سشن‌های موقت: دیوار از نرخ‌بندی شدید (Rate Limiting)، اعتبارسنجی هدرهای اختصاصی اپلیکیشن و سشن‌های موقت جهت ممانعت از ربات‌ها بهره می‌برد. ۳. حجم سنگین تصاویر آگهی‌ها: دانلود، راستی‌آزمایی و متادیتاگذاری ده‌ها هزار تصویر نیازمند مدیریت حافظه و پهنای باند هوشمند است تا گلوگاه I/O ایجاد نشود.
معماری سیستم و نحوه پیاده‌سازی
• معماری استخراج ناهمگام با شبیه‌سازی Native Headers: مهندسی معکوس تبادل داده اپلیکیشن و وب‌سایت دیوار؛ ارسال درخواست‌های توزیع‌شده با هدرهای تصادفی، مدیریت توکن‌ها و تغییر مداوم گیت‌وی پروکسی‌ها. • ماژول دانلود چندکاناله تصاویر با هش بصری (pHash): دانلود موازی تصاویر با کارایی بالا، فشرده‌سازی در حین انتقال و تولید شناسه پرسپچوال هش جهت حذف تصاویر تکراری آگهی‌های کپی‌شده. • کنترل پنل مدیریت محله‌ها و فیلترهای منطقه‌ای: امکان انتخاب همزمان چندین منطقه تهران (پاسداران، فردوس، حشمتیه و...)، تنظیم محدوده قیمت، فیلتر «فقط عکس‌دار» و تعیین عمق کراول تا ۱۰۰ صفحه.
ارزش ایجاد شده
• استخراج و ذخیره‌سازی پایدار بیش از ۱,۲۴۵,۰۰۰ رکورد آگهی با سرعت پایدار ۱۴۸ مگابایت بر ثانیه. • دانلود و آرشیو ساختاربندی‌شده بیش از ۴۲,۱۰۰ تصویر با ساختار فولدرهای دسته‌بندی‌شده. • امکان خروجی‌گیری فوری با فرمت‌های استاندارد JSON و Excel جهت ورود به مدل‌های یادگیری ماشین و داشبوردهای قیمت.
نیاز به پیاده‌سازی سیستمی مشابه دارید؟
برای مشاوره فنی، امکان‌سنجی یا توسعه پروژه‌های استخراج داده و هوش مصنوعی در ارتباط باشید.