De fuentes fragmentadas a oportunidades que se pueden encontrar, con control de cada paso del proceso.
Para quien busca trabajo, una oferta incompleta o desactualizada es una oportunidad perdida. Sidehustles reúne empleos flexibles en un solo lugar. Desarrollamos los sistemas cloud y de datos detrás de esa experiencia, conectando recolección, procesamiento, publicación y operación en un pipeline que el equipo puede entender y gestionar.
Un sistema de ingesta con múltiples fuentes, workers dedicados, validación y prevención de duplicados, almacenamiento en PostgreSQL e integración de búsqueda. Lo acompañamos con despliegues cloud en contenedores, verificaciones de base de datos antes de publicar versiones, monitoreo de colas y un panel operativo para rastrear cada oferta hasta su origen.
Los adaptadores de cada fuente alimentan un flujo compartido. Las ofertas pasan por validación, normalización y revisión de duplicados antes de publicarse. Los registros originales se conservan para inspección y reprocesamiento.
Los workers en segundo plano separan la recolección del procesamiento. Las verificaciones de salud de las colas permiten detectar acumulaciones y falta de progreso para diagnosticar la ingesta sin confundir cada fallo con una caída de la aplicación.
Las migraciones se ejecutan antes de promover una nueva versión web. Si ese paso falla, el proceso anterior sigue atendiendo. El panel operativo reúne el estado de las ejecuciones, los errores de validación y los datos de origen en un mismo flujo de investigación.
El reto era mantener confiable todo el recorrido: formatos distintos, páginas que cambian, más trabajo por procesar y una experiencia pública que depende de datos consistentes.
La recolección y el procesamiento están desacoplados. La calidad se valida antes de publicar. Los despliegues cloud y la visibilidad operativa acompañan todo el ciclo de vida.
Páginas de empleadores, plataformas ATS y feeds
Actores Python y navegación para páginas dinámicas
Ingesta mediante API GoUna cola respaldada por la base de datos conserva el trabajo pendiente.
Procesar pendientesValidación, normalización y control de duplicados. Los registros inválidos quedan identificados.
Publicar registros válidosEscrituras en el primario y consultas con roles de réplica de lectura.
Consultar el catálogoFiltros del catálogo, recuperación híbrida y resultados para la experiencia pública.
Los workers y la API convierten texto de ofertas y consultas en vectores.
Los workers indexan; la API recupera por significado y palabras clave.
Next.js permite comparar datos originales y normalizados e investigar ejecuciones de Apify.
Dokku ejecuta las migraciones antes de promover la versión web. Docker mantiene servicios reproducibles.
Estado de las colas, registros inválidos y progreso de los workers. Entornos separados para validar cambios.
La API de ingesta conserva los registros originales en PostgreSQL. Los workers procesan el trabajo pendiente, validan y normalizan las ofertas y las publican en el catálogo. OpenAI y Qdrant complementan ese recorrido con embeddings e indexación para la búsqueda híbrida.
El panel Next.js inspecciona datos y ejecuciones sin modificar las ofertas. Las verificaciones de colas muestran el progreso del procesamiento. Antes de promover una versión web, Dokku ejecuta las migraciones; si ese paso falla, el proceso web anterior continúa atendiendo.
Las plataformas y herramientas que conectan la ingesta, la búsqueda y la operación cloud.
Hosting cloud e infraestructura PostgreSQL administrada.
Despliegue de servicios con verificación de migraciones antes de publicar versiones.
Servicios en contenedores y artefactos de despliegue reproducibles.
Almacenamiento de ofertas originales y procesadas, con roles de escritura y réplica de lectura.
APIs de ingesta, procesamiento en segundo plano y salud de las colas.
Adaptadores de fuentes, extracción, validación y normalización.
Ejecución de actores y visibilidad sobre los procesos de scraping.
Recolección mediante navegador en páginas con contenido dinámico.
Búsqueda vectorial para encontrar ofertas por significado y similitud.
Embeddings de texto utilizados por el pipeline de búsqueda semántica.
Panel interno para comparar datos originales y normalizados e investigar ejecuciones.
Seguir cada oferta desde su fuente hasta la experiencia pública. Definir dónde termina la recolección, empieza el procesamiento y se habilita la publicación, manteniendo visibles los registros rechazados.
Distinguir adaptadores, workers de procesamiento y servicios orientados al usuario. Conservar el origen, normalizar un registro consistente y hacer visible el progreso de las colas.
Incorporar migraciones, separación de entornos, verificación de versiones y diagnóstico como parte de la plataforma. Permitir investigar fallos sin modificar las ofertas de producción.
Desarrollamos integraciones con plataformas ATS como Workday e iCIMS, además de feeds externos. Los límites de frecuencia, la extracción estructurada y los identificadores de origen facilitan ampliar y diagnosticar la recolección.
Implementamos validación y detección de duplicados, conservamos los datos originales y normalizamos campos como ubicación y salario. Los registros inválidos se distinguen de las ofertas publicadas.
Alineamos los conteos de categorías con los filtros de búsqueda y conectamos recuperación por palabras clave y significado. Encontrar oportunidades exige resultados relevantes y una visión consistente de las ofertas disponibles.
Agregamos verificaciones de salud de las colas e inspección de solo lectura para ejecuciones, datos normalizados y errores. Las verificaciones de despliegue protegen el proceso web si falla una migración.
Hablemos de los problemas de infraestructura que generan riesgos, inestabilidad o dificultades para tu equipo.
Habla con un experto
