Script en python que scrapee productos de amazon las 24h y almacene en una base de datos online dicha data

Cerrado Publicado hace 2 años Pagado a la entrega
Cerrado Pagado a la entrega

El proyecto requiere conocimientos en python, el framework scrapy, mysql, cloud ...

Lo que se requiere es lo siguiente:

1. El script se debe ejecutarse las 24/7 en la nube. Ser a prueba de fallos, en caso de cerrarse

de manera repentina, al ejecutarse de nuevo debe continuar ejecutandose donde se cerró. guardar su ultimo estado.

2. Debe scrapear productos subcategoria por subcategoria, de la A a la Z, minimo 50.000 productos al dia. De preferencia scraper productos de la misma categoria antes de scrapear productos de otra categoria.

3. Datos a extraer: (Para cada dato se deben crear minimo 3 selectores css o xpath en caso de que alguno falle) Titulo, SKU o ASIN , precio en dolares, imagenes, descripcion, marca, envio gratis a colombia? si/no, costo de envio? tasas de importacion?, categoria, otros datos que considere importante.

4. No puede fallar el scrape, no debe arrojar error 503, cuidar que no se guarden productos con todos sus datos null.

5. enviar la data a una base de datos mysql en un hosting gratuito.

6. La tabla en la base de datos se identifica con product_id que es el mismo ASIN de amazon.

7. No se deben publicar productos duplicados

8. El programa es para colombia, se requiere que toda la informacion extraida este en espa;ol y los costos de envio sean respecto a colombia.

9. crear otro script que producto por producto, scrapee los precios en dolares y los actualice en la tabla inicial, se debe crear un registro de precios para cada producto, osea un historial en otra tabla de la base de datos.

10. Pueden ser dos scripts que se ejecuten simultaneamente o 1 solo script con las dos funciones.

11. el actualizador de precios debe funcionar igual 24/7, tener una especie de bucle infinito, una vez llegue al ultimo producto de la tabla, vuelva a empezar a actualizar el precio del primero.

12. se debe crear una columna adicional en las tablas que indique si el producto esta disponible. si esta disponible poner status active o si no esta dispoble poner status paused.

10. pueden surgir requerimientos adicionales que se discutiran en las negociaciones con la persona que desee realizar este peque;o proyecto de programacion.

Soy Ingeniero Mecánico, incursionando en proyectos de programación.

No tengo mucha experiencia y requiero realizar muchas tareas para las cuales no doy abasto,

necesito una mano amiga que me ayude con este pequeño proyecto que hace parte de un proyecto aun mas grande.

Por favor en las cotizaciones especificar si tienen las habilidades requeridas, experiencia en proyectos similares, cuanto tiempo podrian tardar en llevar a cabo el poryecto, que tan factible ven el proyecto y que recomendaciones o mejoras podrian aportar al mismo y cuanto estiman podria costar su trabajo. Muchas gracias por su atencion y su tiempo.

Python Extracción de datos web MySQL JavaScript Arquitectura de software

Nº del proyecto: #29779121

Sobre el proyecto

5 propuestas Proyecto remoto Activo hace 2 años

5 freelancers están ofertando un promedio de $671 por este trabajo

SistemaGo

Hola buenos días observamos su proyecto, y podemos ayudarlo a desarrollar un script para que escrapee productos las 24 hsya que hemos trabajado con proyectos similares . Estaríamos necesitando que nos detalle un poco Más

$30 USD en 5 días
(12 comentarios)
4.5
davidrlunag

Saludos. Mi nombre es David Luna, he ayudado a varios emprendedores con sus proyectos como este pero usando tecnología Java. Entiendo que lo pide en Python, pero si le sirve la opción de Java sería un gusto ayudarlo co Más

$1500 USD en 20 días
(1 comentario)
3.6
gongasilva

Hi. I Will do what you want quickly and fine. I hace experience in jobs like this on python. If u are interested write me and i will do it.

$200 USD en 7 días
(0 comentarios)
0.0