{ "cells": [ { "cell_type": "markdown", "id": "55b73472-831c-45c7-acb1-8b7ed5ceb21a", "metadata": {}, "source": [ "# Scrapping Meneame.net" ] }, { "cell_type": "code", "execution_count": 1, "id": "bae700ff-2ef8-493c-9ccb-bcb2f76c10a4", "metadata": {}, "outputs": [], "source": [ "import pandas as pd\n", "import numpy as np\n", "import matplotlib.pyplot as plt\n", "import seaborn as sns\n", "from datetime import datetime\n", "import time\n", "\n", "import warnings\n", "warnings.filterwarnings('ignore')\n", "\n", "pd.options.display.float_format = '{:.2f}'.format #Desactivar notación científica en pandas:\n", "np.set_printoptions(suppress=True) #Desactivar notación científica en numpy:\n", "pd.set_option('display.max_columns', None) #comando para mostrar todas las columnas" ] }, { "cell_type": "code", "execution_count": 2, "id": "6476875d-a047-4a46-bae0-b3f9a05466a0", "metadata": {}, "outputs": [], "source": [ "from bs4 import BeautifulSoup\n", "import requests" ] }, { "cell_type": "code", "execution_count": 3, "id": "e9ceed05-d1d7-407a-a9c0-afcf479c4c01", "metadata": {}, "outputs": [], "source": [ "from selenium import webdriver" ] }, { "cell_type": "code", "execution_count": 7, "id": "2a430ef7-cb14-4af3-ae50-ffe44fa4f1bb", "metadata": {}, "outputs": [], "source": [ "options = webdriver.ChromeOptions()\n", "options.add_argument('--remote-debugging-port=9515')\n", "#driver = webdriver.Chrome('./chromedriver.exe', options=options)\n", "driver = webdriver.Chrome('/usr/bin/chromedriver', options=options)\n", "url_ra = 'https://www.meneame.net/'\n", "driver.implicitly_wait(3)\n", "driver.get(url_ra)" ] }, { "cell_type": "code", "execution_count": 8, "id": "02ae2590-0767-41fc-ba3e-b22c4977d8cc", "metadata": {}, "outputs": [], "source": [ "# Hacemos click en Aceptar cookies\n", "driver.find_element_by_xpath('//*[@id=\"qc-cmp2-ui\"]/div[2]/div/button[2]').click()" ] }, { "cell_type": "code", "execution_count": 6, "id": "55dafc9d-b88d-4eda-bc4f-2ad15b636d0e", "metadata": {}, "outputs": [], "source": [ "driver.close()" ] }, { "cell_type": "markdown", "id": "778684b2-db71-4dca-a061-c5f121dc6400", "metadata": { "tags": [] }, "source": [ "# Ejercicio:\n", "\n", "Extraer, de la primera página de noticias:\n", "- Total de noticias\n", "- Títulos de las noticias\n", "- Resumen noticias\n", "- Total visitas y comentarios de la noticia\n", "- Url de la noticia " ] }, { "cell_type": "markdown", "id": "544b909d-ad3f-420a-9b21-db97f4947608", "metadata": {}, "source": [ "Extracción avanzada:\n", "- Extrae las estadísiticas de la primera noticia. Las estadísticas se encuentan en los 3 puntos, en la parte inferior derecha de la pantalla. Cada noticia tiene un id y es el que se utiliza para obtener el JSON con las estadísticas de la noticia.\n", "\n", "-> https://www.meneame.net/backend/karma-story.json?id=[id de la noticia sin l-]\n", "\n", "En esta página aparece el id de la noticia en el objeto con id = \"users-typing-container\"" ] }, { "cell_type": "code", "execution_count": 1, "id": "eeccaa93-6efd-40f5-ad8a-b1eb2b425e40", "metadata": {}, "outputs": [], "source": [ "# https://www.meneame.net/backend/karma-story.json?id=3610859 -> el id en div class=\"link \"" ] }, { "cell_type": "code", "execution_count": 28, "id": "6002262e-a5b7-47ef-8e70-2d3c44939b88", "metadata": {}, "outputs": [], "source": [ "\n", "time.sleep(2)\n", "\n", "#Hacemos scroll hasta el final para cargar todas las noticias\n", "last_height = driver.execute_script(\"window.scrollTo(0, document.body.scrollHeight);\")\n", "while True:\n", " # Scroll down to bottom\n", " driver.execute_script(\"window.scrollTo(0, document.body.scrollHeight);\")\n", " time.sleep(0.5)\n", "\n", " # Calculate new scroll height and compare with last scroll height\n", " new_height = driver.execute_script(\"return document.body.scrollHeight\")\n", " if new_height == last_height:\n", " break\n", " last_height = new_height\n" ] }, { "cell_type": "code", "execution_count": 20, "id": "9a61e3d2-1ec9-415b-bf8d-0b67ba2fcd96", "metadata": {}, "outputs": [ { "data": { "text/plain": [ "" ] }, "execution_count": 20, "metadata": {}, "output_type": "execute_result" } ], "source": [ "totalbruto[0]" ] }, { "cell_type": "code", "execution_count": null, "id": "52e97e09-b3f7-4f7a-9e77-8e429272d276", "metadata": {}, "outputs": [], "source": [ "driver.find_elements_by_class_name('news-body')" ] }, { "cell_type": "code", "execution_count": 29, "id": "c9c7cda9-7378-44bf-bceb-bc515e65fb36", "metadata": {}, "outputs": [ { "data": { "text/plain": [ "25" ] }, "execution_count": 29, "metadata": {}, "output_type": "execute_result" } ], "source": [ "# Total noticias\n", "# las noticias están organizadas con el formato l-XXXXXX, donde XXXXXX corresponde al número de noticia. \n", "\n", "noticias = []\n", "totalbruto = driver.find_elements_by_class_name('link')\n", "for a in range(len(totalbruto)):\n", " noticias.append(totalbruto[a].get_attribute('id')) \n", "len(noticias)" ] }, { "cell_type": "code", "execution_count": 30, "id": "5d8fff1a-e34b-44b9-bc00-07a92df47518", "metadata": { "scrolled": true, "tags": [] }, "outputs": [ { "data": { "text/plain": [ "['l-3612189',\n", " 'l-3612094',\n", " 'l-3612066',\n", " 'l-3611542',\n", " 'l-3612015',\n", " 'l-3612109',\n", " 'l-3612042',\n", " 'l-3612073',\n", " 'l-3611688',\n", " 'l-3611937',\n", " 'l-3612050',\n", " 'l-3611873',\n", " 'l-3611731',\n", " 'l-3611399',\n", " 'l-3611896',\n", " 'l-3611931',\n", " 'l-3611973',\n", " 'l-3611964',\n", " 'l-3611945',\n", " 'l-3611941',\n", " 'l-3611498',\n", " 'l-3611827',\n", " 'l-3611915',\n", " 'l-3611830',\n", " 'l-3611903']" ] }, "execution_count": 30, "metadata": {}, "output_type": "execute_result" } ], "source": [ "noticias" ] }, { "cell_type": "code", "execution_count": 31, "id": "0a65f1f0-593f-4dbc-ac60-e2d711041b71", "metadata": {}, "outputs": [], "source": [ "# Títulos de las noticias\n", "titulosenbruto = driver.find_element_by_class_name('feed').find_elements_by_class_name('ga-event')\n", "#titulosenbruto = driver.find_element_by_class_name('l:3612094 ga-event')." ] }, { "cell_type": "code", "execution_count": 32, "id": "dfaad63d-a2ce-48ff-b726-fd5a079dca71", "metadata": { "scrolled": true, "tags": [] }, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "\n", "elmundotoday.com\n", "Elena de Borbón pregunta si la mujer con la que está Urdangarin es ahora su hermana\n", "elmundotoday.com\n", "151\n", "13\n", "\n", "es.rbth.com\n", "Larisa Savítskaia, superviviente a caída libre de 5 km tras un accidente aéreo en el Lejano Oriente de Rusia\n", "es.rbth.com\n", "853\n", "10\n", "\n", "xataka.com\n", "Carísima aquí, \"regalada\" para Europa: qué sentido tiene que España exporte tanta electricidad en plena crisis\n", "xataka.com\n", "1k\n", "36\n", "\n", "rolloid.net\n", "Frutas que empiezan a transformarse solas al dejarlas demasiado tiempo a sus anchas\n", "rolloid.net\n", "3.9k\n", "35\n", "\n", "que.es\n", "Desmantelada en Sevilla una red que envasaba aceite ‘Virgen Extra’ no apto para el consumo\n", "que.es\n", "539\n", "77\n", "\n", "cadenaser.com\n", "Djokovic compra el 80% de una biotecnológica danesa que desarrolla un tratamiento contra el COVID-19\n", "cadenaser.com\n", "727\n", "149\n", "\n", "microsiervos.com\n", "La vez aquella que un astronauta creía que iban a palmarla pero que tendría 60 segundos para maldecir a los de Control de Misión antes de que ardiera su nave\n", "microsiervos.com\n", "3k\n", "47\n", "\n", "laopiniondemalaga.es\n", "Anselmo Vilar, el farero que apagó la luz para salvar miles de vidas en la Desbandá\n", "laopiniondemalaga.es\n", "1.2k\n", "36\n", "\n", "hackaday.com\n", "El aprendizaje automático detecta a los políticos distraídos [ENG]\n", "hackaday.com\n", "1.2k\n", "35\n", "\n", "es.rbth.com\n", "No, no fue el invierno el que acabó con el ejército de Napoleón en Rusia en 1812\n", "es.rbth.com\n", "2.6k\n", "103\n", "\n", "eldiario.es\n", "Boris Johnson anuncia el final de las restricciones en Inglaterra, incluido el uso de la mascarilla\n", "eldiario.es\n", "1.2k\n", "170\n", "\n", "threadreaderapp.com\n", "✈️ ¡Tensión sobre Madrid!\n", "threadreaderapp.com\n", "3.3k\n", "42\n", "\n", "muylinux.com\n", "ONLYOFFICE 7.0, nueva versión de la suite ofimática abierta\n", "muylinux.com\n", "1.7k\n", "79\n", "\n", "youtube.com\n", "Solaris (Boris Nirenburg, 1968, subtitulada al castellano)\n", "youtube.com\n", "574\n", "43\n", "\n", "cadenaser.com\n", "El gobierno de Ayuso se equivocó y presentó su recurso de los fondos europeos en la ventanilla errónea\n", "cadenaser.com\n", "1.1k\n", "93\n", "\n", "20minutos.es\n", "El peligro de fumar en las terrazas: el humo esparce el SARS-CoV-2 hasta 8 metros de distancia\n", "20minutos.es\n", "644\n", "176\n", "\n", "elmundotoday.com\n", "Un desconocido tenista con gafas y bigote llamado Yesvak Djokovisku llega a Australia para participar en el Open\n", "elmundotoday.com\n", "2.8k\n", "40\n", "\n", "threadreaderapp.com\n", "He puesto un robot a monitorizar el tiempo de respuesta del buscador oficial de contratos públicos de España y del Reino Unido: las adjudicaciones a la empresa INDRA\n", "threadreaderapp.com\n", "5.7k\n", "93\n", "\n", "lavanguardia.com\n", "Lidl gana la batalla a Thermomix por su robot de cocina: la justicia estima su recurso\n", "lavanguardia.com\n", "1.9k\n", "76\n", "\n", "naiz.eus\n", "Estrasburgo no admite a trámite la demanda de los jóvenes de Altsasu\n", "naiz.eus\n", "815\n", "188\n", "\n", "culturainquieta.com\n", "Fascinantes ilustraciones de los complejos sistemas de raíces de las plantas\n", "culturainquieta.com\n", "2.2k\n", "14\n", "\n", "es.gizmodo.com\n", "Construyen una réplica de un tricorder de Star Trek: Voyager\n", "es.gizmodo.com\n", "1.9k\n", "43\n", "\n", "adslzone.net\n", "TODAS las Smart TV de LG se pueden hackear a través de Internet y de la TDT\n", "adslzone.net\n", "1.7k\n", "91\n", "\n", "encanarias.info\n", "Formulario contra el uso de Google en educación\n", "encanarias.info\n", "1.1k\n", "70\n", "\n", "cadenaser.com\n", "\"Nadie me advirtió de que la fiesta iba contra las normas, dice el hombre que hizo las normas\". El titular más demoledor de la prensa británica contra Boris Johnson\n", "cadenaser.com\n", "2k\n", "61\n" ] } ], "source": [ "for a in titulosenbruto:\n", " print(a.text)" ] }, { "cell_type": "code", "execution_count": 33, "id": "06f596f8-d796-4ede-b025-f2d262b9da78", "metadata": { "scrolled": true, "tags": [] }, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "Elena de Borbón pregunta si la mujer con la que está Urdangarin es ahora su hermana\n", "elmundotoday.com\n", "151\n", "13\n", "\n", "es.rbth.com\n", "Larisa Savítskaia, superviviente a caída libre de 5 km tras un accidente aéreo en el Lejano Oriente de Rusia\n", "es.rbth.com\n", "853\n", "10\n", "\n", "xataka.com\n", "Carísima aquí, \"regalada\" para Europa: qué sentido tiene que España exporte tanta electricidad en plena crisis\n", "xataka.com\n", "1k\n", "36\n", "\n", "rolloid.net\n", "Frutas que empiezan a transformarse solas al dejarlas demasiado tiempo a sus anchas\n", "rolloid.net\n", "3.9k\n", "35\n", "\n", "que.es\n", "Desmantelada en Sevilla una red que envasaba aceite ‘Virgen Extra’ no apto para el consumo\n", "que.es\n", "539\n", "77\n", "\n", "cadenaser.com\n", "Djokovic compra el 80% de una biotecnológica danesa que desarrolla un tratamiento contra el COVID-19\n", "cadenaser.com\n", "727\n", "149\n", "\n", "microsiervos.com\n", "La vez aquella que un astronauta creía que iban a palmarla pero que tendría 60 segundos para maldecir a los de Control de Misión antes de que ardiera su nave\n", "microsiervos.com\n", "3k\n", "47\n", "\n", "laopiniondemalaga.es\n", "Anselmo Vilar, el farero que apagó la luz para salvar miles de vidas en la Desbandá\n", "laopiniondemalaga.es\n", "1.2k\n", "36\n", "\n", "hackaday.com\n", "El aprendizaje automático detecta a los políticos distraídos [ENG]\n", "hackaday.com\n", "1.2k\n", "35\n", "\n", "es.rbth.com\n", "No, no fue el invierno el que acabó con el ejército de Napoleón en Rusia en 1812\n", "es.rbth.com\n", "2.6k\n", "103\n", "\n", "eldiario.es\n", "Boris Johnson anuncia el final de las restricciones en Inglaterra, incluido el uso de la mascarilla\n", "eldiario.es\n", "1.2k\n", "170\n", "\n", "threadreaderapp.com\n", "✈️ ¡Tensión sobre Madrid!\n", "threadreaderapp.com\n", "3.3k\n", "42\n", "\n", "muylinux.com\n", "ONLYOFFICE 7.0, nueva versión de la suite ofimática abierta\n", "muylinux.com\n", "1.7k\n", "79\n", "\n", "youtube.com\n", "Solaris (Boris Nirenburg, 1968, subtitulada al castellano)\n", "youtube.com\n", "574\n", "43\n", "\n", "cadenaser.com\n", "El gobierno de Ayuso se equivocó y presentó su recurso de los fondos europeos en la ventanilla errónea\n", "cadenaser.com\n", "1.1k\n", "93\n", "\n", "20minutos.es\n", "El peligro de fumar en las terrazas: el humo esparce el SARS-CoV-2 hasta 8 metros de distancia\n", "20minutos.es\n", "644\n", "176\n", "\n", "elmundotoday.com\n", "Un desconocido tenista con gafas y bigote llamado Yesvak Djokovisku llega a Australia para participar en el Open\n", "elmundotoday.com\n", "2.8k\n", "40\n", "\n", "threadreaderapp.com\n", "He puesto un robot a monitorizar el tiempo de respuesta del buscador oficial de contratos públicos de España y del Reino Unido: las adjudicaciones a la empresa INDRA\n", "threadreaderapp.com\n", "5.7k\n", "93\n", "\n", "lavanguardia.com\n", "Lidl gana la batalla a Thermomix por su robot de cocina: la justicia estima su recurso\n", "lavanguardia.com\n", "1.9k\n", "76\n", "\n", "naiz.eus\n", "Estrasburgo no admite a trámite la demanda de los jóvenes de Altsasu\n", "naiz.eus\n", "815\n", "188\n", "\n", "culturainquieta.com\n", "Fascinantes ilustraciones de los complejos sistemas de raíces de las plantas\n", "culturainquieta.com\n", "2.2k\n", "14\n", "\n", "es.gizmodo.com\n", "Construyen una réplica de un tricorder de Star Trek: Voyager\n", "es.gizmodo.com\n", "1.9k\n", "43\n", "\n", "adslzone.net\n", "TODAS las Smart TV de LG se pueden hackear a través de Internet y de la TDT\n", "adslzone.net\n", "1.7k\n", "91\n", "\n", "encanarias.info\n", "Formulario contra el uso de Google en educación\n", "encanarias.info\n", "1.1k\n", "70\n", "\n", "cadenaser.com\n", "\"Nadie me advirtió de que la fiesta iba contra las normas, dice el hombre que hizo las normas\". El titular más demoledor de la prensa británica contra Boris Johnson\n", "cadenaser.com\n", "2k\n", "61\n" ] } ], "source": [ "# Elimino los 2 primeros elementos\n", "titulosenbruto = titulosenbruto[2:]\n", "for a in titulosenbruto:\n", " print(a.text)" ] }, { "cell_type": "code", "execution_count": 35, "id": "8604355f-6bf2-4d60-af55-7d947b39d8ff", "metadata": {}, "outputs": [], "source": [ "# El título se repite cada 6 elementos.\n", "titulos = []\n", "\n", "for a in range(len(noticias)):\n", " titulos.append(titulosenbruto[a*6].text)" ] }, { "cell_type": "code", "execution_count": 36, "id": "dcf08f30-2d9f-4c61-85bd-8348185f1f8e", "metadata": { "scrolled": true, "tags": [] }, "outputs": [ { "data": { "text/plain": [ "['Elena de Borbón pregunta si la mujer con la que está Urdangarin es ahora su hermana',\n", " 'Larisa Savítskaia, superviviente a caída libre de 5 km tras un accidente aéreo en el Lejano Oriente de Rusia',\n", " 'Carísima aquí, \"regalada\" para Europa: qué sentido tiene que España exporte tanta electricidad en plena crisis',\n", " 'Frutas que empiezan a transformarse solas al dejarlas demasiado tiempo a sus anchas',\n", " 'Desmantelada en Sevilla una red que envasaba aceite ‘Virgen Extra’ no apto para el consumo',\n", " 'Djokovic compra el 80% de una biotecnológica danesa que desarrolla un tratamiento contra el COVID-19',\n", " 'La vez aquella que un astronauta creía que iban a palmarla pero que tendría 60 segundos para maldecir a los de Control de Misión antes de que ardiera su nave',\n", " 'Anselmo Vilar, el farero que apagó la luz para salvar miles de vidas en la Desbandá',\n", " 'El aprendizaje automático detecta a los políticos distraídos [ENG]',\n", " 'No, no fue el invierno el que acabó con el ejército de Napoleón en Rusia en 1812',\n", " 'Boris Johnson anuncia el final de las restricciones en Inglaterra, incluido el uso de la mascarilla',\n", " '✈️ ¡Tensión sobre Madrid!',\n", " 'ONLYOFFICE 7.0, nueva versión de la suite ofimática abierta',\n", " 'Solaris (Boris Nirenburg, 1968, subtitulada al castellano)',\n", " 'El gobierno de Ayuso se equivocó y presentó su recurso de los fondos europeos en la ventanilla errónea',\n", " 'El peligro de fumar en las terrazas: el humo esparce el SARS-CoV-2 hasta 8 metros de distancia',\n", " 'Un desconocido tenista con gafas y bigote llamado Yesvak Djokovisku llega a Australia para participar en el Open',\n", " 'He puesto un robot a monitorizar el tiempo de respuesta del buscador oficial de contratos públicos de España y del Reino Unido: las adjudicaciones a la empresa INDRA',\n", " 'Lidl gana la batalla a Thermomix por su robot de cocina: la justicia estima su recurso',\n", " 'Estrasburgo no admite a trámite la demanda de los jóvenes de Altsasu',\n", " 'Fascinantes ilustraciones de los complejos sistemas de raíces de las plantas',\n", " 'Construyen una réplica de un tricorder de Star Trek: Voyager',\n", " 'TODAS las Smart TV de LG se pueden hackear a través de Internet y de la TDT',\n", " 'Formulario contra el uso de Google en educación',\n", " '\"Nadie me advirtió de que la fiesta iba contra las normas, dice el hombre que hizo las normas\". El titular más demoledor de la prensa británica contra Boris Johnson']" ] }, "execution_count": 36, "metadata": {}, "output_type": "execute_result" } ], "source": [ "titulos" ] }, { "cell_type": "code", "execution_count": 37, "id": "1d7bba27-763a-4830-af73-2605e31ca3c2", "metadata": { "scrolled": true, "tags": [] }, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "Elena de Borbón y Grecia ha visto hoy, como tantos otros españoles, las fotografías de la revista Lecturas en las que se aprecia a Iñaki Urdangarin paseando de la mano de una mujer que no es la infanta Cristina. Ahora, Elena de Borbón se pregunta si esa señora es su hermana y pide que, de ser así, se la presenten «porque necesito saber si ella es la hermana mayor o la menor». Fuentes de la Casa Real aclaran que doña Elena «sigue peculiares razonamientos lógicos» y, en este caso, considera que, si la pareja de Urdangarin es su hermana\n", "Hace cuarenta años, un avión militar y otro civil colisionaron en el aire, y sólo una joven de 20 años sobrevivió al accidente, aterrizando y esperando a los rescatadores en lo más profundo de la taiga rusa.\n", "Desde el pasado noviembre, España está exportando energía a unos niveles de récord. Hay que remontarse a 2005 para encontrar unos niveles del precio de las exportaciones en la energía tan altos. Nuestro país cada vez vende más energía a vecinos como Francia y Portugal, pese a que podríamos utilizarla nosotros para abastecer la demanda y así ayudar a rebajar el precio de la energía. ¿Por qué España decide vender esa energía en vez de aprovecharla para evitar la necesidad del gas y rebajar el coste de la energía?\n", "Al igual que los humanos, las frutas y las verduras también tienen un ciclo de vida lleno de cambios y crecimientos constantes. Y, al igual que los humanos, también tienen algunas personas que no encajan dentro de las normas. Desde las semillas de una fresa que brotan cuando aún están en la planta, hasta las alcachofas que florecen al azar, estas fotos sorprenderían incluso a los jardineros más experimentados.\n", "La Guardia Civil ha desmantelado una red dedicada a introducir grandes partidas de aceite a granel en el mercado, con un «grave e inminente riesgo» para la salud pública, que supuestamente era etiquetado de forma fraudulenta como ‘Virgen Extra’ y que pretendía introducir 50.000 litros de este producto, envasado en dos envasadoras de las localidades de Carmona y El Viso del Alcor en las que se embotellaba y etiquetaba sin ningún tipo de control sanitario y con datos falsos para comercializarla en comercios y portales de internet.\n", "El tenista Novak Djokovic compró el 80% de la firma de biotecnología danesa QuantBioRes, con el objetivo de desarrollar un tratamiento médico contra el COVID-19, según ha informado a la agencia 'Reuters' el director ejecutivo de la compañía. El deportista serbio ha sido noticia estas semanas al ser deportado de Australia, donde iba a jugar el Open de tenis, ya que no estaba vacunado contra el coronavirus.\n", "Alguien redescubrió una vieja y a la vez tremenda anécdota de la misión STS-27 del transbordador espacial Atlantis en 1998, una de las misiones militares «clasificadas» para poner satélites en órbita, que estuvo a punto de acabar en desastre. Está contada con detalle por Mike Mullane en Riding Rockets: The Outrageous Tales of a Space Shuttle Astronaut, un libro que tiene pinta de ser muy interesante y en SpaceflightNow hace años.\n", "Evitó que los bombardeos se cebasen en el tramo comprendido entre los núcleos de Almayate y Caleta de Vélez.\n", "The Flemish Scrollers es un sistema de software que observa las sesiones en directo del gobierno flamenco, y utiliza Python y aprendizaje automático para identificar y destacar a los políticos que sacan sus teléfonos y empiezan a deslizar la pantalla...\n", "Durante la campaña de invierno de Napoleón de 1812, los rusos y los franceses experimentaron el mismo frío glacial. Sin embargo, no fueron las bajas temperaturas las que destruyeron la Grande Armée de Napoleón, como se describe a menudo en diversas fuentes. Napoleón desplegó más de 300.000 soldados en la invasión directa de Rusia. Durante la batalla de Berezina (26-29 de noviembre de 1812), los últimos restos del Grande Armée intentaron huir de Rusia y sólo quedaban entre 20.000 y 30.000 hombres.\n", "El primer ministro británico, Boris Johnson, ha anunciado este miércoles en el Parlamento el final de las restricciones en Inglaterra para controlar la pandemia a partir del próximo jueves 26 de enero. La declaración del primer ministro implica que ya no será obligatorio el uso de la mascarilla en ninguna parte; se elimina el certificado COVID, que actualmente se aplica para entrar en discotecas, recintos cerrados con más de 500 personas o lugares abiertos con más de 4.000; y se pone fin a la recomendación de teletrabajar.\n", "Hace 2 años, un 767 de Air Canadá pasó varias horas dando vueltas en círculo sobre Madrid, una odisea que fue seguida en directo por TV. Pero, ¿qué pasó?. Aprovechando la publicación del informe oficial, vamos a analizarlo con detenimiento.\n", "Seguimos hablando de estrenos en este año que acaba de comenzar y hoy lo hacemos de ONLYOFFICE 7.0, la nueva versión mayor de esta suite ofimática de código abierto, cada vez más popular por su enfoque a medio camino entre el «móntatelo tú mismo, te lo montamos nosotros y no hace falta que te montes nada». Dicho de otra forma, cuando hablamos de ONLYOFFICE lo hacemos de una suite ofimática que fue creada como software de servidor, una suerte de reemplazo a Google Docs y similares y así sigue funcionando, pero con cambios, por lo que si [...]\n", "\"Solaris (Солярис) es un telefilme de 1968 basado en la novela de 1961 Solaris de Stanisław Lem. El guion fue escrito por Nikolay Kemarsky, y fue dirigido por Boris Nirenburg siendo filmado en los estudios de la Televisión Central soviética\". (Wikipedia)\n", "La Consejeríá de Economía acudió a la Audiencia Nacional para tumbar el reparto de los 9 millones que recibieron cuatro comunidades, cuando realmente deberían haber presentado su recurso ante el Tribunal Supremo al tratarse de un Real Decreto.\n", "La Sociedad Española de Neumología y Cirugía Torácica (SEPAR) advierte de que fumar en las terrazas las convierte en lugares inseguros tanto para los usuarios como para los trabajadores de la hostelería por el riesgo de contagio de covid-19, ya que el virus puede esparcirse con el humo hasta a ocho metros de distancia.\n", "Quejándose del dolor en el brazo izquierdo provocado por la tercera dosis de la vacuna, pero confiado en sorprender al mundo con su juego, un desconocido tenista con gafas y bigote llamado Yesvak Djokovisku ha aterrizado esta mañana en Australia dispuesto a competir en el Open y «demostrar que Djokovic, que no soy yo, no es el único mejor tenista del mundo, porque también estoy yo, que no soy él».\n", "He puesto un robot a monitorizar el tiempo de respuesta del buscador oficial de contratos públicos de España y del Reino Unido. El robot entra cada cinco minutos y hace en ambos la misma búsqueda: las adjudicaciones a la empresa INDRA. ¡Vamos a verlo!\n", "La batalla de los robots de cocina da un giro. La Audiencia de Barcelona ha estimado el recurso de Lidl contra la sentencia que la condenó por violar la patente de Thermomix con su máquina Monsieur Cousine Connect y supuso la retirada de sus aparatos de los supermercados hace justo un año.\n", "El Tribunal Europeo de Derechos Humanos no ha aceptado las demandas presentadas por los jóvenes de Altsasu por las violaciones observadas durante el juicio en España, según informa uno de ellos a través de las redes sociales.\n", "Nada es lo que parece, tampoco en la superficie. Solo llegamos a alcanzar a ver la punta del iceberg de la vegetación que nos rodea, pero, si ahondamos en la tierra, descubrimos su manera de crecer y asentarse.\n", "La primera versión que el YouTuber Mangy_Dog (un diseñador de interfaz de usuario que también es experto en electrónica) tardó más de un año en construir fue impresionantemente capaz y parecía sacada directamente del siglo XXIV. Pero cuando un amigo encargó una réplica del tricorder para sí mismo, Mangy_Dog aprovechó la oportunidad para actualizar completamente el accesorio por dentro y por fuera, y aunque tardó varios años en completarse, los resultados parecen incluso mejores que cualquier cosa que Hollywood haya ofrecido.\n", "Descubren una vulnerabilidad en todas las Smart TV de LG que permite rootearlas para instalar aplicaciones como emuladores de juegos. La vulnerabilidad ha sido descubierta por el hacker David Buchanan, también conocido como retr0id. Este fallo consiste en una ejecución de código remoto a través del estándar DVB-T. Es decir, que la emisión del exploit se realiza a través de la señal que le llega a la TDT a través de la toma de antena. No hace falta ni que la tele esté conectada a Internet para poder aprovechar la vulnerabilidad.\n", "Dejo un formulario para negarse al uso del Google Classrom en la educación. Puede usarlo cualquier padre ante su Centro y es lo que presentaré mañana en mi Centro. Está pensado para Canarias, pero sirve para cualquier punto de España (sólo habría que adaptar el último párrafo, el segundo solicita a lo realmente tramitado en cada Comunidad Autónoma, pero seguramente ocurra igual).\n", "Los periódicos del Reino Unido se están dando un festín con las fiestas de Boris Johnson y con sus excusas. El primer ministro está a un paso del abismo tras conocerse que las fiestas y reuniones sociales, siempre regadas con alcohol, no pararon en Downing Street ni siquiera en los momentos más lúgubres de la COVID-19. Hace unos días, un diario ocupó toda su portada con una foto del primer ministro y la palabra \"mentiroso\". Este miércoles, The Independent pone también una foto del primer ministro y construye este titular demoledor...\n" ] } ], "source": [ "# Resumen de las noticias\n", "resumenesenbruto = driver.find_element_by_class_name('feed').find_elements_by_class_name('link-preview')\n", "for a in resumenesenbruto:\n", " print(a.text)" ] }, { "cell_type": "code", "execution_count": 39, "id": "771ed2e0-6e04-4b01-a6c6-040e4ce1c0ae", "metadata": {}, "outputs": [], "source": [ "resumenesnoticias = []\n", "for a in range(len(noticias)):\n", " resumenesnoticias.append(resumenesenbruto[a].text)" ] }, { "cell_type": "code", "execution_count": 40, "id": "5c2bbca7-8343-4cf0-a065-4a976ca92c1a", "metadata": { "scrolled": true, "tags": [] }, "outputs": [ { "data": { "text/plain": [ "['Elena de Borbón y Grecia ha visto hoy, como tantos otros españoles, las fotografías de la revista Lecturas en las que se aprecia a Iñaki Urdangarin paseando de la mano de una mujer que no es la infanta Cristina. Ahora, Elena de Borbón se pregunta si esa señora es su hermana y pide que, de ser así, se la presenten «porque necesito saber si ella es la hermana mayor o la menor». Fuentes de la Casa Real aclaran que doña Elena «sigue peculiares razonamientos lógicos» y, en este caso, considera que, si la pareja de Urdangarin es su hermana',\n", " 'Hace cuarenta años, un avión militar y otro civil colisionaron en el aire, y sólo una joven de 20 años sobrevivió al accidente, aterrizando y esperando a los rescatadores en lo más profundo de la taiga rusa.',\n", " 'Desde el pasado noviembre, España está exportando energía a unos niveles de récord. Hay que remontarse a 2005 para encontrar unos niveles del precio de las exportaciones en la energía tan altos. Nuestro país cada vez vende más energía a vecinos como Francia y Portugal, pese a que podríamos utilizarla nosotros para abastecer la demanda y así ayudar a rebajar el precio de la energía. ¿Por qué España decide vender esa energía en vez de aprovecharla para evitar la necesidad del gas y rebajar el coste de la energía?',\n", " 'Al igual que los humanos, las frutas y las verduras también tienen un ciclo de vida lleno de cambios y crecimientos constantes. Y, al igual que los humanos, también tienen algunas personas que no encajan dentro de las normas. Desde las semillas de una fresa que brotan cuando aún están en la planta, hasta las alcachofas que florecen al azar, estas fotos sorprenderían incluso a los jardineros más experimentados.',\n", " 'La Guardia Civil ha desmantelado una red dedicada a introducir grandes partidas de aceite a granel en el mercado, con un «grave e inminente riesgo» para la salud pública, que supuestamente era etiquetado de forma fraudulenta como ‘Virgen Extra’ y que pretendía introducir 50.000 litros de este producto, envasado en dos envasadoras de las localidades de Carmona y El Viso del Alcor en las que se embotellaba y etiquetaba sin ningún tipo de control sanitario y con datos falsos para comercializarla en comercios y portales de internet.',\n", " \"El tenista Novak Djokovic compró el 80% de la firma de biotecnología danesa QuantBioRes, con el objetivo de desarrollar un tratamiento médico contra el COVID-19, según ha informado a la agencia 'Reuters' el director ejecutivo de la compañía. El deportista serbio ha sido noticia estas semanas al ser deportado de Australia, donde iba a jugar el Open de tenis, ya que no estaba vacunado contra el coronavirus.\",\n", " 'Alguien redescubrió una vieja y a la vez tremenda anécdota de la misión STS-27 del transbordador espacial Atlantis en 1998, una de las misiones militares «clasificadas» para poner satélites en órbita, que estuvo a punto de acabar en desastre. Está contada con detalle por Mike Mullane en Riding Rockets: The Outrageous Tales of a Space Shuttle Astronaut, un libro que tiene pinta de ser muy interesante y en SpaceflightNow hace años.',\n", " 'Evitó que los bombardeos se cebasen en el tramo comprendido entre los núcleos de Almayate y Caleta de Vélez.',\n", " 'The Flemish Scrollers es un sistema de software que observa las sesiones en directo del gobierno flamenco, y utiliza Python y aprendizaje automático para identificar y destacar a los políticos que sacan sus teléfonos y empiezan a deslizar la pantalla...',\n", " 'Durante la campaña de invierno de Napoleón de 1812, los rusos y los franceses experimentaron el mismo frío glacial. Sin embargo, no fueron las bajas temperaturas las que destruyeron la Grande Armée de Napoleón, como se describe a menudo en diversas fuentes. Napoleón desplegó más de 300.000 soldados en la invasión directa de Rusia. Durante la batalla de Berezina (26-29 de noviembre de 1812), los últimos restos del Grande Armée intentaron huir de Rusia y sólo quedaban entre 20.000 y 30.000 hombres.',\n", " 'El primer ministro británico, Boris Johnson, ha anunciado este miércoles en el Parlamento el final de las restricciones en Inglaterra para controlar la pandemia a partir del próximo jueves 26 de enero. La declaración del primer ministro implica que ya no será obligatorio el uso de la mascarilla en ninguna parte; se elimina el certificado COVID, que actualmente se aplica para entrar en discotecas, recintos cerrados con más de 500 personas o lugares abiertos con más de 4.000; y se pone fin a la recomendación de teletrabajar.',\n", " 'Hace 2 años, un 767 de Air Canadá pasó varias horas dando vueltas en círculo sobre Madrid, una odisea que fue seguida en directo por TV. Pero, ¿qué pasó?. Aprovechando la publicación del informe oficial, vamos a analizarlo con detenimiento.',\n", " 'Seguimos hablando de estrenos en este año que acaba de comenzar y hoy lo hacemos de ONLYOFFICE 7.0, la nueva versión mayor de esta suite ofimática de código abierto, cada vez más popular por su enfoque a medio camino entre el «móntatelo tú mismo, te lo montamos nosotros y no hace falta que te montes nada». Dicho de otra forma, cuando hablamos de ONLYOFFICE lo hacemos de una suite ofimática que fue creada como software de servidor, una suerte de reemplazo a Google Docs y similares y así sigue funcionando, pero con cambios, por lo que si [...]',\n", " '\"Solaris (Солярис) es un telefilme de 1968 basado en la novela de 1961 Solaris de Stanisław Lem. El guion fue escrito por Nikolay Kemarsky, y fue dirigido por Boris Nirenburg siendo filmado en los estudios de la Televisión Central soviética\". (Wikipedia)',\n", " 'La Consejeríá de Economía acudió a la Audiencia Nacional para tumbar el reparto de los 9 millones que recibieron cuatro comunidades, cuando realmente deberían haber presentado su recurso ante el Tribunal Supremo al tratarse de un Real Decreto.',\n", " 'La Sociedad Española de Neumología y Cirugía Torácica (SEPAR) advierte de que fumar en las terrazas las convierte en lugares inseguros tanto para los usuarios como para los trabajadores de la hostelería por el riesgo de contagio de covid-19, ya que el virus puede esparcirse con el humo hasta a ocho metros de distancia.',\n", " 'Quejándose del dolor en el brazo izquierdo provocado por la tercera dosis de la vacuna, pero confiado en sorprender al mundo con su juego, un desconocido tenista con gafas y bigote llamado Yesvak Djokovisku ha aterrizado esta mañana en Australia dispuesto a competir en el Open y «demostrar que Djokovic, que no soy yo, no es el único mejor tenista del mundo, porque también estoy yo, que no soy él».',\n", " 'He puesto un robot a monitorizar el tiempo de respuesta del buscador oficial de contratos públicos de España y del Reino Unido. El robot entra cada cinco minutos y hace en ambos la misma búsqueda: las adjudicaciones a la empresa INDRA. ¡Vamos a verlo!',\n", " 'La batalla de los robots de cocina da un giro. La Audiencia de Barcelona ha estimado el recurso de Lidl contra la sentencia que la condenó por violar la patente de Thermomix con su máquina Monsieur Cousine Connect y supuso la retirada de sus aparatos de los supermercados hace justo un año.',\n", " 'El Tribunal Europeo de Derechos Humanos no ha aceptado las demandas presentadas por los jóvenes de Altsasu por las violaciones observadas durante el juicio en España, según informa uno de ellos a través de las redes sociales.',\n", " 'Nada es lo que parece, tampoco en la superficie. Solo llegamos a alcanzar a ver la punta del iceberg de la vegetación que nos rodea, pero, si ahondamos en la tierra, descubrimos su manera de crecer y asentarse.',\n", " 'La primera versión que el YouTuber Mangy_Dog (un diseñador de interfaz de usuario que también es experto en electrónica) tardó más de un año en construir fue impresionantemente capaz y parecía sacada directamente del siglo XXIV. Pero cuando un amigo encargó una réplica del tricorder para sí mismo, Mangy_Dog aprovechó la oportunidad para actualizar completamente el accesorio por dentro y por fuera, y aunque tardó varios años en completarse, los resultados parecen incluso mejores que cualquier cosa que Hollywood haya ofrecido.',\n", " 'Descubren una vulnerabilidad en todas las Smart TV de LG que permite rootearlas para instalar aplicaciones como emuladores de juegos. La vulnerabilidad ha sido descubierta por el hacker David Buchanan, también conocido como retr0id. Este fallo consiste en una ejecución de código remoto a través del estándar DVB-T. Es decir, que la emisión del exploit se realiza a través de la señal que le llega a la TDT a través de la toma de antena. No hace falta ni que la tele esté conectada a Internet para poder aprovechar la vulnerabilidad.',\n", " 'Dejo un formulario para negarse al uso del Google Classrom en la educación. Puede usarlo cualquier padre ante su Centro y es lo que presentaré mañana en mi Centro. Está pensado para Canarias, pero sirve para cualquier punto de España (sólo habría que adaptar el último párrafo, el segundo solicita a lo realmente tramitado en cada Comunidad Autónoma, pero seguramente ocurra igual).',\n", " 'Los periódicos del Reino Unido se están dando un festín con las fiestas de Boris Johnson y con sus excusas. El primer ministro está a un paso del abismo tras conocerse que las fiestas y reuniones sociales, siempre regadas con alcohol, no pararon en Downing Street ni siquiera en los momentos más lúgubres de la COVID-19. Hace unos días, un diario ocupó toda su portada con una foto del primer ministro y la palabra \"mentiroso\". Este miércoles, The Independent pone también una foto del primer ministro y construye este titular demoledor...']" ] }, "execution_count": 40, "metadata": {}, "output_type": "execute_result" } ], "source": [ "resumenesnoticias" ] }, { "cell_type": "code", "execution_count": 41, "id": "3b0d3831-44d8-4c31-98e5-bd01ed91a92e", "metadata": { "scrolled": true, "tags": [] }, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "151\n", "13\n", "853\n", "10\n", "1k\n", "36\n", "3.9k\n", "35\n", "539\n", "77\n", "727\n", "149\n", "3k\n", "47\n", "1.2k\n", "36\n", "1.2k\n", "35\n", "2.6k\n", "103\n", "1.2k\n", "170\n", "3.3k\n", "42\n", "1.7k\n", "79\n", "574\n", "43\n", "1.1k\n", "93\n", "644\n", "176\n", "2.8k\n", "40\n", "5.7k\n", "93\n", "1.9k\n", "76\n", "815\n", "188\n", "2.2k\n", "14\n", "1.9k\n", "43\n", "1.7k\n", "91\n", "1.1k\n", "70\n", "2k\n", "61\n" ] } ], "source": [ "# Total visitas a la noticia\n", "\n", "# Podemos extraerlo de títulos en bruto, pero vamos a extraerlo de otra manera para practicar.\n", "visitasbruto = driver.find_element_by_class_name('feed').find_elements_by_class_name('comments-number')\n", "for a in visitasbruto:\n", " print(a.text)" ] }, { "cell_type": "code", "execution_count": 42, "id": "3f6c656f-9160-4b68-b19f-92eda2f1f151", "metadata": {}, "outputs": [], "source": [ "# El contenido par extraído corresponde a las visitas. El impar a los comentarios. Esta información también está bajo la clase footer, aunque en ese caso sólo aparece la info de una noticia\n", "visitas = []\n", "comentarios = []\n", "for a in range(len(noticias)):\n", " visitas.append(visitasbruto[a].text)\n", " comentarios.append(visitasbruto[a+1].text)" ] }, { "cell_type": "code", "execution_count": 43, "id": "81f98122-2158-4575-8323-0be70e9acd15", "metadata": { "scrolled": true, "tags": [] }, "outputs": [ { "data": { "text/plain": [ "['151',\n", " '13',\n", " '853',\n", " '10',\n", " '1k',\n", " '36',\n", " '3.9k',\n", " '35',\n", " '539',\n", " '77',\n", " '727',\n", " '149',\n", " '3k',\n", " '47',\n", " '1.2k',\n", " '36',\n", " '1.2k',\n", " '35',\n", " '2.6k',\n", " '103',\n", " '1.2k',\n", " '170',\n", " '3.3k',\n", " '42',\n", " '1.7k']" ] }, "execution_count": 43, "metadata": {}, "output_type": "execute_result" } ], "source": [ "visitas" ] }, { "cell_type": "code", "execution_count": 44, "id": "0653dad9-6568-4642-aab3-57cbbcd34093", "metadata": {}, "outputs": [ { "data": { "text/plain": [ "'l-3612189'" ] }, "execution_count": 44, "metadata": {}, "output_type": "execute_result" } ], "source": [ "noticias[0]" ] }, { "cell_type": "code", "execution_count": 45, "id": "7b4f076c-1b7b-4a73-9e12-c116bd936c1e", "metadata": { "scrolled": true, "tags": [] }, "outputs": [], "source": [ "# Extracción de la url de la noticia\n", "enlacesbruto = []\n", "#enlacesbruto = driver.find_element_by_class_name('external-source tm-event ga-event').find_elements_by_tag_name('a')\n", "for a in range(len(noticias)):\n", " enlacesbruto.append(driver.find_element_by_id(noticias[a]).find_element_by_class_name('link-header').find_element_by_tag_name('a').get_attribute('href'))\n", " " ] }, { "cell_type": "code", "execution_count": 46, "id": "d0569e27-c05e-461e-a6a3-529bcdaa8236", "metadata": {}, "outputs": [ { "data": { "text/plain": [ "['https://www.meneame.net/m/ocio/elena-borbon-pregunta-mujer-esta-urdangarin-ahora-hermana',\n", " 'https://www.meneame.net/m/cultura/larisa-savitskaia-superviviente-caida-libre-5-km-tras-accidente',\n", " 'https://www.meneame.net/m/actualidad/carisima-aqui-regalada-europa-sentido-tiene-espana-exporte-tanta',\n", " 'https://www.meneame.net/m/cultura/frutas-empiezan-transformarse-solas-dejarlas-demasiado-tiempo',\n", " 'https://www.meneame.net/m/actualidad/desmantelada-sevilla-red-envasaba-aceite-virgen-extra-no-apto',\n", " 'https://www.meneame.net/m/actualidad/djokovic-compra-80-biotecnologica-danesa-desarrolla-tratamiento',\n", " 'https://www.meneame.net/m/ciencia/vez-aquella-astronauta-creia-iban-palmarla-pero-tendria-60-antes',\n", " 'https://www.meneame.net/m/cultura/anselmo-vilar-farero-apago-luz-salvar-miles-vidas-desbanda',\n", " 'https://www.meneame.net/m/politica/aprendizaje-automatico-detecta-politicos-distraidos-eng',\n", " 'https://www.meneame.net/m/cultura/no-no-fue-invierno-acabo-ejercito-napoleon-rusia-1812',\n", " 'https://www.meneame.net/m/actualidad/boris-johnson-anuncia-final-restricciones-inglaterra-incluido',\n", " 'https://www.meneame.net/m/actualidad/tension-sobre-madrid',\n", " 'https://www.meneame.net/m/tecnolog%C3%ADa/onlyoffice-7-nueva-version-suite-ofimatica-abierta',\n", " 'https://www.meneame.net/m/cultura/solaris-boris-nirenburg-1968-subtitulada-castellano',\n", " 'https://www.meneame.net/m/actualidad/gobierno-ayuso-equivoco-presento-recurso-fondos-europeos-erronea',\n", " 'https://www.meneame.net/m/actualidad/peligro-fumar-terrazas-humo-esparce-covid-19-hasta-8-metros',\n", " 'https://www.meneame.net/m/ocio/desconocido-tenista-gafas-bigote-llamado-yesvak-djokovisku-llega',\n", " 'https://www.meneame.net/m/tecnolog%C3%ADa/he-puesto-robot-monitorizar-tiempo-respuesta-buscador-oficial',\n", " 'https://www.meneame.net/m/actualidad/lidl-gana-batalla-thermomix-robot-cocina-justicia-estima-recurso',\n", " 'https://www.meneame.net/m/actualidad/estrasburgo-no-admite-tramite-demanda-jovenes-altsasu',\n", " 'https://www.meneame.net/m/Bot%C3%A1nica/fascinantes-ilustraciones-complejos-sistemas-raices-plantas',\n", " 'https://www.meneame.net/m/tecnolog%C3%ADa/construyen-replica-tricorder-star-trek-voyager',\n", " 'https://www.meneame.net/m/tecnolog%C3%ADa/todas-smart-tv-lg-pueden-hackear-traves-internet-tdt',\n", " 'https://www.meneame.net/m/actualidad/formulario-contra-uso-google-educacion',\n", " 'https://www.meneame.net/m/actualidad/nadie-advirtio-fiesta-iba-contra-normas-dice-hombre-hizo-normas']" ] }, "execution_count": 46, "metadata": {}, "output_type": "execute_result" } ], "source": [ "enlacesbruto" ] }, { "cell_type": "code", "execution_count": 47, "id": "070d057c-a27f-460b-9cb2-bf4439f24116", "metadata": {}, "outputs": [], "source": [ "# Lo ponemos todo junto.\n", "\n", "df = pd.DataFrame({'#noticia':noticias, 'título':titulos, 'resumen':resumenesnoticias, 'visitas':visitas, 'comentarios':comentarios, 'url': enlacesbruto})" ] }, { "cell_type": "code", "execution_count": 48, "id": "707776c2-c062-44e1-88b1-edc6f4ada682", "metadata": { "tags": [] }, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
#noticiatítuloresumenvisitascomentariosurl
0l-3612189Elena de Borbón pregunta si la mujer con la qu...Elena de Borbón y Grecia ha visto hoy, como ta...15113https://www.meneame.net/m/ocio/elena-borbon-pr...
1l-3612094Larisa Savítskaia, superviviente a caída libre...Hace cuarenta años, un avión militar y otro ci...13853https://www.meneame.net/m/cultura/larisa-savit...
2l-3612066Carísima aquí, \"regalada\" para Europa: qué sen...Desde el pasado noviembre, España está exporta...85310https://www.meneame.net/m/actualidad/carisima-...
3l-3611542Frutas que empiezan a transformarse solas al d...Al igual que los humanos, las frutas y las ver...101khttps://www.meneame.net/m/cultura/frutas-empie...
4l-3612015Desmantelada en Sevilla una red que envasaba a...La Guardia Civil ha desmantelado una red dedic...1k36https://www.meneame.net/m/actualidad/desmantel...
5l-3612109Djokovic compra el 80% de una biotecnológica d...El tenista Novak Djokovic compró el 80% de la ...363.9khttps://www.meneame.net/m/actualidad/djokovic-...
6l-3612042La vez aquella que un astronauta creía que iba...Alguien redescubrió una vieja y a la vez treme...3.9k35https://www.meneame.net/m/ciencia/vez-aquella-...
7l-3612073Anselmo Vilar, el farero que apagó la luz para...Evitó que los bombardeos se cebasen en el tram...35539https://www.meneame.net/m/cultura/anselmo-vila...
8l-3611688El aprendizaje automático detecta a los políti...The Flemish Scrollers es un sistema de softwar...53977https://www.meneame.net/m/politica/aprendizaje...
9l-3611937No, no fue el invierno el que acabó con el ejé...Durante la campaña de invierno de Napoleón de ...77727https://www.meneame.net/m/cultura/no-no-fue-in...
10l-3612050Boris Johnson anuncia el final de las restricc...El primer ministro británico, Boris Johnson, h...727149https://www.meneame.net/m/actualidad/boris-joh...
11l-3611873✈️ ¡Tensión sobre Madrid!Hace 2 años, un 767 de Air Canadá pasó varias ...1493khttps://www.meneame.net/m/actualidad/tension-s...
12l-3611731ONLYOFFICE 7.0, nueva versión de la suite ofim...Seguimos hablando de estrenos en este año que ...3k47https://www.meneame.net/m/tecnolog%C3%ADa/only...
13l-3611399Solaris (Boris Nirenburg, 1968, subtitulada al...\"Solaris (Солярис) es un telefilme de 1968 bas...471.2khttps://www.meneame.net/m/cultura/solaris-bori...
14l-3611896El gobierno de Ayuso se equivocó y presentó su...La Consejeríá de Economía acudió a la Audienci...1.2k36https://www.meneame.net/m/actualidad/gobierno-...
15l-3611931El peligro de fumar en las terrazas: el humo e...La Sociedad Española de Neumología y Cirugía T...361.2khttps://www.meneame.net/m/actualidad/peligro-f...
16l-3611973Un desconocido tenista con gafas y bigote llam...Quejándose del dolor en el brazo izquierdo pro...1.2k35https://www.meneame.net/m/ocio/desconocido-ten...
17l-3611964He puesto un robot a monitorizar el tiempo de ...He puesto un robot a monitorizar el tiempo de ...352.6khttps://www.meneame.net/m/tecnolog%C3%ADa/he-p...
18l-3611945Lidl gana la batalla a Thermomix por su robot ...La batalla de los robots de cocina da un giro....2.6k103https://www.meneame.net/m/actualidad/lidl-gana...
19l-3611941Estrasburgo no admite a trámite la demanda de ...El Tribunal Europeo de Derechos Humanos no ha ...1031.2khttps://www.meneame.net/m/actualidad/estrasbur...
20l-3611498Fascinantes ilustraciones de los complejos sis...Nada es lo que parece, tampoco en la superfici...1.2k170https://www.meneame.net/m/Bot%C3%A1nica/fascin...
21l-3611827Construyen una réplica de un tricorder de Star...La primera versión que el YouTuber Mangy_Dog (...1703.3khttps://www.meneame.net/m/tecnolog%C3%ADa/cons...
22l-3611915TODAS las Smart TV de LG se pueden hackear a t...Descubren una vulnerabilidad en todas las Smar...3.3k42https://www.meneame.net/m/tecnolog%C3%ADa/toda...
23l-3611830Formulario contra el uso de Google en educaciónDejo un formulario para negarse al uso del Goo...421.7khttps://www.meneame.net/m/actualidad/formulari...
24l-3611903\"Nadie me advirtió de que la fiesta iba contra...Los periódicos del Reino Unido se están dando ...1.7k79https://www.meneame.net/m/actualidad/nadie-adv...
\n", "
" ], "text/plain": [ " #noticia título \\\n", "0 l-3612189 Elena de Borbón pregunta si la mujer con la qu... \n", "1 l-3612094 Larisa Savítskaia, superviviente a caída libre... \n", "2 l-3612066 Carísima aquí, \"regalada\" para Europa: qué sen... \n", "3 l-3611542 Frutas que empiezan a transformarse solas al d... \n", "4 l-3612015 Desmantelada en Sevilla una red que envasaba a... \n", "5 l-3612109 Djokovic compra el 80% de una biotecnológica d... \n", "6 l-3612042 La vez aquella que un astronauta creía que iba... \n", "7 l-3612073 Anselmo Vilar, el farero que apagó la luz para... \n", "8 l-3611688 El aprendizaje automático detecta a los políti... \n", "9 l-3611937 No, no fue el invierno el que acabó con el ejé... \n", "10 l-3612050 Boris Johnson anuncia el final de las restricc... \n", "11 l-3611873 ✈️ ¡Tensión sobre Madrid! \n", "12 l-3611731 ONLYOFFICE 7.0, nueva versión de la suite ofim... \n", "13 l-3611399 Solaris (Boris Nirenburg, 1968, subtitulada al... \n", "14 l-3611896 El gobierno de Ayuso se equivocó y presentó su... \n", "15 l-3611931 El peligro de fumar en las terrazas: el humo e... \n", "16 l-3611973 Un desconocido tenista con gafas y bigote llam... \n", "17 l-3611964 He puesto un robot a monitorizar el tiempo de ... \n", "18 l-3611945 Lidl gana la batalla a Thermomix por su robot ... \n", "19 l-3611941 Estrasburgo no admite a trámite la demanda de ... \n", "20 l-3611498 Fascinantes ilustraciones de los complejos sis... \n", "21 l-3611827 Construyen una réplica de un tricorder de Star... \n", "22 l-3611915 TODAS las Smart TV de LG se pueden hackear a t... \n", "23 l-3611830 Formulario contra el uso de Google en educación \n", "24 l-3611903 \"Nadie me advirtió de que la fiesta iba contra... \n", "\n", " resumen visitas comentarios \\\n", "0 Elena de Borbón y Grecia ha visto hoy, como ta... 151 13 \n", "1 Hace cuarenta años, un avión militar y otro ci... 13 853 \n", "2 Desde el pasado noviembre, España está exporta... 853 10 \n", "3 Al igual que los humanos, las frutas y las ver... 10 1k \n", "4 La Guardia Civil ha desmantelado una red dedic... 1k 36 \n", "5 El tenista Novak Djokovic compró el 80% de la ... 36 3.9k \n", "6 Alguien redescubrió una vieja y a la vez treme... 3.9k 35 \n", "7 Evitó que los bombardeos se cebasen en el tram... 35 539 \n", "8 The Flemish Scrollers es un sistema de softwar... 539 77 \n", "9 Durante la campaña de invierno de Napoleón de ... 77 727 \n", "10 El primer ministro británico, Boris Johnson, h... 727 149 \n", "11 Hace 2 años, un 767 de Air Canadá pasó varias ... 149 3k \n", "12 Seguimos hablando de estrenos en este año que ... 3k 47 \n", "13 \"Solaris (Солярис) es un telefilme de 1968 bas... 47 1.2k \n", "14 La Consejeríá de Economía acudió a la Audienci... 1.2k 36 \n", "15 La Sociedad Española de Neumología y Cirugía T... 36 1.2k \n", "16 Quejándose del dolor en el brazo izquierdo pro... 1.2k 35 \n", "17 He puesto un robot a monitorizar el tiempo de ... 35 2.6k \n", "18 La batalla de los robots de cocina da un giro.... 2.6k 103 \n", "19 El Tribunal Europeo de Derechos Humanos no ha ... 103 1.2k \n", "20 Nada es lo que parece, tampoco en la superfici... 1.2k 170 \n", "21 La primera versión que el YouTuber Mangy_Dog (... 170 3.3k \n", "22 Descubren una vulnerabilidad en todas las Smar... 3.3k 42 \n", "23 Dejo un formulario para negarse al uso del Goo... 42 1.7k \n", "24 Los periódicos del Reino Unido se están dando ... 1.7k 79 \n", "\n", " url \n", "0 https://www.meneame.net/m/ocio/elena-borbon-pr... \n", "1 https://www.meneame.net/m/cultura/larisa-savit... \n", "2 https://www.meneame.net/m/actualidad/carisima-... \n", "3 https://www.meneame.net/m/cultura/frutas-empie... \n", "4 https://www.meneame.net/m/actualidad/desmantel... \n", "5 https://www.meneame.net/m/actualidad/djokovic-... \n", "6 https://www.meneame.net/m/ciencia/vez-aquella-... \n", "7 https://www.meneame.net/m/cultura/anselmo-vila... \n", "8 https://www.meneame.net/m/politica/aprendizaje... \n", "9 https://www.meneame.net/m/cultura/no-no-fue-in... \n", "10 https://www.meneame.net/m/actualidad/boris-joh... \n", "11 https://www.meneame.net/m/actualidad/tension-s... \n", "12 https://www.meneame.net/m/tecnolog%C3%ADa/only... \n", "13 https://www.meneame.net/m/cultura/solaris-bori... \n", "14 https://www.meneame.net/m/actualidad/gobierno-... \n", "15 https://www.meneame.net/m/actualidad/peligro-f... \n", "16 https://www.meneame.net/m/ocio/desconocido-ten... \n", "17 https://www.meneame.net/m/tecnolog%C3%ADa/he-p... \n", "18 https://www.meneame.net/m/actualidad/lidl-gana... \n", "19 https://www.meneame.net/m/actualidad/estrasbur... \n", "20 https://www.meneame.net/m/Bot%C3%A1nica/fascin... \n", "21 https://www.meneame.net/m/tecnolog%C3%ADa/cons... \n", "22 https://www.meneame.net/m/tecnolog%C3%ADa/toda... \n", "23 https://www.meneame.net/m/actualidad/formulari... \n", "24 https://www.meneame.net/m/actualidad/nadie-adv... " ] }, "execution_count": 48, "metadata": {}, "output_type": "execute_result" } ], "source": [ "df" ] }, { "cell_type": "code", "execution_count": 49, "id": "6764bb32-1076-483c-af20-3861f4d4fbae", "metadata": { "scrolled": true, "tags": [] }, "outputs": [ { "data": { "text/plain": [ "0 3612189\n", "1 3612094\n", "2 3612066\n", "3 3611542\n", "4 3612015\n", "5 3612109\n", "6 3612042\n", "7 3612073\n", "8 3611688\n", "9 3611937\n", "10 3612050\n", "11 3611873\n", "12 3611731\n", "13 3611399\n", "14 3611896\n", "15 3611931\n", "16 3611973\n", "17 3611964\n", "18 3611945\n", "19 3611941\n", "20 3611498\n", "21 3611827\n", "22 3611915\n", "23 3611830\n", "24 3611903\n", "Name: 1, dtype: object" ] }, "execution_count": 49, "metadata": {}, "output_type": "execute_result" } ], "source": [ "# Extracción de las estadísticas\n", "# Empezamos con una noticia\n", "\n", "numnoticias = df['#noticia'].str.split('-', expand=True)[1]\n", "numnoticias" ] }, { "cell_type": "code", "execution_count": 60, "id": "d3bd2bf1-185b-421e-96fc-138e96f3e43c", "metadata": {}, "outputs": [], "source": [ "import json" ] }, { "cell_type": "code", "execution_count": 98, "id": "9e161748-372d-401f-80fa-271292460c76", "metadata": {}, "outputs": [], "source": [ "# Descargamos las estadísticas de la primera noticia\n", "driver.close()" ] }, { "cell_type": "code", "execution_count": 99, "id": "3cadca28-442b-4985-9c13-be03e7b4cb5e", "metadata": {}, "outputs": [], "source": [ "options = webdriver.ChromeOptions()\n", "options.add_argument('--remote-debugging-port=9515')\n", "#driver = webdriver.Chrome('./chromedriver.exe', options=options)\n", "driver = webdriver.Chrome('/usr/bin/chromedriver', options=options)\n", "url_ra = 'https://meneame.net/backend/karma-story.json?id=3612189'\n", "driver.implicitly_wait(3)\n", "driver.get(url_ra)" ] }, { "cell_type": "code", "execution_count": 123, "id": "d86a2387-df7d-4713-a550-9aa438262b82", "metadata": {}, "outputs": [ { "data": { "text/plain": [ "'[{\"label\":\"anonymous\",\"color\":\"#AFD8F8\",\"data\":[[1642622130000,\"2\"],[1642622404000,\"4\"],[1642622702000,\"5\"],[1642623003000,\"5\"],[1642623003000,\"5\"],[1642623019000,\"5\"]]},{\"label\":\"positives\",\"color\":\"#4DA74D\",\"data\":[[1642622130000,\"15\"],[1642622404000,\"19\"],[1642622702000,\"22\"],[1642623003000,\"27\"],[1642623003000,\"27\"],[1642623019000,\"27\"]]},{\"label\":\"negatives\",\"color\":\"#CB4B4B\",\"data\":[[1642622130000,\"0\"],[1642622404000,\"0\"],[1642622702000,\"0\"],[1642623003000,\"0\"],[1642623003000,\"0\"],[1642623019000,\"0\"]]},{\"label\":\"karma\",\"yaxis\":2,\"color\":\"#FF6400\",\"data\":[[1642622130000,263],[1642622404000,391],[1642622702000,412],[1642623003000,473],[1642623003000,473],[1642623019000,473]]},{\"label\":\"clicks\",\"yaxis\":2,\"data\":[[1642622130000,\"38\"],[1642622404000,\"46\"],[1642622702000,\"59\"],[1642623003000,\"66\"],[1642623003000,\"66\"],[1642623019000,\"66\"]]}]'" ] }, "execution_count": 123, "metadata": {}, "output_type": "execute_result" } ], "source": [ "# Obtención de los datos\n", "# Descarga\n", "descarga = driver.find_element_by_xpath('/html/body/pre').text\n", "descarga" ] }, { "cell_type": "code", "execution_count": null, "id": "037242cc-2c18-42c8-b872-7b7e13381df9", "metadata": {}, "outputs": [], "source": [ "json.loads()" ] }, { "cell_type": "code", "execution_count": 125, "id": "2087bb8e-78bc-4638-a38b-d0e2fd853534", "metadata": {}, "outputs": [ { "ename": "AttributeError", "evalue": "'str' object has no attribute 'astype'", "output_type": "error", "traceback": [ "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m", "\u001b[0;31mAttributeError\u001b[0m Traceback (most recent call last)", "\u001b[0;32m/tmp/ipykernel_294637/4232593006.py\u001b[0m in \u001b[0;36m\u001b[0;34m\u001b[0m\n\u001b[0;32m----> 1\u001b[0;31m \u001b[0mdescarga\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mdescarga\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mastype\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m'string'\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m 2\u001b[0m \u001b[0mdata\u001b[0m \u001b[0;34m=\u001b[0m\u001b[0;34m{\u001b[0m\u001b[0;34m}\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m 3\u001b[0m \u001b[0;32mwith\u001b[0m \u001b[0mopen\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m'descarga'\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m'w'\u001b[0m\u001b[0;34m)\u001b[0m \u001b[0;32mas\u001b[0m \u001b[0moutfile\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m 4\u001b[0m \u001b[0mjson\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mdump\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mdata\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0moutfile\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n", "\u001b[0;31mAttributeError\u001b[0m: 'str' object has no attribute 'astype'" ] } ], "source": [ "descarga = descarga.astype('string')\n", "data ={}\n", "with open('descarga', 'w') as outfile:\n", " json.dump(data, outfile)" ] }, { "cell_type": "code", "execution_count": 119, "id": "14682fdc-8bea-4f8f-8224-478aa4344506", "metadata": {}, "outputs": [], "source": [ "driver.find_element_by_xpath('/html/body/pre').get_attribute('word-wrap: break-word; white-space: pre-wrap;')" ] } ], "metadata": { "kernelspec": { "display_name": "Python 3 (ipykernel)", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.8.12" } }, "nbformat": 4, "nbformat_minor": 5 }