Diferencias

Muestra las diferencias entre dos versiones de la página.

--- python:webscraping [2024/02/05 18:20] – [Módulo bs4] alberto
+++ python:webscraping [2024/02/05 19:00] (actual) – [Encontrar elementos] alberto
@@ Línea 110: / Línea 110: @@
 También puede usarse el parseador 'lxml', más rápido que el que viene integrado en python. PAra ello hay que instalar el módulo lxml con el comando //pip install --user lxml//.
+==== Encontrar elementos ====
+Para identificar los elementos que interesen en el HTML, usaremos los selectores CSS. \\
+Para obtener estos elementos usaremos el método **.select()**\\
+{{ :python:selectores_bs4.png?500 |}}
+Se pueden utilizar varios patrones de selectores para realizar búsquedas más sofisticadas, por ejemplo: //soup.select('p #author')// \\
+El método **.select** devuelve una lista de objetos tipo //tag//, que es como BeautifulSoup representa los elementos HTML.  Pueden ser pasados a string sin problemas con la función str(). \\
+Los elementos tipo "tag", además tienen un atributo **.attrs**, que muestra los atributos HTML del elemento como un variable tipo diccionario.\\
+También es posible obtener el texto que se encuentra asociado a un elemento HTML (el que aparece en la web) a través del método **.getText()**.
+Suponemos el siguiente código HTML
+<code html>
+<!-- This is the example.html example file. -->
+<html><head><title>The Website Title</title></head>
+<body>
+<p>Download my <strong>Python</strong> book from <a href="https://
+inventwithpython.com">my website</a>.</p>
+<p class="slogan">Learn Python the easy way!</p>
+<p>By <span id="author">Al Sweigart</span></p>
+</body></html>
+</code>
+Podemos buscar elementos del siguiente modo, directamente en la terminal de python:
+<code python>
+>>> import bs4
+>>> exampleFile = open('example.html')
+>>> exampleSoup = bs4.BeautifulSoup(exampleFile.read(), 'html.parser')
+>>> elems = exampleSoup.select('#author')
+>>> type(elems) # elems is a list of Tag objects.
+<class 'list'>
+>>> len(elems)
+>>> type(elems[0])
+<class 'bs4.element.Tag'>
+>>> str(elems[0]) # The Tag object as a string.
+'<span id="author">Al Sweigart</span>'
+>>> elems[0].getText()
+'Al Sweigart'
+>>> elems[0].attrs
+{'id': 'author'}
+>>> pElems = exampleSoup.select('p')
+>>> str(pElems[0])
+'<p>Download my <strong>Python</strong> book from <a href="https://
+inventwithpython.com">my website</a>.</p>'
+>>> pElems[0].getText()
+'Download my Python book from my website.'
+>>> str(pElems[1])
+'<p class="slogan">Learn Python the easy way!</p>'
+>>> pElems[1].getText()
+'Learn Python the easy way!'
+>>> str(pElems[2])
+'<p>By <span id="author">Al Sweigart</span></p>'
+>>> pElems[2].getText()
+'By Al Sweigart'
+</code>
+==== Obtener datos de atributos de elementos ====
+Para obtener fácilmente los valores de los atributos de un elemento (objeto tipo tag), podemos usar el método **get()**. Se le pasa el string del nombre de un atributo, y devuelve su valor. Vemos un ejemplo en la consola de Python:
+<code python>
+>>> import bs4
+>>> soup = bs4.BeautifulSoup(open('example.html'), 'html.parser')
+>>> spanElem = soup.select('span')[0]
+>>> str(spanElem)
+'<span id="author">Al Sweigart</span>'
+>>> spanElem.get('id')
+'author'
+>>> spanElem.get('some_nonexistent_addr') == None
+True
+>>> spanElem.attrs
+{'id': 'author'}
+</code>
 ===== Módulo selenium =====