XBP

Yahooニュースを持ってくるプログラム

プログラムコード


                import requests
                from bs4 import BeautifulSoup
                import urllib
                import codecs
                
                #yahooから情報を持ってきます
                url = "https://www.yahoo.co.jp/l"
                html = requests.get(url)
                soup = BeautifulSoup(html.content,"html.parser")
                
                #filenameを定義しテキストファイルとして書き込みます
                filename = "linklist.text"
                with open(filename,"w", encoding="utf-8") as f:
                
                     #中身。_2DunygeBZHdgHX_Gih3GC4ていうクラスのリンクとテキストを持ってくる指示。
                    topic = soup.find(class_="_2DunygeBZHdgHX_Gih3GC4")
                    for element in topic.find_all("a"):
                        print(element.text)
                        url2 = element.get("href")
                        link_url = urllib.parse.urljoin(url,url2)
                        f.write(element.text+"\n")
                        f.write(link_url+"\n")
                        f.write("\n")

プログラムの意図について

Yahooのサイトから今日のニュースを引っ張ってくるプログラムです。テキストファイルに見出しとURLがまとめられます。YahooのURLさえあれば開く必要がありません。