【初心者必見】競馬AI予測モデルをゼロから作成！簡単ステップとコードを大公開！-前編

class RaceResultsScraper:
    @staticmethod
    def fetch_race_data(race_id_list):
        race_results = {}

        for race_id in race_id_list:
            time.sleep(1)  # リクエスト間隔を確保
            race_id = str(race_id)
            url = f"https://db.netkeiba.com/race/{race_id}"
            response = requests.get(url)
            response.encoding = "EUC-JP"

            # DataFrameの読み込みと列名の修正
            try:
                df = pd.read_html(response.text)[0]
                df.columns = df.columns.str.replace(' ', '')  # 半角スペースの削除
            except ValueError:
                print(f"Failed to retrieve data for race_id: {race_id}")
                continue  # エラーハンドリング: DataFrameの取得に失敗した場合

            # BeautifulSoupでHTMLを解析
            soup = BeautifulSoup(response.text, "html.parser")

            # 馬IDの取得
            horse_id_list = []
            try:
                race_table = soup.find("table", summary="レース結果")
                horse_links = race_table.find_all("a", href=re.compile("^/horse"))
                for a in horse_links:
                    horse_id = re.findall(r"\d+", a["href"])
                    horse_id_list.append(horse_id[0])
            except AttributeError:
                print(f"Failed to retrieve horse data for race_id: {race_id}")
                continue  # エラーハンドリング: 馬IDの取得に失敗した場合

            df["horse_id"] = horse_id_list
            df.index = [race_id] * len(df)
            race_results[race_id] = df

        # 全てのレース結果を一つのDataFrameにまとめる
        race_results_df = pd.concat(race_results.values())
        return race_results_df

class HorseResultsScraper:
    @staticmethod
    def horse_race_data(horse_id_list):
        horse_results = {}


        for horse_id in horse_id_list:
            time.sleep(1)  # リクエスト間隔を確保
            horse_id = str(horse_id)
            url = f'https://db.netkeiba.com/horse/{horse_id}'
            response = requests.get(url)


            # DataFrameの読み込み
            try:
                df = pd.read_html(response.content)[3]
                # 受賞歴がある場合のテーブル切り替え
                if df.columns[0] == '受賞歴':
                    df = pd.read_html(response.content)[4]
            except (ValueError, IndexError):
                print(f"Failed to retrieve data for horse_id: {horse_id}")
                continue  # エラーハンドリング: DataFrameの取得に失敗した場合


            # BeautifulSoupで血統表データの取得
            try:
                soup = BeautifulSoup(response.content, "html.parser")
                blood_a_list = soup.find(class_="blood_table").find_all(
                    "a", href=re.compile("/horse/ped/")
                )
            except AttributeError:
                print(f"Failed to retrieve blood data for horse_id: {horse_id}")
                continue  # エラーハンドリング: 血統情報の取得に失敗した場合


            df.index = [horse_id] * len(df)
            horse_results[horse_id] = df


        # 全ての馬のレース結果を一つのDataFrameにまとめる
        horse_results_df = pd.concat(horse_results.values())
        return horse_results_df