# ファイル名を設定
file_name=oidlUtils.parameters.getParameter("FILE_NAME", "<アラートログファイル名>")

# オブジェクトストレージ情報
oci_bucket=oidlUtils.parameters.getParameter("OCI_BUCKET", "oci://<バケット名>@<ネームスペース名>")
oci_file_path = f"{oci_bucket}/{file_name}"

# アラートログ解析部分
from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, StringType
from pyspark.sql.functions import col,to_timestamp
import re

spark = SparkSession.builder.appName("OracleAlertLogParser").getOrCreate()

# ログファイル読み込み
lines_rdd = spark.read.text(oci_file_path).rdd.map(lambda r: r[0])

# 日時の正規表現
timestamp_pattern = re.compile(r"^[A-Z][a-z]{2} [A-Z][a-z]{2} \d{1,2} \d{2}:\d{2}:\d{2} \d{4}$")

# 日時とメッセージの抽出
def group_messages(lines):
    entries = []
    current_timestamp = None
    current_message = []

    for line in lines.collect():
        if timestamp_pattern.match(line):
            if current_timestamp:
                entries.append((current_timestamp, "\n".join(current_message)))
            current_timestamp = line
            current_message = []

        else:
            current_message.append(line)

    if current_timestamp and current_message:
        entries.append((current_timestamp, "\n".join(current_message)))
    return entries

# DataFrameに変換
grouped_rdd = spark.sparkContext.parallelize(group_messages(lines_rdd))
schema = StructType([
    StructField("timestamp", StringType(), True),
    StructField("message", StringType(), True)
])

df = spark.createDataFrame(grouped_rdd, schema)
spark.conf.set("spark.sql.session.timeZone", "Asia/Tokyo")
spark.conf.set("spark.sql.legacy.timeParserPolicy", "LEGACY")
df = df.withColumn("timestamp_dt", to_timestamp("timestamp", "EEE MMM dd HH:mm:ss yyyy"))

# 全件表示
df.show(truncate=False)

# カタログの作成
%sql
create schema if not exists ai_catalog.test1

# 置換後のタイムスタンプとメッセージのみ格納
df.select(
    col("timestamp_dt").alias("log_time"),
    col("message").alias("log_message")
).write.mode("overwrite").saveAsTable("ai_catalog.test1.db_alert")

# テーブルへ登録
df.select(
    col("timestamp_dt").alias("log_time"),
    col("message").alias("log_message")
).write.insertInto("ai_catalog.test1.db_alert")

# 登録されたことを確認
%sql
select * from ai_catalog.test1.db_alert where log_message like '%ORA-%';

from pyspark.sql.functions import col
from pyspark.sql.functions import to_date
error_df = df.filter(col("message").contains("ORA-"))
error_df = error_df.withColumn("error_date", to_date("timestamp_dt"))
error_counts = error_df.groupBy("error_date").count().orderBy("error_date")
error_counts.show(truncate=False)

!pip install matplotlib
import matplotlib.pyplot as plt
pdf = error_counts.toPandas()

pdf.plot(x="error_date", y="count", kind="bar", figsize=(12,6), title="ORA ERROR COUNT")
plt.xlabel("DATE")
plt.ylabel("ERROR COUNT")
plt.tight_layout()
plt.show()

Oracle導入を相談する›