hossam 패키지

hossam

load_info

load_info(search=None, local=None)

메타데이터에서 사용 가능한 데이터셋 정보를 로드한다.

Parameters:

Name	Type	Description	Default
search	str	이름 필터 문자열. 포함하는 항목만 반환.	None
local	str	로컬 메타데이터 경로. None이면 원격(BASE_URL) 사용.	None

Returns:

Name	Type	Description
DataFrame	DataFrame	name, desc, url 컬럼을 갖는 테이블

Examples:

from hossam import *
info = load_info()
list(info.columns) #['name', 'desc', 'url']

Source code in hossam/hs_util.py

def load_info(search: str | None = None, local: str | None = None) -> DataFrame:
    """메타데이터에서 사용 가능한 데이터셋 정보를 로드한다.

    Args:
        search (str, optional): 이름 필터 문자열. 포함하는 항목만 반환.
        local (str, optional): 로컬 메타데이터 경로. None이면 원격(BASE_URL) 사용.

    Returns:
        DataFrame: name, desc, url 컬럼을 갖는 테이블

    Examples:
        ```python
        from hossam import *
        info = load_info()
        list(info.columns) #['name', 'desc', 'url']
        ```
    """
    global BASE_URL

    path = None

    if not local:
        data_path = join(BASE_URL, "metadata.json").replace("\\", "/")

        with requests.Session() as session:
            r = session.get(data_path)

            if r.status_code != 200:
                raise Exception("[%d Error] %s ::: %s" % (r.status_code, r.reason, data_path))

        my_dict = r.json()
    else:
        data_path = join(local, "metadata.json")

        if not exists(data_path):
            raise FileNotFoundError("존재하지 않는 데이터에 대한 요청입니다.")

        with open(data_path, "r", encoding="utf-8") as f:
            my_dict = json.loads(f.read())

    my_data = []
    for key in my_dict:
        if 'index' in my_dict[key]:
            del my_dict[key]['index']

        my_dict[key]['url'] = "%s/%s" % (BASE_URL, my_dict[key]['url'])
        my_dict[key]['name'] = key

        my_data.append(my_dict[key])

    my_df = DataFrame(my_data)
    my_df2 = my_df.reindex(columns=['name', 'desc', 'url'])

    if search:
        my_df2 = my_df2[my_df2['name'].str.contains(search.lower())]

    return my_df2

load_data

load_data(key, local=None, view_url=False)

키로 지정된 데이터셋을 로드한다.

Parameters:

Name	Type	Description	Default
key	str	메타데이터에 정의된 데이터 식별자(파일명 또는 별칭)	required
local	str	로컬 메타데이터 경로. None이면 원격(BASE_URL) 사용.	None
view_url	bool	URL을 출력할지 여부. Defaults to False.	False

Returns:

Type	Description
Optional[DataFrame]	DataFrame | None: 성공 시 데이터프레임, 실패 시 None

Examples:

from hossam import *
df = load_data('AD_SALES')  # 메타데이터에 해당 키가 있어야 함

Source code in hossam/hs_util.py

def _load_data_remote(key: str, local: str | None = None, view_url: bool = False) -> Optional[DataFrame]:
    """키로 지정된 데이터셋을 로드한다.

    Args:
        key (str): 메타데이터에 정의된 데이터 식별자(파일명 또는 별칭)
        local (str, optional): 로컬 메타데이터 경로. None이면 원격(BASE_URL) 사용.
        view_url (bool, optional): URL을 출력할지 여부. Defaults to False.

    Returns:
        DataFrame | None: 성공 시 데이터프레임, 실패 시 None

    Examples:
        ```python
        from hossam import *
        df = load_data('AD_SALES')  # 메타데이터에 해당 키가 있어야 함
        ```
    """
    index = None
    try:
        url, desc, index, metadata = __get_data_url(key, local=local)
    except Exception as e:
        try:
            print(f"\033[91m{str(e)}\033[0m")
        except Exception:
            print(e)
        return

    #print("\033[94m[data]\033[0m", url.replace("\\", "/"))
    #print("\033[94m[desc]\033[0m", desc)
    print(f"\033[94m📚 {desc}\033[0m")

    if view_url:
        print(f"\033[94m🌐 URL: {url}\033[0m")

    df = None

    try:
        df = __get_df(url, index_col=index)
    except Exception as e:
        try:
            print(f"\033[91m{str(e)}\033[0m")
        except Exception:
            print(e)
        return

    if metadata:
        meta_df = DataFrame(metadata.items(), columns=['field', 'description'])
        print("")
        pretty_table(meta_df)
        print("")

    return df