data/2018/06/05/apache-spark-sql-and-dataframe/

[zzsza]

data/2018/06/05/apache-spark-sql-and-dataframe/

[zzsza]

안녕하세요 포스팅 잘 읽었습니다.
혹시 바쁘지 않으시다면 질문드리고 싶은 부분이 있습니다.

TempView로 생성한 테이블 내의 값을 활용하여 제플린 코드가 반복적으로 돌릴 수 있을까요?

예를들어 원데이터에서 랜덤하게 몇개 행만 뽑아서 TempView로
v_1라는 테이블(key값에 따라 특정 컬럼 값이 중복되는 행을 보여주는 테이블)과
v_1_rate라는 테이블(위의 key값에 따라 특정 컬럼 값이 중복되는 행의 비율을 보여주는 테이블 / key컬럼과 v_1을 기반으로 계산된 rate(비율값) 컬럼 존재)을 만드는데,

여기서 v_1_rate 내의 rate(비율값)가 0.5 이상이면 TempView를 다시 생성하고 싶습니다.

제플린 내에서 %sql 을 쓰고 sql 문법으로 while 반복문을 실행하려고 했지만
완전히 똑같지가 않은지 에러가 뜨고

그렇다고 스칼라문법으로 반복문을 찾아봤지만, 이마저도 TempView를 통해 만든 테이블 내의 값을 활용할 수가 없어 헤매고 있습니다.

혹시 아시는 방법이 있을까요?

This comment was made by Disqus. 2020-03-10 05:45:01 재이Jay