개발하는 고양이 호랑이

import jsonlines with jsonlines.open(file_path) as f: for line in f.iter(): print(line) import json with open(file_path) as f: df = pd.DataFrame(json.loads(line) for line in f) jsonl to dataframe

4.1 임베딩이란? - 단어나 문장을 수치화해 벡터 공간으로 표현하는 과정. 다른 딥러닝 모델의 입력값으로 많이 사용됨. - 말뭉치의 의미에 따라 벡터화하기 때문에 문법적인 정보가 포함되어 있다. - 문장 임베딩과 단어 임베딩이 있다. - 문장 임베딩: 문장 전체를 벡터로 표현하는 방법. 전체 문장의 흐름을 파악해 벡터로 변환하기 때문에 문맥적 의미를 지니는 장점. 단어 임베딩에 비해 품질이 좋으며, 상용시스템에 많이 사용됨. 하지만 임베딩하기 위해 많은 문장 데이터가 필요하며 학습하는 데 비용이 많이 들어감. - 단어 임베딩: 개별 단어를 벡터로 표현하는 방법. 동음이의어에 대한 구분을 하지 않기 때문에 동일한 벡터값으로 표현되는 단점이 있음. 하지만 문장 임베딩에 비해 학습 방법이 간단해 실무에서 많..

https://youtu.be/v7diENO2mEA 마지막 프로젝트 할때 BART와 T5 사용했으므로 복기하려고 정리된 페이퍼 리뷰를 보았고, 정리해주신 내용 중에서 결론만 다시 요약정리해놓으려고 한다. XLNet : AE와 AR 방식을 모두 적용. Factorization order를 고려하여 AE와 AR의 한계를 모두 극복. RoBERTa : BERT를 optimize함. MASS : AE+AR. 여러가지 masking 방법. BART : MASS와 비슷. 다른 masking 방법. MT-DNN : multitask learning. 여러개의 task 자체를 pretraining 과정에서 학습함으로써 조금 더 robust한 모델 만듬. T5 : 모든 NLP task를 통합할 수 있도록 text-to-..

https://youtu.be/7E8l9ggxz-Q 강좌 따라하다가 패키지 적용하는 부분에서 Error: safety, because the following dependencies don't support null safety: 에러가 생겼는데 해결은 터미널에 flutter run --no-sound-null-safety 입력해주니까 되었음 참고: https://bacha.tistory.com/48 flutter - Toast Message [Toast Message] -> 토스트 메시지는 따로 외부 메서드를 import 하는 과정을 거쳐야 한다. -> pubspec 파일에서 -> 해당 위치에 fluttertoast: ^3.1.3 을 붙여넣는다. -> pubspec 파일은 들여쓰기에 상당히 예.. ba..

1차 수료식날. 우리팀 5명 + 다른 사람들까지 껴서 10명이서 술 많이 마셨다.. 수습한 사람들의 기억이 좋지 않아서 2차로 또 만남 지난주 금요일에 합정에서 만나서 맛있는 거 먹었다 (합정옥 곱창전골, 너랑나랑 오징어튀김) 공통의 소감은.. 별탈없이 무사히 한달간의 프로젝트 잘 끝내서 다행이라는 것이고 포폴 정리하면서 느낀건데 누가 정한건지(나임) 프로젝트 주제 잘 잡은 거 같다 뭐냐면 * 프로젝트 시연 영상 https://m.youtube.com/watch?v=i5SYENVIA4M 매일 뉴스 크롤링해온 것을 AWS DB에 저장해놓고 요약 모델(KoBART 파인튜닝함) 돌려서 나온 요약문을 읽어주는 스피커를 라즈베리파이4 사용해서 만들었다. 웹 화면도 만들었음. (포폴 페이지) .. 잘 마쳐서 좋고 ..

코딩셰프 https://youtu.be/MCrgcVL_T04 앱을 만들어보고 싶은데 전혀 지식이 없어서 뭘로 배워볼까 하다가 여러가지 이유로(가장 큰 이유는 쉬워서) flutter 선택. 강의 뭐가 좋은지 좀 헤매다가 코딩셰프님 강의 보고있는데 체계적으로 설명을 잘해주셔서 참 좋은 거 같다.

* pandas dataframe 생략 안되게 pd.set_option('display.max_colwidth', -1) * 다른 옵션들 pd.set_option('display.max_rows', 500) pd.set_option('display.max_columns', 500) pd.set_option('display.width', 1000)

auth 에러: test 사용자에 내 이메일 추가 3.9 version에서 일어나는 에러 https://github.com/snoack/python-goto/issues/35

https://laondev12.tistory.com/14 [Python] `pydot` failed to call GraphViz 해결 방안 keras를 가동중에 Graphviz를 이용해 그래프를 출력해야 하는데 아래와 같은 메세지를 뱉어내며 명령실행을 거부한다. OSError: `pydot` failed to call GraphViz.Please install GraphViz (https://www.graphviz... laondev12.tistory.com

(레파지토리는 여기) https://github.com/nojiyoon/movie-review 미니 프로젝트였고 영화 리뷰 감성분석하고 비슷한 리뷰 보여주고 영화 추천하는 서비스 만들었음. 배웠던 내용 활용한 거라 어려운 부분은 좀 적은 편이었고,, (유사도 분석은 TF-IDF랑 코사인 유사도 이용했고 감성분석은 LSTM, CNN, LSTM+CNN 모델 비교해서 성능 제일 좋은 게 CNN모델이었다 - 정확도 85.5%) 웹화면 구현하고(Django) 배포하는(AWS) 부분은 어려웠는데 완료했다! 배포는 처음이라 신기했음,, 팀원분들 빠짐없이 열심히 해주셔서 좋았당 이제 한달뒤 마지막 프로젝트만 남음! 화이팅화이팅..