Jump to content

beTITAN 검색하기

'파이썬 자동화 교과서' 태그 검색 결과.

  • 태그로 검색

    여러개 태그를 사용 할 때 쉼표로 태그를 구분하실 수 있습니다.
  • 글 작성자를 지정해서 검색하기

콘텐츠 타입


블로그

  • Key 타이탄 되기 데일리 블로그
  • James의 제텔카스텐 투자 노트
  • CMDS 타이탄의 실오라기 연구실
  • chatGPT 커뮤니티
  • 이태극의 세컨드브레인
  • 깁고 더하는 지식 노동자
  • 트렌드세터 (프로덕트 메이커)
  • Key의 Vitamin M 전문 스마트 스토어
  • 사색가 이태극
  • 읽기와 쓰기
  • 브라이언의 삶의 GPS 마스터하기
  • 작가와 러닝앤그로스
  • 분석맨의 '두 번째 뇌'
  • Saisiot’s Laboratory
  • 반을의 작업실 Baneul's Atelier
  • 반짝이는 매일, Twinklekris.
  • 달나라
  • 방해받지 않는 삶

beTITAN 커뮤니티

  • beTITAN 타이탄 되기 커뮤니티
    • 공지 및 이용 안내 Tip
    • beTITAN 기간 한정 공개 게시물
    • [회원 전용] 묻고 답하기 질답 게시판
    • [회원 전용] 화기애애 자유 게시판
  • beTITAN 주제별 + 목적별 타이탄 되기 프로젝트
    • 스마트하게 + 세련되게 + 명료한 일잘러 되기
    • 글로벌 셀러를 위한 D2C 및 브랜드
    • AI 알고리즘 트레이딩, 아캔락

키워드 검색 범위

검색어 포함 여부


작성일 기준

  • 시작

    종료


수정일 기준

  • 시작

    종료


Filter by number of...

회원 가입

  • 시작

    종료


회원 그룹


소개글


가장 많이 쓰는 생산성 앱

2 개의 검색 결과를 찾았습니다.

  1. 파이썬 스터디 클럽을 해보고 싶었다. 개인적으로 파이썬은 4년 정도 아주 코어하게 가지고 놀아서, 스터디를 리드해도 큰 무리가 없을꺼 같았다. 아이디어를 확장하고, 한계를 깨면, 파이썬과 약간의 다른 도움들(다른 기술들, 언어, 플랫폼, 노코드툴 등)을 통해 실제 상용 서비스를 만들 수 있다는걸 알려주고 싶었다. 그래서 틈틈히 스터디 준비를 하면서, 내가 모범이 될 수 있게끔, 이런 저런 만들 준비를 미리 하고 있었다. 관련 메모들이 상당히 많았다. 아마 틈틈히 책을 읽다가 조금씩 작성한 듯 싶다. + 문제: 북미 지역 B2B 세일즈를 위해 어떻게 데이터를 빠르게 수집할 수 있을까? 어떻게 해결할 수 있을까: 구글 로컬 데이터에서 내가 원하는 키워드로 나오는 비즈니스 정보를 스크랩핑 하자. 첫걸음: 스크랩핑 스크립트를 만들자. 고민하다가 깨달은 사실: 구글 로컬 데이터만으로는 내가 원하는 Email 등의 컨택 정보를 수집하기가 어렵다. 유저 페르소나 1: 한국의 제조 또는 브랜드 기업 > 현재 B2B로 북미 시장 진출을 시도 중인데 여러가지 이유로 쉽지 않음 유저 페르소나 2: 브랜드 오너, 아마존 셀러 > 아마존 판매만으로 충분치 않다. 관련 스토어들에 물건을 도매로 공급할 수 있는 방법이 없을까? 유저 페르소나 3: KOTRA, KITA 등 무역 협회 > 카테고리별 리드 데이타를 확보해놓고 있다면, 회원사 또는 중소기업의 해외 판로 개척을 좀 더 쉽게 개척할 수 있지 않을까? 만약 유저가 원하는 리테일 매장들 이메일 주소 몇천개를 빠르게 수집하는 방법이 있다면 어떨까? 그리고 OpenAI의 GPT API를 이용해서 개인화된 세일즈 Cold Mail을 작성해서 보낸다면 실제 유저 기업의 B2B 어카운트(고객)로 만들 수 있지 않을까? 컨택한 몇 천개에서 1% 만이라도 주기적으로 거래가 일어난다면, 그렇게 수출된 물건들이 미국에 있는 여러 매장(중소형 체인 스토어 또는 로컬 Boutique 사이즈 스토어들)에 디스플레이되고 팔린다면?! + 파이썬 자동화 교과서 스터디 모임에서 구글 로컬 정보에서 필요한 정보들을 자동으로 모을 수 있는 툴을 만드는걸로 결정했다. 필요성을 느낀 지점들이 명확했었는데, 작은 규모의 브랜드 오너 또는 KOTRA나 KITA 등에 조언을 드를때면 늘상 겪는 일들. 가령 예를 들면, A 대표님이 개발한 브랜드와 런칭한 제품이 있었는데, 이 제품의 경우 완성도 등에 비해 판매가 잘 되지 않았다. 상품의 완성도와 가격 등은 괜찮은데(오히려 너무 저가에 판매한다고 생각이 들었다.) 실제 판매는 크지 않았다. 나는 개인적으로 이 제품의 컨셉이 너무 앞서 나갔거나, 아마존이라는 플랫폼과 맞지 않는다는 생각을 했었다. 분명 몇년 뒤 A 대표님의 제품과 유사한 제품들이 대중화 될 거라고 생각한다. 어쨌든, 판매 채널이 아마존에 국한되어 있었던 상황이었고 판매는 업앤다운이 있었지만, 성장보다는 하락쪽에 가까웠다. 이런 상황을 타개하고자, B2B 세일즈(도매 영업)를 해보면 좋겠단 생각을 했고, A 대표님에게 일반적인 미국에서의 B2B 세일즈를 위한 여러가지 내용들에 대해 설명을 드렸던 적이 있었다. 사실 미국에서 성공적인 B2B 세일즈 판로 개척을 위한 방법들에서 새로운 건 없다. 1. 쇼에 참가하기 – 제품에 맞는 Magic Show, NY Now, IBS 같은 쇼에 참가해서 바이어들을 직접 만나고 어카운트도 열고 주문도 받는 방법 – 이 경우 가져간 제품을 쇼가 진행되는 2~4일동안 다 판매하면 성공적이다 평가할 수 있다. 15년 전만해도 이렇게 많이 했었다. 지금도 여전히 유효한 전략이다. 예전만큼은 아니지만, 특히 코로나 팬데믹 동안 쇼가 열리지 못했고 이미 10년 정도 전부터 남미나 유럽 바이어의 유입은 이미 줄어든 상태이긴 하다. 2. 세일즈 랩을 이용하는 방법 – 미국이 원체 땅이 넓어서 보통, 미국에서는 각 지역별 세일즈 조직을 운영하는데, 이런 세일즈 팀을 모두 회사에서 직접 운영하는 경우도 있지만 그렇지 않은 경우도 많다. 세일즈 팀을 회사에서 직접 운영하는 경우는 세일즈맨들이 주기적으로 자신이 담당하는 지역으로 출장을 다니는 형식이다. 세일즈 랩은 이런 세일즈 팀의 업무 자체를 외주를 주는거라고 생각하면 된다. 이런 외부 세일즈 랩의 장점은 이미 자신이 커버하는 지역에 대한 높은 이해와 수십년간 형성된 자체적인 인적 세일즈 네트워크를 가지고 있는 경우가 많기 때문에, 특히 효과적이다. 내가 아는 몇몇 곳들은 3대째 세일즈랩을 하는 경우들도 있다. 그니까 그 친구의 아버지에게 사업을 물려받고 아들에게 회사를 물려주는 경우. 3. 그 다음 방법이 온라인쪽인데, 가장 대표적인 방법이 RangeMe, Wholesale Central 등의 플랫폼에 들어가는 방법이다. 기본적인 회사 정보와 제품 정보 등을 리스팅 해둔 후 바이어들이 해당 플랫폼에 내 제품을 찾아서 연락 오길 기다리는 방법인데, 활용 방법에 따라 차이는 있겠지만 가격 대비 효과는 나쁘진 않다. 다만 초기에 몇천불의 비용이 발생한다. 그리고 모든 플랫폼이 그렇듯 기본적인 리스팅만으론 부족하고 효과적으로 Show up을 잘 해야 한다. 예산이 있다면, 사실 기본적으로 온라인 도매(홀세일) 채널은 깔고 들어가는 것이 좋다. 4. 부트스트랩핑적인 방법이 이제 하나 남았다. 부트스트랩핑은 현재 상황에서 어떻게든 한다는 의미이다. 즉 비용 등은 거의 발생하지 않지만 자신을 갈아 넣어야 한다. 내가 파이썬으로 해결하고자 하는건 이 4번에 해당되는 내용이다. 자 이제부터 4번에 대해서 좀 더 자세하게 알아보자. 1번과 2번은 진행하기 위해 사실 준비해야 할 내용이 많다. 특히 과거 수많은 회사들이 놀랍게도 1번 형태였고 크게 성공을 하곤 했다. 가령, 한국에서 스카프를 제조하고 미국에서 브랜드 + 회사 설립 후 세일즈를 통해 B2B 어카운트들(미국에 있는 수많은 리테일 매장들)을 확보해서 안정적으로 제품을 공급하는 것. 이게 다였다. 쇼에 맞춰 신제품을 선보이고, 후속 작업으로 기존 어카운트들에 제품 소개 > 주문 접수 > 납품 등의 주기에 맞춘 사업. 지금은 온라인의 영향으로 난이도가 상승했지만 여전히 제품만 괜찮다면, 아직도 단계별로 쉽게 성공할 수 있다. 보통은 1번으로 진행하면서 회사가 성장하면 2번을 도입하게 된다. 자체 세일즈든 세일즈랩을 운영하든. 그렇지만 처음부터 많은 자본이 필요하다. 부트스트랩핑엔 맞지 않다. + 내가 A 대표님이 되어보자. 최대한 비용을 줄이면서 B2B 영업을 위한 방법을 떠올려보자. 3번은 물론 예산에 여유가 있다면 시도해볼만 하다. 보통 연간 단위 계약을 했을 때 $2,000 ~ $3,000 정도를 들여서 일년간 해당 B2B 플랫폼 등을 이용해볼 수 있다. 내 경험으로 RangeMe는 양질의 리테일러, 메이저 리테일러, 각 지역의 중소규모 프랜차이즈 등의 리드를 모을 수 있다. 그리고 먼저 연락을 해오는 방식이라 리드의 엑티비티나 퀄러티도 나쁘진 않다. 물건 쉽핑이 레디가 된 상태라면 소량으로 홀세일 주문을 받아 처리하기엔 Faire도 나쁘진 않다. 수수료 정책도 나쁘진 않다. 특히 내 리드를 Faire를 통해 거래할 경우 수수료 전체를 리펀드 해준다. 생각해보면 Faire 입장에도 나쁘지 않다. 자사 플랫폼을 실제 이용할 수많은 비즈니스들을 자사 플랫폼으로 유입시키는 거니까… 아예 비용적인 에산이 빠듯할 경우는 어쩔 수 없다. 내 시간을 갈아 넣어야 한다. 이게 바로 4번에 해당되는 내용인데, 어떻게 하면 될까? 우선 B2B용 카달로그 또는 브로셔를 만든다. 메일침프 어카운트를 개설한다. 무료 버전도 있다. 그리고 내 타겟 고객들의 컨택 정보를 수집한다. 이 경우는 이메일로 수집을 한다. 1번과 2번은 그래도 쉽게 할 수 있다. 문제는 3번인데, 데이터 수집이 쉽지 않다. 링크드인 등에서 데이터 수집을 하는 방법이 있는데, 내 계정에 문제가 생기거나(어카운트가 Lock 되는 등) 한국에 있다면, 제대로 하기에 제약이 좀 있다. 내가 A 대표님에게 추천한 방법은 지역을 정한 후 해당 지역의 구글 로컬 정보를 통해 데이터를 수집하는 방식이었다. 가령 내가 Pet 용품 브랜드와 몇가지 제품이 있을 때, Los Angeles 부터 Pet관련 리테일 스토어를 구글 맵에서 찾아 데이터를 수집하는 방법이다. 그러면서 지역을 넓혀 나가는 방식인데, 이게 아무리 부트스트랩핑이라고 해도 정말 시간 등이 많이 소요되는 노가다 작업이라 쉽지 않다. A 대표님은 실제로 몇백개의 데이터를 수집했고 몇차레 이메일 마케팅을 했고, 유의미한 응답을 받기도 했다. 그렇지만 결과적으로 이 접근 방법도 실패로 결론을 내렸다. 내 입장에서 실패의 원인은 데이터 수집의 한계였다. 일반적인 B2B 세일즈, 특히 상품을 제안하는 경우의 컨버전 Rate은 극히 낮을수 밖에 없는데, 수집한 데이터가 몇백건일 경우, 이 전환율은 더 낮아질 수 밖에 없다. 특히 지역마다 제품이 먹히는 경우와 먹히지 않는 경우도 있는데, 처음 지역을 잘못 잡은 경우 아예 반응이 없을수도 있다. 내가 생각한 문제는 바로 이 지점이었다. 4번의 방법에서, 데이터 수집의 어려움과 한계 이걸 해결할 수 있는 방법에 대해서 고민하고 이걸 스터디 모임에서 어떻게 해결하는지 보여주면 참여한 분들에게 많은 도움이 될 수 있을거 같다. 개발과 사업적인 부분에 대해서도 자연스럽게 그리고 지루하지 않게 흥미 진진하게 이야기를 풀수 있을꺼 같았다. 이 한줄을 쓰기 위해 너무 서론이 길었다. 만약 Google 지도의 로컬 비즈니스 데이터에서 내가 타겟팅하는 비즈니스들의 연락처들을 CSV / XLSX / JSON 파일 등으로 가공해준다면 어떨까? 가령 Pet Store들만의 정보를 모은다든지 등등 이메일, 전화번호, 소셜 프로필을 찾아서 스스로 정리해준다면 어떨까? 만약 이런 정보를 제공할 수 있다면, 누군가에게 큰 가치를 줄 수 있는 서비스가 될 수 있지 않을까? 이런 생각에 현재 2주 정도 틈틈히 개발을 진행했다. 그리고 언제나 그렇듯이 난관에 봉착했다. 구글 맵에 있는 비즈니스 정보만으로는 전화번호를 제외한 다른 컨택 정보 수집이 힘들다는, 내게 필요한건 온라인으로 연락할 수 있는 컨택 정보 즉, 이메일이나 소셜 프로필의 메신저 같은건데 스터디 공지를 해야 하는데, 큰 일이다.
  2. 1편 글과 이어진 내용 역시 마찬가지로 준비 과정에서 틈틈히 작성한 연결된 메모들을 정리 사실 미국에는 리드만을 수집하는 많은 회사들이 있다. 특히, 보험 업계의 경우 경쟁이 심한데, 리드 퀄러티에 따라 하나당 리드 가격이 (독점 제공인 경우) 몇백불인 경우도 있다. + 정보 제공 사이트 만들었다가 리드 팔았던 이야기 1. 오바마 케어 시행 전, 미국 보험 비교 평가 사이트를 만들어서 온라인에 올려둔 적이 있었다. 2. 보험에 대대 유대인 친구들의 생각을 들었던 적이 있는데, 유대인은 아이가 태어나면 보통 조부모가 아이들의 보험을 선물로 들어준다고 한다. 어린 아이기 때문에, 낮은 보험료로 계약할 수 있다는 장점 외에, 그 아이가 자라 묵돈이 필요할 때 그 보험에 쌓인 돈을 무이자 대출로 꺼내 쓸 수 있어서 아주 요긴하다고 한다. 그니까 태어나자마자 보험을 들고, 묵돈이 필요한 20대 중반에 그 보험에 쌓인 돈을 무이자로 꺼내 쓸 수 있는거고, 형제 자매가 많은 경우 누가 하나 뭘 하겠다고 하면 그 돈을 꺼내 도와준다고 한다. 3. 어떻게 저 친구는 20대 중반의 나이에 사업을 시작했지?라는 생각을 하면서, 부모가 돈이 많아서 도와줬겠지라는 생각을 했는데, 그 친구 말로는 자기 역시 그렇게 사업을 시작한 경우라고 얘기를 들려줬다. 4. 이런 얘기를 파이낸스 관점에서 적은 몇개의 글들과 다양한 보험 상품에 대해 사람들이 오해할만한 내용들을 한글로 작성해서 운영헀다. 5. 그 때 우리도 (이미 좀 늦었지만) 아이들 셋을 모두 보험 가입을 했고, 부모가 아이들 보장 금액 이상의 보험이 반드시 있어야 한다는 것도 끔찍한 배경 이야기와 함께 듣게 되었다. 6. 그런데 그 사이트가 금방 화제가 되었고 미국에 거주하는 교민들 사이에서 입소문이 나기 시작했다. 7. 어쩌면 당연했다. 당시만 해도 한국어로 된 보험 관련 콘텐츠가 많이 없었으니까. 8. 그러던 어느 날부터, 여기 저기 보험회사에서 연락이 오기 시작했다. 리드폼을 달고, 그 리드를 자기들에게 팔라는 연락이었다. 9. 콘텐츠의 힘이었을까? 리드 폼(아주 간단한 리드 폼이었다. 실제 보험 전문가에게 상담을 받으라는 내용과 함께 이름과 연락처, 흡연 여부를 묻는 정도)으로 연락들이 들어오기 시작헀다. 10. 대형 보험회사의 한 에이전트에게 해당 리드들을 독점적으로 제공하기로 계약을 했다. 11. 그 이후 몇가지 항목을 추가했는데, 그 때 리드 하나당 가격을 몇백불로 인정해줬다. 12. 이 때 이게 특별한게 아니라 리드 비즈니스에서 일반적인 가격대(후하지도 모자라지도 않는 적정 수준의 가치)라는 것도 알게 되었다. 13. 오바마 케어가 시행되면서 사이트는 더 트래픽이 몰렸고, 큰 금액은 아니었지만 좋은 조건으로 매각했었다. 14. 생각해보면, 이런 정보 제공 사이트를 만든 후 검색 엔진 최적화를 하고 리드 생성 엔진을 달면 언제든 매수자는 나올 법 싶다. 이런 모델에서 발전한게 Thumbtack 같은 곳들이 아닐까? 15. 특히 니치한 마켓은 정보 불균형이 심한 곳들이 아직도 많기 때문에, 여전히 이 방법은 유효한거 같다. 16. 구글 검색을 했을 때, 나오는 보험 비교 사이트들이 대부분 리드 수집 회사이다. 17. 구글에서 검색 광고 키워드가 비싼 몇몇 키워드 중 하나가 보험이다. + 리드 수집에 있어서 중요한 2가지 어쨌든 리드를 찾고 데이터로 가공하기 위해서는 몇가지 중요한 기본들이 있다. 목표 시장을 식별하는 것과 잠재 고객을 식별하고 나열하는 것. 내가 파이썬 스터디 모임에서 풀고자 했던 문제의 경우를 다시 생각해보자. 대부분의 데이터를 구글 맵에서 검색해서 찾을 수 있다. 목표 시장별 검색 결과로 잠재 고객을 식별해낼 수 있다. 가령, 내가 친환경 일회용 식기류 제조사 또는 브랜드일 경우 구글맵에서 손쉽게 내 잠재 고객들을 식별할 수 있다. Chinese Restaurants 등이 적절한 목표 시장이 될 수 있다. 마찬가지로 스파 용품을 판매 중이라면, 구글 맵에서 마찬가지로 스파들만을 찾아낼 수 있다. 이렇게 찾은 결과는 이미 구글에서 식별되고 나열된다. 이 데이터들을 CSV 파일 등으로 보기 쉽게 가져오는게 우선은 첫번째 단계다. 구글 Map 데이터를 빠르게 실시간으로 패치할 수 있도록 API는 만들었고 잘 작동되는걸 확인했다. 결과값은 맘에 든다. [ { "name": "National Museum of the American Indian", "full_address": "1 Bowling Green, New York, NY 10004", "borough": "Manhattan", "street": "1 Bowling Green", "city": "New York", "postal_code": "10004", "country_code": "US", "country": "United States of America", "us_state": "New York", "state": "New York", "plus_code": null, "latitude": 40.7039861, "longitude": -74.01368889999999, "time_zone": "America/New_York", "site": "http://www.americanindian.si.edu/", "phone": "+1 212-514-3700", "type": "National museum", "subtypes": "National museum, Tourist attraction", "posts": null, "rating": 4.4, "reviews": 3684, "reviews_data": null, "photos_count": 19359, "google_id": "0x89c25a13ea8996f7:0x8891204f43265340", "place_id": "ChIJ95aJ6hNawokRQFMmQ08gkYg", "reviews_link": "https://search.google.com/local/reviews?placeid=ChIJ95aJ6hNawokRQFMmQ08gkYg&q=museums+near+New+York,+NY,+USA&authuser=0&hl=en&gl=US", "reviews_id": "-8606061888127216832", "photo": "https://lh5.googleusercontent.com/p/AF1QipM-H0FWxL1FhlJQBJ7X3-D3VDrySvJenqzEuGhS", "working_hours": { "Monday": "10AM–5PM", "Tuesday": "10AM–5PM", "Wednesday": "10AM–5PM", "Thursday": "10AM–8PM", "Friday": "10AM–5PM", "Saturday": "10AM–5PM", "Sunday": "10AM–5PM" }, "business_status": "CLOSED_TEMPORARILY", "about": { "Accessibility": { "Wheelchair accessible elevator": true, "Wheelchair accessible restroom": true, "Wheelchair accessible parking lot": false } }, "range": null, "reviews_per_score": { "1": 66, "2": 78, "3": 347, "4": 866, "5": 2327 }, "reserving_table_link": null, "booking_appointment_link": null, "owner_id": "107114672541065218029", "verified": true, "owner_title": "National Museum of the American Indian", "owner_link": "https://www.google.com/maps/contrib/107114672541065218029", "location_link": "https://www.google.com/maps/place/National+Museum+of+the+American+Indian/@40.7039861,-74.01368889999999,14z/data=!4m8!1m2!2m1!1sNational+Museum+of+the+American+Indian!3m4!1s0x89c25a13ea8996f7:0x8891204f43265340!8m2!3d40.7039861!4d-74.01368889999999" }, ... ] 이런 스크랩핑 패치 API를 만들면서 느낀 점 꼭 구글 맵 데이터만이 아니어도 다른 몇가지 데이터를 빠르게 가져올 수 있는 표준 패치 API를 만들면 응용 범위가 확 늘어날 수 있다. 표준 API를 만들고 각 소스 데이터에 적용 가능하게 만들면 이를 통해 다양한 정보들을 빠르게 수집할 수 있을거 같다. 조금만 응용하면 다음과 같은 데이터를 빠르게 가져올 수 있다. 구글 맵 리뷰 데이터들 구글 검색 결과 데이터들 조금 응용하면, 아마존 제품 API도 만들 수 있다. 데이터를 가져와서 CSV 파일 등으로 빠르게 생성을 했다. (Los Angeles에 있는 Medical Spa 데이터만을 가져와서 CSV 파일로 Export) 근데, 이 경우 처음에 해결하고자 하는 문제를 여전히 해결할 수가 없다. (이전 글 작성 때부터 이미 알고 있었던 문제인데) 구글 맵 데이터에는 비즈니스 정보를 폭넓게 가져올 순 있지만 컨택 정보가 전화 번호에 국한된다. 그럼 실패일까? 아니다. 기본 데이터 수집을 할 수 있는 좋은 소스 채널은 맞다. 실패는 아니다. 방법을 좀 더 고민해보자. + 구글 맵 데이터에서 이메일 주소 등을 수집하는 방법 수집된 정보 데이터를 보면, 홈페이지 정보를 볼 수 있다. 몇몇 홈페이지들을 클릭해서 들어가보면, 이메일 주소와 소셜 미디어 정보 등을 확인할 수 있었다. 하나 하나 홈페이지를 클릭해서 확인해보니 높은 확율로 이메일 주소가 있는걸 다시 확인할 수 있었다. 업종에 따라 다르지만, 소셜 미디어 프로필 정보도 게시된 곳들을 많이 확인할 수 있었다. 여기에서 고민, 차라리 업종 + 상세 지역명으로 나오는 구글 검색 결과를 자동으로 다음 단계로 넘어가 정보를 가져오는 방법이 더 좋지 않을까? 이 경우도 분명 좋을수 있는데, 난이도가 있긴 하다. 해당 검색 결과를 봇이 하나 하나 링크를 클릭해서 들어간 후 소스 코드를 읽은 후 특정 데이터들을 찾아내야 하는데, 보통 홈페이지들이 내가 수집하고자 하는 데이터들을 정형화된 클라스 등으로 표기하지 않기 때문에, 텍스트 인덱싱을 거친 후 해당 데이터를 다시 찾아야 한다. 가령 홈페이지에 해당 데이터가 없을 경우 다른 페이지들 예를 들면, About Us, Our Story, Contact Us 등 많은 세부 페이지들에도 같은 작업을 반복해야 한다. 시간이 쓸데없이(?) 많이 걸릴 수 밖에 없는 이유이다. 이런 생각을 하다가, 범용화된 솔루션이 차라리 더 좋은 방법이라고 깨달았다. 기본적인 스크랩핑 훅은 각각의 용도와 채널에 맞춰 나눈 후 생성된 데이터를 후작업하는 엔진을 따로 만들면 된다. 이 경우, 구글 맵에서 상세 데이터 수집 > 수집된 데이터에서 이메일 등 주소를 다시 찾는 2차 작업 구글 검색 결과에서 추가 데이터 수집(해당 상호나 전화번호로 홈페이지와 소셜 미디어 프로필 등을 찾기 위한) > 1번과 동일한 2차 작업 또 다른 소스에서 찾은 데이터 …n개의 다른 소스에서 찾은 데이터 > 2차 작업 수집되어 Export 한 CSV 파일에는 공통적으로 URL만 있으면 된다. 이 URL 데이터들을 넣어서 돌리면 이메일 주소, 페이스북 등 소셜 미디어 링크 등을 추가로 가져오는 API를 만들면 된다. 단계가 2단계로 나뉘지만, 이 경우 필요에 따른 여러 조합으로 데이터 가공을 할 수 있게 된다. 기본적인 Raw Data 수집 > 내 경우는 홈페이지 URL 수집한 원시 데이터에서 필요한 정보를 추출하기 위한 작업 자 이제 다음 단계는 홈페이지들에서 내가 원하는 정보들을 추출하는 API와 CSV 등으로 추출해내는 Export 기능을 분리해서 만들면 된다. + 이런 저런 메모들을 하면서 스터디 모임을 준비했었다. 인터페이스를 따로 만들진 못헀지만, 실제 한국의 모 기관에 이렇게 특정 분야의 미국내 리드 정보를 815개를 수집해서 제공했다. 이 토이 프로젝트는 준비 과정에서 적절한 예를 위해 시작했고, 이정도에서 끝내기로 결론을 내렸다. 그렇지만, 나중에 시간이 되면, UI를 만들고 다듬어 보고 싶다. ChatGPT API 등이 공개되면, 수집된 정보 기반으로 해당 이메일에 자동으로 Sales 이메일을 보내는것까지 가능할꺼 같다.
×
×
  • Create New...