Выбор между тегами span с помощью rvest

Я пытаюсь получить ежегодную плату за кредитные карты от Ситибанка. Вот адрес:

https://www.citi.com/credit-cards/compare-credit-cards/citi.action?ID=view-all-credit-cards

HTML выглядит так

<li class="annual-fee"><span data-id="resultsBullet3" class="">No Annual Fee</span></li>

Это то, что у меня есть до сих пор

library(rvest)
citiURL <- read_html('https://www.citi.com/credit-cards/compare-credit-cards/citi.action?ID=view-all-credit-cards')
citiCardName <- citiURL %>%
  html_nodes("[class=annual-fee]") %>%
  html_text()

Я ожидаю, что на выходе будет «Нет годовой платы» или, по крайней мере, что-то, из чего я могу это извлечь. Однако вывод R выглядит следующим образом:

[1] ""

Для остальных 19 карт выводится либо "", либо "Ежегодная комиссия: ". У кого-нибудь есть идеи, как получить правильный текст?

Вот пример, где вывод «Годовая плата:»

<li class="annual-fee">
    <span class="bold">Annual Fee:</span> 
    <span data-id="resultsBullet3" class="">
     "$"
        <span data-id="annualFee" class="">95</span> 
        "(Fee waived for the first 12 months)"
    </span>
</li>

r web-scraping rvest
person lemonbrains    schedule 10.02.2017    source источник
comment
вы неправильно определяете xpath, разве это не должно быть html_nodes(xpath = "//*[@class='annual-fee']")?   -  person SymbolixAU    schedule 10.02.2017
comment
Я думаю, что сделал css, а не xpath. Это дает то же самое. Это либо дает, либо ежегодная плата: но не фактическая плата.   -  person lemonbrains    schedule 10.02.2017
comment
Два разных написания Годовой?   -  person IRTFM    schedule 10.02.2017
comment
Похоже, что текст в теге span, который вы ищете, отображается с помощью javascript. Таким образом, rvest не сможет получить HTML-код, поскольку он еще не создан. Вам придется попробовать что-то вроде безголового просмотра, чтобы сначала запустить js, прежде чем смотреть html. Подробнее об этом решении здесь: stackoverflow.com/questions/ 26631511/   -  person Chrisss    schedule 10.02.2017
comment
Спасибо! Это круто! Я думаю, что это то, что происходит   -  person lemonbrains    schedule 10.02.2017