Вопросы по теме 'lexical-analysis'
Как реализовать двухпроходный сканер с помощью Flex?
В качестве домашнего проекта я хотел бы попытаться реализовать базовый язык моего собственного дизайна, который можно было бы использовать в качестве языка веб-сценариев. Запускать программу на C ++ как Apache CGI тривиально, поэтому настоящая работа...
1808 просмотров
schedule
16.05.2022
Генераторы C#/.NET Lexer
Я ищу достойный генератор лексических сканеров для С#/.NET - что-то, что поддерживает категории символов Unicode и генерирует несколько читаемый и эффективный код. Кто-нибудь знает об одном?
EDIT: мне нужна поддержка категорий Unicode , а...
6444 просмотров
schedule
23.03.2022
Текстовый анализ больших документов
У меня есть проект, в котором мне нужно сравнить документы, состоящие из нескольких глав, со вторым документом, чтобы определить их сходство. Проблема в том, что я понятия не имею, как это сделать, какие существуют подходы и есть ли у них какие-либо...
340 просмотров
schedule
27.12.2022
Анализ смысла текста
Я понимаю, что это обширная тема, но я ищу хороший учебник по синтаксическому анализу текста, в идеале на Python. В качестве примера того, что я собираюсь сделать, если пользователь напишет в блоге такую запись:
«Мэнни Рамирес возвращается...
12834 просмотров
schedule
17.06.2022
Установка flex (лексического анализатора) на Mac
Может кто-нибудь сказать мне, как я могу установить flex (лексический анализатор) на свой Mac? Я искал везде в Google, и я не могу найти его. У меня есть универсальный двоичный файл, и я извлек его на свой рабочий стол, но я понятия не имею, куда...
22487 просмотров
schedule
16.01.2023
Существует ли алгоритм, помогающий определить основную тему английского предложения?
Я пытаюсь выяснить, существует ли известный алгоритм, который может определить «ключевое понятие» предложения.
Вариант использования следующий:
Пользователь вводит предложение в виде запроса (курица на вкус похожа на индейку?)
Наша система...
17408 просмотров
schedule
23.04.2022
Лексирование слов, разделенных пробелами, в ANTLR3, где некоторые слова являются ключевыми словами
Я работаю над проектом, который включает преобразование текста с тегами части речи в AST ANTLR3 с фразами в качестве узлов AST.
Ввод в ANTLR выглядит так:
DT-THE The NN dog VBD sat IN-ON on DT-THE the NN mat STOP .
то есть (токен тега)+,...
189 просмотров
schedule
24.02.2022
Как вы анализируете контекстно-зависимый C-код?
Одна проблема, с которой я столкнулся, заключалась в том, что C должен быть контекстно-зависимым и не может анализироваться с помощью одного токена просмотра вперед. Например
int main1;
int main() {}
Это самый простой пример, который я могу...
755 просмотров
schedule
31.08.2022
Использование lex и Yacc для синтаксического анализа php
Я хочу создать парсер php. я думал об использовании lex / yacc для этой задачи.
Это хорошая идея ? или есть способы получше?
где я могу найти уже сделанный lex / yacc для языка php. или хотя бы граммер?
1643 просмотров
schedule
10.03.2024
Что такое объектно-ориентированный сканер (лексический анализ)?
Недавно я столкнулся с концепцией лексического анализа под названием "объектно-ориентированный сканер", но я не смог отличить ее от обычной техники сканирования. Какие могут быть дополнительные вещи в объектно-ориентированном сканере, пожалуйста,...
584 просмотров
schedule
20.05.2023
Синтаксический анализ и синтаксическое дерево
Я внедряю компилятор для школьного класса, и у меня есть некоторые проблемы с тем, как действовать дальше. Лексический анализ уже сделан. Для меня лексический анализ заключается в том, что у меня есть функция, которая возвращает объекты-токены, а...
805 просмотров
schedule
28.10.2022
Как заставить парсер Coco/R не жадничать
Мой файл ATG определяет блок кода как
Codeblock = "<#" {anychar} "#>"
Когда парсер, сгенерированный Coco, натыкается на такой блок:
<#
a=5;
print "Hello world!";
#>
Жетон поднимается
a=5;
print "Hello
Это...
328 просмотров
schedule
20.11.2022
Эффективное различие между ключевым словом и идентификаторами
Я создаю компилятор и нахожусь в фазе лексического анализатора:
Сначала установите зарезервированные слова в таблицу символов. Поле записи таблицы символов указывает, что эти строки никогда не являются обычными идентификаторами, и сообщает, какой...
351 просмотров
schedule
14.06.2022
Анализ английских текстовых предложений для обнаружения рифм в PHP
Я не уверен, возможно ли это, но есть ли способ (предварительно написанная библиотека или известная схема научного обнаружения) проанализировать несколько предложений текста и определить, рифмуются ли предложения? Коллега предложил сравнить первое и...
1219 просмотров
schedule
31.07.2023
Написание транспилятора в точку, где происходит фактическое отображение
Я хочу понять, как работает транспиллер. Лучше всего это написать, конечно.
Я искал несколько ресурсов, чтобы понять, как это работает теоретически. И я понимаю следующее:
Насколько я понимаю, мне в основном нужно написать два класса:...
3133 просмотров
schedule
21.06.2022
Настройка правил для Flex, предупреждение: правило не может быть сопоставлено
У меня есть эти гибкие правила:
^User-Agent: [^\n]*Firefox {useragent = TFIREFOX; }
^User-Agent: [^\n]*MSIE {useragent = TMSIE; }
^User-Agent: [^\n]*Opera {useragent = TOPERA; }
^User-Agent: [^\n]*Safari {guseragent = TSAFARI; }
...
Я получаю...
2777 просмотров
schedule
14.05.2022
Проблема с использованием ввода-вывода C-файла с lex
Я реализую lex-версию простого сканера, который я написал на стандартном C . У меня возникли проблемы с тем, что ввод-вывод не ведет себя так, как я ожидаю в файле lex. fscanf не будет хранить строки и будет хранить целые числа как 0 в указанных...
299 просмотров
schedule
09.03.2022
Используйте разные парадигмы в одном и том же индексе
Я создаю словарь и хочу использовать elasticsearch в качестве поисковой системы. Он должен поддерживать несколько языков, поэтому моя база данных выглядит примерно так:
| left_lang | right_lang | left_word | right_word |
| de | en...
117 просмотров
schedule
28.07.2023
Что будет на выходе этой простой программы сразу после лексического анализа?
Для простой C программы, такой как:
#include<stdio.h>
int main(){
int first,second,sum;
first = 10;
second = 20;
sum = first + second;
printf("%d\n",sum);
}
что будет на выходе после первой фазы компиляции, которой...
203 просмотров
schedule
09.01.2023
дизайн компилятора - лексический анализ: сколько столбцов занимает \t?
Я должен сохранить информацию о токене для моего лексического анализатора, например, его строку и столбец. Если я наткнусь на такой исходный код: \t \t int myInt; , как мне узнать столбец токена? Потому что я не знаю, сколько столбцов занимает \t....
187 просмотров
schedule
14.02.2023
