Commit 2f3e8ffb authored by Dos Santos David's avatar Dos Santos David

fix links

parent b56fccaa
......@@ -4,7 +4,7 @@
### Parser
Code source : [Parser CACM](/parser/cacm_parser.py), [Parser Stanford](/parser/stanford_parser.py)
Code source : [Parser CACM](/gogole/parser/cacm_parser.py), [Parser Stanford](/gogole/parser/stanford_parser.py)
Le `Parser` est responsable de fournir une collection, sous la forme d'un ensemble de documents.
Pour cela, il implémente un générateur `find_documents` qui génère à la volée un Document (un `CACMDocument` ou `StanfordDocument`).
......@@ -12,14 +12,14 @@ Pour cela, il implémente un générateur `find_documents` qui génère à la vo
La structure en générateur permet un traitement à la volée de la collection brute sans tout charger en mémoire.
### Tokenizer
Code source : [SimpleTokenizer](/tokenizer/simple_tokenizer.py), [NoTokenizer](/tokenizer/no_tokenizer.py)
Code source : [SimpleTokenizer](/gogole/tokenizer/simple_tokenizer.py), [NoTokenizer](/gogole/tokenizer/no_tokenizer.py)
Le `Tokenizer` s'occupe de transformer un document en un ensemble de tokens. Sa principale méthode est `get_counted_tokens` et permet d'obtenir un [Counter](https://docs.python.org/3/library/collections.html#collections.Counter) des tokens du document.
Le `SimpleTokenizer` s'occupe de découper la chaine de caractère en une liste de mots, puis les met tous en minuscule et enfin filtre les mots présents dans les stop words.
### Indexer
Code source : [BSBIIndexer](/indexer/bsbi_indexer.py)
Code source : [BSBIIndexer](/gogole/indexer/bsbi_indexer.py)
Cette classe est responsable de plusieurs choses :
- construire un dictionnaire token -> token_id
......@@ -43,6 +43,8 @@ Par contre, pour simplifier, les dictionnaires token -> token_id et les doc_id -
### Query
Code source : [recherche booléenne](/gogole/query/boolean_query.py), [recherche vectorielle](/gogole/query/vectorial_query.py)
Nous supportons les recherches sur le modèle booléen et vectoriel.
Pour le modèle booléen, on impose que la requête soit sous forme normale conjonctive.
......
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment