pan13-paper/simon-source_retrieval.tex

   1 \section{Source Retrieval}\r
   2 The source retrieval is a subtask in a plagiarism detection process during\r
   3 which only a relatively small subset of documents are retrieved from the\r
   4 large corpus. Those candidate documents are usually further compared in detail with the\r
   5 suspicious document. In the PAN 2013 source retrieval subtask the main goal was to\r
   6 identified web pages which have been used as a source of plagiarism for creation of the \r
   7 test corpus. \r
   8 The test corpus contained 58 documents each discussing one and only one theme.\r
   9 Those documents were created intentionally by\r
  10  semiprofessional writers, thus they feature nearly realistic plagiarism cases~\cite{plagCorpus}. \r
  11  Such conditions are similar to a realistic plagiarism detection scenario, such as for\r
  12 state of the art commercial plagiarism detection systems or the anti-plagiarism service developed on and\r
  13 utilized at the Masaryk University. The main difference between real-world corpus \r
  14 of suspicious documents such as for example corpus created from theses stored in Information System of Masaryk University\r
  15 and the corpus of suspicious documents used during the PAN 2013 competition is that in the PAN\r
  16 corpus each document contains plagiarism passages. Therefore we can deepen the search during the process\r
  17 in certain parts of the document where no similar passage has yet been found. This is the main\r
  18 idea of improving recall of detected plagiarism in a suspicious document.\r
  19 \r
  20 \r
  21 \begin{figure}\r
  22   \centering\r
  23   \includegraphics[width=1.00\textwidth]{img/source_retrieval_process.pdf}\r
  24   \caption{Source retrieval process.}\r
  25   \label{fig:source_retr_process}\r
  26 \end{figure}\r
  27 \r
  28 An online plagiarism detection can be viewed as a reverse engineering task where \r
  29 we need to find original documents from which the plagiarized document was created.\r
  30 During the process the plagiarist locates original documents with the use of a search engine.\r
  31 The user decides what query the search engine to ask and which of the results from the result page to use.\r
  32 In real-world scenario the corpus is the whole Web and the search engine can be a contemporary commercial search engine\r
  33 which scales to the size of the Web. This methodology is based on the fact that we do not\r
  34 possess enough resources to download and effectively process the whole corpus.\r
  35 In the case of PAN 2013 competition the corpus\r
  36 of source documents is the ClueWeb\footnote{\url{http://lemurproject.org/clueweb09.php/}} corpus.\r
  37 \r
  38 As a document retrieval tool for the competition we utilized the ChatNoir~\cite{chatnoir} search engine which indexes the English\r
  39 subset of the ClueWeb.   \r
  40 The reverse engineering decision process reside in creation of suitable queries on the basis of the suspicious document\r
  41 and in decision what to actually download and what to report as a plagiarism case from the search results.\r
  42 \r
  43 These first two stages can be viewed in figure~\ref{fig:source_retr_process} as Querying and Selecting. Selected results \r
  44 from the search engine are forthwith textually aligned with the suspicious document (see section~\ref{text_alignment} for more details).\r
  45 This is the last decision phase -- what to report.\r
  46 If there is any continuous passage of reused text detected, the result document is reported\r
  47  and the continuous passages in the suspicious document are marked as 'discovered' and no further processing\r
  48 of those parts is done. \r
  49  \r
  50 \subsection{Querying}\r
  51 Querying means to effectively utilize the search engine in order to retrieve as many relevant\r
  52 documents as possible with the minimum amount of queries. We consider the resulting document relevant \r
  53 if it shares some of text characteristics with the suspicious document.  \r
  54 \r
  55 We used 3 different types of queries\footnote{We used similar three-way based methodology in PAN 2012 \r
  56 Candidate Document Retrieval subtask. However, this time we completely replaced the headers based queries\r
  57 with paragraph based queries, since the headers based queries did not pay off in the overall process.}:\r
  58 i) keywords based queries, ii) intrinsic plagiarism\r
  59 based queries, and iii) paragraph based queries. Three main properties distinguish each type of query: i) Positional; ii) Phrasal; iii) Deterministic.\r
  60 Positional queries carry extra information about a textual interval in the suspicious document which the query represents.\r
  61 A phrasal query aims for retrieval of documents containing the same small piece of a text. They are usually created from closely coupled words. \r
  62 Deterministic queries for specific suspicious document are always the same no matter how many times we run the software. \r
  63 On the contrary the software can create in two runs potentially different nondeterministic queries.\r
  64 \r
  65 \subsubsection{Keywords Based Queries.}\r
  66 The keywords based queries compose of automatically extracted keywords from the whole suspicious document.\r
  67 Their purpose is to retrieve documents concerning the same theme. Two documents discussing the \r
  68 same theme usually share a set of overlapping keywords. Also the combination of keywords in\r
  69 query matters. \r
  70 As a method for automated keywords extraction, we used a frequency based approach described in~\cite{suchomel_kas_12}.\r
  71 The method combines term frequency analysis with TF-IDF score~\cite{Introduction_to_information_retrieval}. As a reference\r
  72 corpus we used English web corpus~\cite{ententen} crawled by SpiderLink~\cite{SpiderLink} in 2012 which contains 4.65 billion tokens. \r
  73 \r
  74 Each keywords based query were constructed from five top ranked keywords consecutively. Each keyword were\r
  75 used only in one query. Too long keywords based queries would be over-specific and it would have resulted\r
  76 in a low recall. On the other hand having constructed too short (one or two tokens) queries would have resulted\r
  77 in a low precision and also possibly low recall since they would be too general.\r
  78 \r
  79 In order to direct the search more at the highest ranked keywords we also extracted their \r
  80 most frequent two and three term long collocations. These were combined also into queries of 5 words.\r
  81 Resulting the 4 top ranked keywords alone can appear in two different queries, one from the keywords\r
  82 alone and one from the collocations. Collocation describes its keyword better than the keyword alone. \r
  83 \r
  84 The keywords based queries are non-positional, since they represent the whole document. They are also non-phrasal since\r
  85 they are constructed of tokens gathered from different parts of the text. And they are deterministic, for certain input\r
  86 document the extractor always returns the same keywords.\r
  87 \r
  88 \subsubsection{Intrinsic Plagiarism Based Queries.}\r
  89 The second type of queries purpose to retrieve pages which contain similar text detected\r
  90 as different, in a manner of writing style, from other parts of the suspicious document.\r
  91 Such a change may point out plagiarized passage which is intrinsically bound up with the text.  \r
  92 We implemented vocabulary richness method which computes average word frequency class value for \r
  93 a given text part. The method is described in~\cite{awfc}. The problem is that generally methods\r
  94 based on the vocabulary statistics work better for longer texts. According to authors this method\r
  95 scales well for shorter texts than other text style detection methods. \r
  96 Still the usage is in our case limited by relatively short texts. It is also difficult to determine\r
  97 what parts of text to compare. Therefore we used sliding window concept for text chunking with the \r
  98 same settings as described in~\cite{suchomel_kas_12}.\r
  99 \r
 100 A representative sentence longer than 6 words was randomly selected among those that apply from the suspicious part of the document.\r
 101 An intrinsic plagiarism based query is created from the representative sentence leaving out stop words.\r
 102 \r
 103 The intrinsic plagiarism based queries are positional. They carry the position of the representative sentence in the document.\r
 104 They are phrasal, since they represent a search for a specific sentence. And they are\r
 105 nondeterministic, because the representative sentence is selected randomly. \r
 106  \r
 107 \subsubsection{Paragraph Based Queries.}\r
 108 The purpose of paragraph based queries is to check some parts of the text in more depth.\r
 109 Parts for which no similarity has been found during previous searches. \r
 110 \r
 111 For this case we considered a paragraph as a minimum text chunk for plagiarism to occur. \r
 112 It is discussible whether a plagiarist would be persecuted for plagiarizing only one sentence in a paragraph.\r
 113 Also a detection of a specific sentence is very difficult if want to avoid exhaustive search approach.\r
 114 If someone is to reuse some peace of continuous text, it would probably be no shorter than a paragraph. \r
 115 Despite the fact, that paragraphs differ in length, we represent one paragraph by one query.\r
 116 \r
 117 \r
 118 The paragraph based query was created from each paragraph of a suspicious document.\r
 119 From each paragraph we extracted the longest sentence from which the query was constructed.\r
 120 Ideally the extracted sentence should carry the highest information gain.\r
 121 The query was maximally 10 words in length which is the upper bound of ChatNoir\r
 122 and was constructed from the selected sentence by omitting stop words.\r
 123 \r
 124 \subsection{Search Control}\r
 125 For each suspicious document we prepared all three types of queries during the first phase at once.\r
 126 Queries were executed stepwise. \r
 127 After processing each query the results were evaluated (see the following subsection~\ref{resSelection} for more details) and from\r
 128 all textual similarities between each result and the suspicious document, the suspicious document intervals of those similarities\r
 129 were marked as 'discovered'. \r
 130 At first the keywords based queries. All of the keywords based queries were\r
 131 always executed. \r
 132 After having all the keywords based queries processed, the intrinsic plagiarism based queries were executed according to \r
 133 their creation sequence. \r
 134 Since they carry its position not all of the intrinsic plagiarism based queries were caried out.\r
 135 During the execution, if any of the query position intersected with any of the 'discovered' interval, the\r
 136 query was dropped out. In the same way, the last paragraph based queries were processed. \r
 137 \r
 138 This search control results in two major properties. Firstly, the source retrieval effort were increased \r
 139 in parts of the suspicious document, where there have not yet been found any textual similarity.\r
 140 Especially by the paragraph based queries. And secondly, after detection a similarity for a certain part of the text,\r
 141 no more intentionally retrieval attempts for that part were effectuated. Meaning that all\r
 142 discovered search engine results were evaluated, but there were executed no more queries regarding that passage.\r
 143 \r
 144 \r
 145 \subsection{Result Selection}\r
 146 \r
 147 \subsection{Snippet Control}\r
 148 \subsection{Source Retrieval Results}\r
 149 \r
 150 \r